Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1598-6721(Print)
ISSN : 2288-0771(Online)
The Korean Society of Manufacturing Process Engineers Vol.17 No.5 pp.161-172
DOI : https://doi.org/10.14775/ksmpe.2018.17.5.161

Development of Robot Vision Control Schemes based on Batch Method for Tracking of Moving Rigid Body Target

Jae-Myung Kim*, Cheol-Woong Choi*, Wan-Shik Jang**#
*Seyeon E&S
**Dept. of Mechanical Engineering, Chosun Univ.
Corresponding Author : wsjang@chosun.ac.kr Tel: +82-62-230-7212, Fax: +82-62-230-7055
27/08/2018 03/09/2018 06/09/2018

Abstract


This paper proposed the robot vision control method to track a moving rigid body target using the vision system model that can actively control camera parameters even if the relative position between the camera and the robot and the focal length and posture of the camera change. The proposed robotic vision control scheme uses a batch method that uses all the vision data acquired from each moving point of the robot. To process all acquired data, this robot vision control scheme is divided into two cases. One is to give an equal weight for all acquired data, the other is to give weighting for the recent data acquired near the target.



Finally, using the two proposed robot vision control schemes, experiments were performed to estimate the positions of a moving rigid body target whose spatial positions are unknown but only the vision data values are known. The efficiency of each control scheme is evaluated by comparing the accuracy through the experimental results of each control scheme.



강체 이동타겟 추적을 위한 일괄처리방법을 이용한 로봇비젼 제어기법 개발

김 재명*, 최 철웅*, 장 완식**#
*(주)세연이앤에스
**조선대학교 기계공학과

초록


    © The Korean Society of Manufacturing Process Engineers. All rights reserved.

    This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

    1. 서 론

    로봇이 단순 반복작업에 최초로 적용된 이후, 꾸준한 발전을 거듭하여 다양한 작업 환경에 대응 하기 위해 로봇에 각종 센서를 적용하기 시작하였 다. 센서 중에서도 인간의 시각기능에 대응하는 카메라를 로봇에 적용한 로봇비젼 시스템을 이용 하여 물체인식 및 자세추정에 대한 연구가 활발히 진행되었다[1~3]. 최근 들어 단순히 물체의 형상과 위치추정만을 해석하는 것을 넘어서 움직이는 물 체를 추적하는 방법들에 대한 연구가 활발히 진행 되고 있다[4~5].

    로봇비젼 알고리즘을 개발하기 위해 사용하는 다양한 수치해석 방법 중 본 논문에서 사용한 Newton-Raphson(N-R)방법의 연구동향을 살펴보면, Durmus[6]는 6축 로봇의 실제궤적과 예측궤적의 오 차값을 최소화하기 위해 N-R 방법을 이용한 일반 화 예측제어 알고리즘을 유도하였으며, Yang[7]은 6축 병렬로봇이 발산하지 않고 실시간에서 해답을 얻을 수 있도록, 생성된 3축 선형운동과 3축 각운 동에 위치센서에 의해 실시간에서 측정된 엑츄에 이터의 위치를 피드백 할 수 있도록 Global N-R 방법을 제안하였다.

    로봇비젼 시스템을 적용할 경우 발생하는 대용 량의 이미지 데이터 처리속도의 저하에 대한 문제 는 LSI와 같은 기억소자의 발전에 의해 하드웨어 적으로 상당부분 해결하였고, 소프트웨어적으로는 수행 작업의 특성을 고려하여 획득되는 데이터의 양을 최소화하여 이미지 처리시간을 줄이기 위한 이진화기법이나 큐(cue)를 사용하는 연구가 진행 되었다[8~9]. 또한, 비젼시스템을 로봇에 적용시 카 메라에 대한 정확한 보정은 매우 중요한 요소이므 로 로봇과 카메라의 상태가 변하게 되면 카메라 매개변수를 다시 보정해야 하는 번거로움이 있다.

    위에 언급된 문제점들을 해결하기 위해 본 논 문은 카메라와 로봇사이의 상대적 위치와 카메라 의 초점거리 및 자세가 변하여도 카메라의 매개변 수를 능동적으로 조절할 수 있는 고정된 타겟 위 치 추정에 대한 선행연구[10]를 통해 입증된 비젼 시스템 모델과 큐를 사용하였으며, 이를 기반으로 강체 이동타겟을 추적하기 위한 N-R방법을 사용 한 로봇비젼 제어기법을 제시하였다. 제시된 제어 기법은 로봇 이동시 획득한 모든 비젼데이터를 이 용하는 일괄처리 방법을 사용하였으며, 획득된 모 든 데이터를 처리하는 방법을 2개 경우로 분류하 여 개발하였다.

    하나는 획득한 모든 데이터에 대해 동일한 가 중치를 부여하는 것이고, 다른 하나는 타겟 근처 에서 획득한 최근 데이터에 가중치를 부여하는 것 이다.

    최종적으로 제시된 2가지의 로봇비젼 제어기법 들을 사용하여 공간상의 위치는 알려지지 않고 오 직 비젼데이터 값만 알려진 강체이동타겟에 대해 위치를 추정하는 실험을 수행하였다. 각 제어기법 의 효율성은 실험을 통해 정확도를 비교함으로써 평가하였다.

    2. 로봇 및 비젼시스템 모델

    2.1 로봇 기구학 모델

    로봇 기준 좌표계에 대한 로봇 끝점의 위치벡 터를 구하는 로봇 기구학 모델은 2.2절의 비젼시 스템 모델에서 사용된다. Fig. 1은 본 연구에서 사 용한 삼성 SM7 모델의 4축 스카라 형식 로봇에 대한 4개 관절의 링크계와 링크인자를 보여주고 있다. Table 1은 Denavit-Hartenberg 규약[11]에 따른 로봇 링크인자 값을 보여준다.

    인접한 로봇의 링크계{i-1}에 대한 링크계{i} 의 변환행렬은 식(1)과 같다[11].

    Eq1.gif
    (1)

    식(1)을 사용하여 로봇 기준좌표계{0}에 대한 마지막 좌표계{4}의 변환행렬은 4 0 T = 1 0 T 2 1 T 3 2 T 4 3 T 이다. 이때, 각 링크 변환행렬 i i 1 T 는 Table 1의 인자값을 식(1)에 대입하여 계산된다. 또한, 마지 막 좌표계{4} 원점에 부착된 물체의 j 번째 큐 위치벡터 4 P j = ( P x j , P y j , P z j ) 이다.

    이리하여, 로봇 기준좌표계{0}에 대한 j 큐의 위치벡터는 식(2)와 같이 주어진다.

    f = 4 0 T 4 P j
    (2)

    식(2)를 i번째 이동지점에서 j번째 큐에 대한 성분별 위치값을 계산하면 식(3)과 같다.

    Eq3.gif
    (3)

    여기서, θ 1 i , θ 2 i , d 4 i i번째 이동지점에서 로봇 관절값을 나타낸다.

    2.2 비젼시스템 모델

    3차원 물체 위치를 2차원 카메라 좌표계로 변 환하기 위해 사용된 비젼시스템 모델은 고정된 타 겟에 대한 선행연구[10]를 통해 효율성이 입증된 6 개 카메라 매개변수를 갖는 식(4)을 사용하였다.

    Eq4.gif
    (4)

    여기서, X m i , j Y m i , j i번째 로봇 이동지점에서 j번째 큐의 2차원 카메라 좌표값을 나타낸다. 또 한, (C1C4)는 카메라의 초점거리와 방향의 불확 실성을 나타내고, (C5C6)은 로봇과 카메라 사이 의 상대적 위치에 대한 불확실성을 나타낸다.

    3. 매개변수 추정 수학적 모델링

    로봇비젼 제어기법을 개발하기 위해 필요한 카 메라 매개변수 추정모델, 가중치행렬 모델 및 로 봇 관절값 추정모델 등 3개 수학적 모델을 제시하 였다.

    3.1 카메라 매개변수 추정모델

    알려지지 않은 카메라 매개변수 C k ( k = 1 6 ) 를 추정하기 위해, 로봇의 각 이동지점에서 로봇 끝 점에 부착된 큐에 대해 획득된 비젼데이터와 식 (4)에 주어진 비젼시스템 모델을 매칭한 후, N-R 방법을 적용하여 최소화하면 식(5)와 같이 주어진 다[10].

    Eq5.gif
    (5)

    여기서, l은 계산과정의 반복횟수이며, J는 크 기가 ( 2 × i × j ) × 6 인 자코비안 행렬로 식(6), R은 크기가 ( 2 × i × j ) × 1 인 유수벡터로 식(7)에 주어진 다. 또한, W 는 가중치행렬로서 3.2절에서 자세히 설명된다.

    Eq6.gif
    (6)
    Eq7.gif
    (7)

    여기서, X c i , j Y c i , j i번째 이동지점에서 로봇 끝점의 j번째 큐에 대한 카메라를 통해 얻어진 실제 비젼데이터 값들이다. 특히, 카메라 매개변수 추정모델은 사용된 카메라 각각에 적용된다.

    3.2 가중치행렬 모델

    식(5)에 주어진 가중치행렬(W )은 로봇이동시 획득한 비젼데이터 처리방법에 따라서 다르게 적 용된다. 처리방법은 획득한 모든 데이터에 동일한 비중을 주는 경우(W 를 적용하지 않는 경우)와 타겟 근처의 최근 데이터에 더 큰 비중을 주는 경 우(W 를 적용한 경우)로 구분하였다. 이리하여,W 는 식(8)과 같이 크기가 ( 2 × i × j ) × ( 2 × i × j ) 인 대각행렬로 정의하였다.

    여기서,

    Eq8.gif
    (8)

    여기서,

    EqA.gif

    식(8)에서 α는 타겟 근처의 최근 데이터에 큰 비중을 두기 위해 사용하는 가중치계수, X c i , j Y c i , j 는 로봇의 i ( = 1 n ) 이동지점에서 j번째 큐에 대한 비젼데이터의 xy성분을 나타내며, a x 0 = a y 0 = 1 로 설정하였다.

    식(8)에서 W 를 적용하지 않은 경우는 가중치 계수 α = 0으로 설정하면 a x 0 = a y 0 = 1 이므로 W 는 단위행렬로 계산된다. 반면에, W 를 적용하는 경우는 4.3절 Fig. 4에서 보여준 제어기법에 의해 계산된 최적의 가중치계수 α를 사용한 W 를 식 (5)에 적용하여 각 카메라 매개변수 추정을 하는 데 사용한다.

    3.3 로봇 관절값 추정모델

    각 타겟에 대한 로봇 관절값을 추정하기 위해 3.2절에서 추정된 6개의 각 카메라의 매개변수를 포함한 비젼시스템 모델과 각 카메라에서 획득한 타겟에 대한 비젼데이터를 매칭한 후, N R 방법 으로 최소화시키면 로봇 관절값 추정 모델식은 식 (9)와 같이 주어진다[10].

    Eq9.gif
    (9)

    여기서, l은 계산과정의 반복횟수, J * 는 크기가 ( 2 × q × j ) × 4 인 자코비안 행렬로 식(10), R*은 크 기가 ( 2 × q × j ) × 1 인 유수벡터로 식(11)에서 보여 주며, W 는 가중치행렬로 사용된 3대의 카메라에 동등한 비중을 주기 위해 단위행렬을 사용하였다.

    Eq10.gif
    (10)
    Eq11.gif
    (11)

    여기서, q는 카메라 번호, X c q , j Y c q , j q번째 카메라에서 획득한 타겟의 j번째 큐에 대한 비젼 데이터, X m q , j Y m q , j q번째 카메라에서 타겟의 j 번째 큐에 대한 비젼시스템 모델값이다.

    4. 로봇비젼 제어기법

    4.1 데이터 처리방법

    Fig. 2에서 보여준 m개 이동지점을 갖는 로봇 초기화단계에서 m번째 지점을 타겟으로 설정하 고 (m -1)개 로봇 이동지점의 비젼데이터를 사용 하여 이동타겟 추적단계에서 필요한 초기 카메라 매개변수와 로봇 관절값을 데이터 일괄처리 방법 을 사용하여 추정한다. 이동타겟 추정을 위한 2개 제어기법에 대한 상세한 설명은 아래와 같다.

    4.2 가중치행렬을 적용하지 않은 경우

    식(5)의 W 를 단위행렬로 사용하여 카메라 매 개변수와 로봇 관절값을 추정하여 이동타겟의 위 치값을 계산한다. Fig. 3은 이 제어기법에 대한 전체적인 흐름을 보여주며, 각 step별 내용은 다 음과 같다.

    • step 1; m개 이동지점을 갖는 로봇 초기화단계 에서 각 이동지점에서 3대의 카메라를 사용하여 4 개의 큐에 대한 비젼데이터를 획득한다.

    • step 2; <step1>에서 획득한 (m -1)개 로봇 이 동지점의 비젼데이터를 식(5)에 적용하여 각 카메 라에 대한 매개변수를 추정한다.

    • step 3; 각 카메라에 대해, <step2>에서 추정된 카메라 매개변수와 초기 타겟지점(m)에 대해 획 득한 비젼데이터를 식(9)에 적용하여 로봇 관절값 을 추정한다. <step2>와 <step3>에서 추정된 카메 라 매개변수와 로봇 관절값은 첫 번째 이동타겟 추정시 초기값으로 사용한다.

    • step 4; 이동타겟 추적단계에서 k*번째 이동타 겟을 정의하였으며, 이동타겟은 1부터 n까지 1씩 변한다.

    • step 5; k*번째 이동타겟 추정시 사용되는 비젼 데이터의 전체 이동지점 개수 ( T P = m + k * ) 를 정 의하였다.

    • step 6; 각 카메라에서 ( T P 1 ) 개 지점까지 획득 한 4개의 큐에 대한 비젼데이터를 식(5)에 적용하 여 각 카메라에 대한 매개변수를 추정한다.

    • step 7; 각 카메라에서 획득한 k*번째 이동타겟 번호 ( T N q = k * ) 를 정의한다.

    • step 8; 각 카메라에 대해, <step6>에서 추정된 카메라 매개변수와 <step7>에서 정의한 k*번째 이 동타겟의 비젼데이터를 식(9)에 적용하여 로봇 관 절값을 추정한다. TN이 마지막 값(n)이 아니면 <step4>로 돌아가서 다음 이동타겟 지점에 대한 계산을 수행한다.

    • step 9; <step8>에서 추정된 각 이동타겟의 로봇 관절값을 식(3)에 대입하여 계산된 위치값과 실제 위치값을 비교하여 계산된 오차값을 분석한다.

    4.3 가중치행렬을 적용한 경우

    Fig. 4는 이 제어기법에 대한 전체적인 흐름을 보여주며, 초기화 단계 <step1> <step5>를 사용하 여 계산된 최적의 가중치 계수(α)를 식(8)에 적용 한 가중치행렬을 이동타겟 추적단계에서 타겟을 추적하는데 사용하였다. 각 step별 내용은 아래와 같다.

    • step 1; Fig. 3 의 <step1>과 같이 초기화 단계에 서 필요한 비젼데이터를 획득한다.

    • step 2; 최적의 가중치 계수를 계산하기 위해 가중 치 계수(α)를 변화시키고자 정의하였다.

    • step 3; <step1>에서 획득한 (m -1)개 로봇이동 지점까지 비젼데이터와 0.01씩 증가하는 가중치 계수(α)를 포함한 식(8)의 가중치행렬을 식(5)에 적용하여 각 카메라에 대한 매개변수를 추정한다.

    • step 4; Fig.3의 <step3>과 같은 방법으로 로봇 관절값을 추정한다.

    • step 5; <step4>에서 추정된 로봇 관절값과 실제 로봇 관절값을 비교하여 계산된 오차값이 이전 단 계에서 계산된 오차값 보다 작으면 <step2>로 되 돌아가고, 크면 바로 이전단계의 가중치 계수를 최적의 가중치로 결정한다.

    • step 6; <step1>~<step5>에서 추정된 최적의 가 중치계수(α), 카메라 매개변수와 로봇 관절값은 이동타겟 추정시 초기값으로 사용된다.

    • step 7; Fig. 3의 <step4>~<step5>와 같은 방법으 로 k*번째 이동타겟에 대한 총 이동지점수(TP)를 계산한다.

    • step 8; 각 카메라에서 획득한 4개 큐에 대한 (TP-1)개 지점까지의 비젼데이터를 식(5)에 적용 하여 각 카메라에 대한 매개변수를 추정한다. 이 때 가중치행렬의 크기는 { 2 × ( T P 1 ) × k * } × { 2 × ( T P 1 ) × k * } 이다.

    • step 9; Fig. 3의 <step7> <step8>과 같은 방법으 로 k*번째 이동타겟에 대한 로봇 관절값을 추정 하고, 마지막 이동타겟(n)까지 추정하는 방법을 제시하였다.

    • step 10; Fig. 3의 <step9>와 같이 각 이동타겟의 계산된 위치값을 실제 위치값과 비교하여 오차값 을 계산한 후 효율성을 평가한다.

    5. 실험장치 및 실험방법

    5.1 실험장치 구성

    본 연구의 실제 실험환경은 Photo 1에서 보여주 며, Fig. 5는 비젼시스템, 로봇시스템 및 PC시스템 으로 구성된 실험장치의 개략적인 구성도와 각 시 스템의 하드웨어 사양을 보여준다.

    5.2 시험모형

    영상처리 시간을 줄이기 위해 물체형상을 전부 인식하는 대신 필요한 일부만을 인식하도록 Fig. 6 과 같이 육면체 시험모형을 제작하였다. 시험모형 의 각 꼭지점에 LED로 만들어진 9개의 큐를 설치 하여 실험목적에 맞게 큐를 자유롭게 선택할 수 있도록 하였다. 본 연구는 강체를 형상화하기 위해 4개의 큐(1,2,3,4)를 지정하여 실험을 진행하였다.

    식(3)에서 사용되는 4개 큐의 좌표계{4}에 대한 위치벡터는 아래와 같다(단위: mm).

    EqB.gif

    5.3 실험방법

    삼성 SM7 로봇이 임의의 시작점에서 출발하여 끝점까지 이동하도록 하기 위해 각각의 관절값을 일정 범위만큼 변화시켜서 로봇이 움직이도록 운 동궤적을 설정하였으며, 로봇이 이동하는 동안 4 개 큐가 카메라 시야에서 벗어나지 않도록 3대의 카메라를 배치하였다.

    본 연구는 Fig. 7과 같이 시작점과 끝점을 설정 하여 30개 지점을 갖는 궤적을 생성하였다. 처음 10개 지점은 초기화단계, 나머지 20개 지점은 이 동타겟 지점으로 설정하여 그 값을 실제값으로 저 장하여 향후 이동타겟 위치 추정값을 비교하는데 사용하였다.

    6. 비젼시스템 모델의 적합성 결과

    본 연구는 N - R방법의 일괄처리 기법을 사용하 여 가중치행렬을 적용하지 않은 경우와 가중치행 렬을 적용한 경우로 구분하여 비젼시스템 모델의 적합성을 보였다. 4장의 제어기법에 따라 이동타 겟 추적단계에서 (k* + 1)번째 이동타겟을 추정하 기 위해서 k*번째 지점까지 비젼데이터를 사용한 다. 다시 말하면, 로봇 초기단계 이동지점수(m) 와 k*번째 이동지점까지를 합한 (m + k* ) 이동지 점에 대한 비젼데이터를 사용하여 사용된 3대 카 메라 각각에 대해 매개변수를 추정한다. 이리하여 k*번째 이동지점에 대해, 각 카메라에 대해 추정 된 매개변수를 사용한 비젼시스템 모델값과 획득 된 실제 비젼데이터값을 비교하여 비젼시스템 모 델의 적합성을 보이기 위해 식(12)와 같이 오차값 e r . m . s k * 을 정의하였다[12]. 특히, 첫 번째 이동타겟을 추정하기 위해서는 로봇 초기화단계의 m번째까 지의 비젼데이터를 사용하였다.

    Eq12.gif
    (12)

    여기서, j*는 큐의 개수(j* =4), e x k * , j e y k * , j k*번째 이동지점의 j번째 큐에 대한 실제 비젼데 이터와 비젼시스템 모델의 추정값 사이의 x축과 y축의 오차값이다.

    6.1 가중치행렬을 적용하지 않은 경우

    (1) 초기화단계

    일괄처리 기법을 사용한 Fig. 3의 초기화 단계 <step 1> <step 3>에서 계산된 각 카메라에 대한 매개변수는 Table 2, 로봇 관절값은 Table 3에서 보여준다.

    (2) 이동타겟 추적단계

    초기화단계에서 계산된 6개의 카메라 매개변수 (Table 2)와 로봇 관절값(Table 3)을 이동타겟 추적 단계의 초기값으로 지정하여, Fig. 3의 <step 4> <step 9>를 적용하여 로봇이 타겟을 향해 이동하는 동안 각 타겟 위치값을 추정하였다.

    비젼시스템 모델의 적합성을 보이기 위해, 20개 이동지점에서 2번 카메라에 대해 추정된 매개변수 를 식(4)에 적용하여 계산된 비젼시스템 모델값과 실제 비젼데이터를 비교한 결과를 Fig. 8에 보여 주고 있으나, 1번과 3번 카메라에서도 비슷한 결 과를 얻었다. 20개 이동지점에 대해 각 카메라에서 얻어진 결과를 식(12)에 대입하여 계산된 r.m.s 오 차값이 Fig. 9에보여지며, 카메라 1에서 0.838 1.257 (pixel), 카메라 2에서 0.869 1.283(pixel), 카메라 3 에서는 0.769 1.569(pixel)로 나타났다. 20개의 이 동지점에 대한 평균 r.m.s 오차값은 카메라 1에 서 1.050 (pixel), 카메라 2에서 1.037(pixel), 카메라 3에서 1.144(pixel)로서 3대의 카메라에서 작은 오 차값을 보여준다. 이리하여 본 연구에서 이동타겟 추정에 적용된 비젼시스템 모델이 적합하다고 판 단된다.

    6.2 가중치행렬을 적용한 경우

    (1) 초기화단계

    Fig. 4의 초기화단계 <step 1> <step 6>의 과정 을 통해 최적의 가중치계수를 추정하였다. Table 4는 가중치계수(α)의 변화에 따라 추정된 위치값 과 실제 위치값을 비교한 오차값 변화를 보여준 다. 오차값은 α가 0일 때 가장 큰 값에서 시작하 여 점점 감소하다가 다시 증가하게 되는데, α가 0.21일 때 최소의 오차값을 갖는다.

    그러므로 0.21을 최적의 가중치계수로 설정하여 식(8)에 대입하여 계산된 가중치행렬 W 를 이동 타겟 추적단계에서 사용하였다.

    가중치행렬을 사용한 초기화 단계에서 계산된 각 카메라에 대한 매개변수는 Table 5, 로봇 관절 값은 Table 6에서 보여주고 있으며, 이 값들은 이 동타겟 추적단계에서 초기값으로 사용된다.

    (2) 이동타겟 추적단계

    가중치행렬을 사용한 Fig. 4의 <step 7> <step 10>을 사용하여 이동타겟 추적실험을 진행하였다. 초기화단계에서 추정된 최적의 가중치계수를 사용 하여 로봇이 타겟을 향해 이동하는 20개 지점에서 2번 카메라에 대해 추정된 매개변수를 식(4)에 적 용하여 계산된 비젼시스템 모델값과 획득된 실제 비젼데이터를 비교한 결과를 Fig. 10에 보여주고 있으며, 1번과 3번 카메라에서도 비슷한 결과를 얻었다.

    3대 카메라에 대하여, 20개 각 이동지점에서 얻 어진 결과를 식(12)에 대입하여 계산된 r.m.s 오 차값은 Fig. 11에 보여주며, 카메라 1은 0.451 0.590(pixel), 카메라 2는 0.439 0.711(pixel), 카메 라 3은 0.590 0.832(pixel)로 나타났다. 각 카메라 에서 20개 이동지점에 대한 평균 r.m.s 오차값은 카메라 1에서 0.517(pixel), 카메라 2에서 0.544 (pixel), 카메라 3에서 0.707(pixel)로서, 가중치행렬 을 사용하지 않는 경우보다 각 카메라에서 약 1/2 배가량의 작은 오차값을 보여준다. 이리하여 본 논문에서 이동타겟 추적에 대해 제시한 비젼시스 템 모델 및 가중치행렬 모델이 적합함을 알 수 있 다.

    7. 강체 이동타겟 추정결과

    이동타겟 추적단계에서 로봇이 이동하는 동안 공간상 위치가 알려지지 않은 각 타겟에 대해 획 득한 실제 비젼데이터만을 사용하여, 가중치 행렬 을 적용하지 않은 경우와 가중치행렬을 적용한 경 우로 구분하여 각 타겟의 공간상 위치값을 추정하 였다. 이를 위해, 각 타겟에 대해 로봇 관절값을 추정한 후 식(3)에 대입하여 위치값을 계산하였다. 추정결과의 효율성을 입증하기 위해, k*번째 타겟 에 대해 추정된 위치값과 실제 위치값을 비교한 오차값 e r . m . s k * 을 식(13)과 같이 정의하였다[12].

    Eq13.gif
    (13)

    여기서, e x k * , j , e y k * , j , e z k * , j k*번째 타겟의 j번째 큐에 대한 x성분, y성분, z성분 오차를 나타낸다.

    7.1 가중치행렬을 적용하지 않은 경우

    (1) 이동타겟 로봇 관절값 추정

    Fig. 3의 <step 4> <step 9>의 과정을 통해 20개 타겟에 대해 추정된 로봇 관절값과 실제 로봇 관 절값을 비교한 결과를 Fig. 12에 나타내었다. 20개 타겟지점에서 각 관절값 오차변화는, θ1 =0.281 0.441(°̊), θ2 =0.621 1.082(°̊), d3 =0.186 0.341(mm), θ4 =0.145 0.986(°̊)로서 만족할만한 결과를 얻었다.

    (2) 이동타겟 공간상 위치추정

    20개 이동타겟에 대해, Fig. 12에서 보여준 추정 된 로봇 관절값을 식(3)에 적용해서 계산된 타겟 위치값을 실제 타겟 위치값과 비교한 오차값은, x축에서 0.191 1.147(mm), y축은 0.020 1.239 (mm), z축은 0.188 0.342(mm)로써 매우 근사한 값을 얻었다. 또한, Fig. 13은 20개 타겟에 대해 실제값과 추정된 위치값을 식(13)에 적용하여 계 산된 r.m.s 오차값을 보여주는데, 오차값의 범위 는 0.454 0.743(mm)에서 분포한다. 전체 20개 타 겟지점에 대한 평균 오차값을 계산하면 0.596(mm) 로 만족할 만한 결과를 얻었다.

    7.2 가중치행렬을 적용한 경우

    (1) 이동타겟 로봇 관절값 추정

    Fig. 4의 <step7> <step10>의 과정을 통해 20개 이동타겟에 대해 추정된 로봇 관절값과 실제 관절 값을 비교한 결과를 Fig. 14에 나타내었다. 20개 타겟지점에서 각 관절값의 오차범위는 살펴보면, θ1 =0.008 0.206(°̊), θ2 =0.001 0.468(°̊), d3 =0.037 0.111(mm), θ4=0.011 0.665(°)로서 만족할만한 결 과를 얻었다.

    (2) 이동타겟 공간상 위치추정

    20개 이동타겟에 대해, Fig. 14에서 보여준 추 정된 로봇 관절값을 식(3)에 대입하여 계산된 타겟 위치값을 실제 타겟 위치값과 비교하면, x축의 오차값은 0.034 0.338(mm), y축의 오차값은 0.00 3 0.554(mm), z축의 오차값은 0.037 0.112(mm) 로서 근사한 값을 얻었다. 또한, 식(13)을 사용하 여 20개 이동타겟에 대한 r.m.s오차값의 변화를 Fig. 15에 나타내었다. 각 타겟에 대한 r.m.s오차 값은 0.0724 0.2962(mm) 범위에 존재하며, 전체 20개 타겟에 대한 평균 r.m.s 오차값은 0.1905(mm)이다. 최종적으로 가중치행렬을 적용하 지 않은 경우와 비교하면 3배 이상의 정확도를 갖 는 매우 만족할만한 결과를 얻었다.

    8. 결론

    강체 이동타겟의 위치값을 추정하기 위해 제시 된 2개 로봇비젼 제어기법을 통해 도출된 결과를 분석하여 다음과 같은 결론을 얻었다.

    1. 선행연구에서 강체 고정타겟 위치추정에 사용 된 비젼시스템 모델을 가중치 행렬을 적용하 지 않는 강체 이동타겟 추적에 적용한 결과, 평균 r.m.s 오차값은 0.5453 1.0769(pixel)로 만족할만한 정확도를 보여주었다.

    2. 높은 정확도를 갖는 카메라 매개변수를 추정하 기 위해 제시된 가중치행렬 모델을 사용한 비 젼시스템 모델의 정확도를 계산한 결과, 가중 치 행렬을 적용하지 않는 경우보다 2배 이상의 높은 정확도를 보여주었다.

    3. 강체 이동타겟의 위치를 추정한 결과, 가중치행 렬을 적용한 경우가 가중치행렬을 적용하지 않 은 경우 보다 3배 이상의 높은 위치 정확도를 보여주므로 제시된 가중치행렬의 효율성을 보여 주었다.

    4. 비젼시스템 모델 및 이동타겟 위치추정 결과에 비추어 보면, 이동물체 추정시 높은 정확도를 요구하는 경우 가중치행렬을 사용한 로봇비젼 제어기법이 매우 효율적임을 알 수 있었다.

    5. 향후 타겟이 이동하는 동안 카메라의 시야가 확보되지 않은 경우에 대한 로봇비젼 제어기 법에 대한 연구를 수행할 예정이다. 제시된 로 봇비젼 제어기법을 산업현장의 정밀 조립작업 등에 적용한다면 큰 도움이 될 것으로 사료된 다.

    후 기

    “이 논문은 2018년도 조선대학교 학술연구비 지 원에 의하여 연구되었음.”

    Figure

    KSMPE-17-161_F1.gif
    Link parameters and link frame assignment of 4 axis robot
    KSMPE-17-161_F4.gif
    Robot vision control scheme with weighting matrix
    KSMPE-17-161_F2.gif
    Data processing method
    KSMPE-17-161_F3.gif
    Robot’s vision control scheme without weighting matrix
    KSMPE-17-161_P1.gif
    Experimental set-up
    KSMPE-17-161_F5.gif
    Schematic diagram for the experiment
    KSMPE-17-161_F6.gif
    Test model used for the experiment
    KSMPE-17-161_F7.gif
    Arbitrary robot moving trajectory
    KSMPE-17-161_F8.gif
    Comparison of the actual and estimated values of vision system model with α = 0 in camera 2 (unit: pixel)
    KSMPE-17-161_F9.gif
    Comparison of the r.m.s errors of vision system model with α = 0 in 3 cameras (unit: pixel)
    KSMPE-17-161_F10.gif
    Comparison of the actual and estimated values of the vision system model with α=0.21 in camera 2 (unit: pixel)
    KSMPE-17-161_F11.gif
    Comparison of the r.m.s errors of vision system model with α=0.21 in 3 cameras (unit: pixel)
    KSMPE-17-161_F12.gif
    Comparison of the actual and estimated values of robot joint values with α =0
    KSMPE-17-161_F13.gif
    The r.m.s position errors with α =0 (unit: mm
    KSMPE-17-161_F14.gif
    Comparison of the actual and estimated values of robot joint values with α =0.21
    KSMPE-17-161_F15.gif
    The r.m.s position errors with α =0.21 (unit: mm)

    Table

    Link parameters of 4 axis robot
    In the robot's initial stage, the estimated 6 camera parameters with α= 0
    Estimated robot joint values with α = 0 in robot's initial stage
    Errors according to the variation of weighting factors(α ) in robot initial stage
    Estimated 6 camera parameters with α = 0.21 in robot's initial stage
    Estimated robot joint values with α = 0.21 in the robot's initial stage

    Reference

    1. Ahmed, M. S. , Saatchi, R. and Caparrelli, F., "Vision Based Object Recognition and Localization by a Wireless Connected Distributed Robotic Systems", Electronic Letters on Computer Vision and Image Analysis, Vol. 11, No. 1, pp. 54-67, 2012.
    2. Lee, G. I. , Kim, J. Y., Roh, C. S. and Choi, C.J., Customized Pattern-Recognition Technique using Vision Measurement System Development in New Car Manufacturing Process, Journal of the Korean Society of Manufacturing Process Engineers, Vol. 15, No. 4, pp. 51-59, 2016.
    3. Yang, Y. S. and Bae, K. Y., "Application of Stereo Vision for Shape Measurement of Free-form Surface using Shape-from-shading", Journal of the Korean Society of Manufacturing Process Engineers, Vol. 16, No. 5, pp. 134~140, 2017.
    4. Mohamed, A. , Yang, C. and Cangelosi, A., "Stereo Vision based Object Tracking Control for a Movable Robot Head", Preprints of the 4th IFAC International Conference on Intelligent Control and Automation Sciences, Reims, France, June 1-3, pp. 161-168, 2016.
    5. Petrović, E. , Leu, A., Ristić-Durrant, D. and Nikolić, V., "Stereo Vision-Based Human Tracking for Robotic Follower", International Journal of Advanced Robotic Systems, Vol. 10, pp. 1-10, 2013.
    6. Durmus, B. , Temurtas, H., Yumusak, N., Temurtas, T. and Kazan, R., The Cost Function Minimization for Predictive Control by Newton- Raphson Method, Proceeding of the International Multiconference of Engineers and Computer Scientists, Vol. 2, pp. 19-21, 2008.
    7. Yang, C. , Huang, Q., Ogbobe, P. O. and Han, J., Forward Kinematics Analysis of Parallel Robots Using Global Newton-Raphson Method, Proceedings of 2009 Second ICICTA., pp. 407-410, 2009.
    8. Horn, B. K. P. , Robot Vision, Cambridge, Massachusetts, The MIT Press, pp. 46-48, 1986.
    9. Sandon, P. A. , Control of Eye and Arm Movements Using Active, Attentional Vision, International Journal of, Pattern Recognition and Artificial Intelligence, Vol. 8, No. 6, pp. 1471-1491, 1994.
    10. Son, J. K. , Hong, S. M. and Jang, W. S., "Evaluation of Two Robot Vision Control Algorithms Developed Based on N-R and EKF Methods for Slender Bar Placement", The Korean Society of Mechanical Engineerings, Vol. 37, No. 4, pp. 447-459, 2013.
    11. Craig, J. J. , Introduction to Robotics Mechanics and Control 2nd Edition, Addison-Wesley Publishing Company, pp. 83-84, 1989.
    12. Freedman, D. , Pisani, R. and Purves, R., Statistic Fourth Edition, W. W. Norton & Company, pp. 66-67, 2007.