Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1598-6721(Print)
ISSN : 2288-0771(Online)
The Korean Society of Manufacturing Process Engineers Vol.18 No.8 pp.98-103
DOI : https://doi.org/10.14775/ksmpe.2019.18.8.098

Study on Three-dimension Reconstruction to Low Resolution Image of Crops

Jang-Seok Oh*, Hyung-Gil- Hong*, Hae-Yong Yun*, Yong-Jun Cho*, Seong-Yong Woo*, Su-Hwan Song*, Kap-Ho Seo*, Dae-Hee Kim*#
*Smart Connected Research Center, Korea Institute of Robot Convergence.
Corresponding Author : dhkim@kiro.re.kr Tel: +82-54-821-5400, Fax: +82-54-823-5411
12/07/2019 25/07/2019 04/08/2019

Abstract


A more accurate method of feature point extraction and matching for three-dimensional reconstruction using low-resolution images of crops is proposed herein. This method is important in basic computer vision. In addition to three-dimensional reconstruction from exact matching, map-making and camera location information such as simultaneous localization and mapping can be calculated. The results of this study suggest applicable methods for low-resolution images that produce accurate results. This is expected to contribute to a system that measures crop growth condition.



작물의 저해상도 이미지에 대한 3차원 복원에 관한 연구

오 장석*, 홍 형길*, 윤 해룡*, 조 용준*, 우 성용*, 송 수환*, 서 갑호*, 김 대희*#
*한국로봇융합연구원 스마트커넥티드연구센터

초록


    Ministry of Agriculture, Food and Rural Affairs
    317072-04
    118076-2
    118080-2

    National Research Foundation of Korea
    NRF-2018R1D1A1B07049072

    © The Korean Society of Manufacturing Process Engineers. All rights reserved.

    This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

    1. 서 론

    물체의 3차원 복원은 컴퓨터비전의 중요한 영역 으로 다음과 같은 단계를 거쳐서 이루어진다. 첫 번째 단계는 영상 간의 정확한 매칭을 찾고, 두 번째 단계에서는 이로부터 카메라의 위치를 계산하고, 마지막 단계에서 카메라위치와 매칭점을 가지고 3차원의 포인트를 복원한다. 이를 위해서 특징점을 추출하고 매칭하는 방법으로 대표적인 방 법인 Scale Invariant Feature Transform(SIFT)[1]과 Speeded Up Robust Features(SURF)[2]을 이용한다. 이 방법의 장점은 크기변화에 강인한 특징점을 추출 할 수 있다. 생육상태를 측정하기 위한 3차원 정보를 제공할 수 있는 방법을 제안하기 위해서 영상들 간의 매칭점을 이용하여 물체의 3차원 복원하는 대표적인 방법인 Incremental Structure from Motion(SFM)[3~5]을 이용한다.

    연구에서는 작물의 저해상도 영상에도 적용 가능한 방법을 제안하여 기존의 대표적인 방법을 발전시켰다. 다음 장에서는 저해상도 영상에서 특 징점을 추출하기 위해서 필요한 Affine model[6]과 Adaptive threshold에 대해서 알아보고, 또한 정확 한 매칭문제를 풀기 위하여 Epipolar geometry[7]에 대해서 알아본다. 이러한 개념을 적용한 우리의 알고리즘을 작물영상에 적용하여 3차원 복원 결과 를 살펴본다.

    2. 작물의 3차원 복원 방법

    2.1 어파인 모델(Affine model)

    Affine model은 카메라 포즈의 변화가 많은 곳에 서도 매칭을 하고자 기존의 SIFT에 적용한 알고리 즘으로 카메라의 포즈를 그림1과 같이 경도와 위도 변화를 주면서 영상에 Affine model을 적용하여 가 상의 영상을 만든다. 이 영상들에 동일한 SIFT알고 리즘을 이용하여 특징점을 추출한다. 우리는 여기 에 SURF도 사용하여 충분한 양의 특징점을 추출하 는데 사용한다. 두 방법은 상호 보완적인 점을 추 출하므로 특징점 추출하는데 같이 사용하는 것을 권장한다.

    우리는 위의 표1과 같이 위도의 변화가 없는 경우, 위도가 30도 경우, 그리고 위도가 45도인 경 우를 통해서 실험에서 적용 가능함을 보였다.

    2.2 적응 문턱치(Adaptive threshold)

    2.2.1 SIFT

    SIFT알고리즘은 그림2와 같은 과정을 걸쳐서 특징점을 추출한다. 이 과정에서 값을 0.02 로 고정하여 특징점을 추출한다. 이는 일반영상에 서는 잘 적용된다. 하지만 의료영상이나 얼굴과 같은 특징점을 찾기 어려운 영상에서는 적용이 힘 들다. 하지만 의 히스토그램 분석을 하여 최대값을 문턱치로 사용하면 특징점을 찾기 어려 운 영상에서도 특징점을 찾을 수 잇다.

    2.2.2 SURF

    SURF알고리즘도 특징점을 추출할 때 0.0002의 고정된 Hessian 값을 사용한다. 따라서 위의 방법 과 마찬가지로 Hessian 값의 히스토그램 분석을 하여 최대값을 적응 문턱치로 사용하여 특징점을 찾는다.

    2.3 에피폴라 기하(Epipolar geometry)

    2.3.1 기본행렬(Fundamental matrix)

    에피폴라 기하는 3차원 문제를 접근 및 해결하 기 위한 가장 기초가 되는 학문이다. 본 논문에서 는 특징점 추출을 하고, 다음으로 정확한 매칭문 제를 풀기위해서 에피폴라 기하를 이용한다.

    기본행렬(F)는 그림3에서 보듯이 두 카메라에서 3차원의 한 점(X)을 바라볼 때 영상에 투영된 두 점(x, x’)이 꼭 만족해야할 수식(1)을 나타낸다.

    x T F x = 0
    (1)

    2.3.2 형상오차(Geometric error)

    형상오차는 그림4에서 보는 바와 같이 매칭점 으로부터 기본행렬을 계산하고 이를 3차원 복원과 정에서 발생하는 오차이고, 수식(2)로 정의한다.

    C ( x , x ) = d ( x , x ^ ) 2 + d ( x , x ^ ) 2 subject to  x T F x = 0
    (2)

    2.3.3 매칭알고리즘

    그림5에서 보는바와 같이 4단계를 걸쳐 매칭점 을 찾는다. 첫 번째 단계에서는 특징점의 묘사자 를 비교하여 가장 작은 것을 후보로 정한다. 두 번째 단계에서는 묘사자를 비교하여 에러값이 가 장 작은 것과 두 번째로 작은 에러값의 비율을 확 인하여 후보군을 제거한다. 여기까지는 보통 많이 사용하는 방법이다. 우리는 보다 정확한 매칭을 위해서 앞에서 설명한 에피폴라 기하를 만족하는 후보군을 찾는다. 기본행렬을 계산하여 형상오차 가 0.25보다 높은 것은 정확하지 않은 매칭으로 간주하여 후보군에서 제거하였다.

    2.4 3차원 복원 알고리즘

    3차원 복원 방법에는 여러 가지가 그 중에서 가 장 많이 사용하는 것이 그림6와 같은 Incremental SFM이다. 복원하려는 대상물체의 연속적인 영상에 서 임의의 두 영상을 이용하여 3차원 포인트를 복 원하고 이상점을 제거한 다음 보정한다. 이후 이웃 한 새로운 영상을 추가하면서 카메라의 위치를 계 산하고 앞에서 실행했던 복원, 이상점제거, 보정의 과정을 영상이 추가되지 않을 때까지 반복한다.

    3. 실험결과 및 고찰

    우리는 논문[8]에서 사용한 데이터 중에서 익소 라(Ixora) 영상을 사용하였다. 해상도는 3648x2736 이고, 77장의 이미지로 구성되어 있다. 본 논문의 목적인 저해상도 영상을 위해 해상도를 640x480 으로 낮추어 데이터를 만들어 실험에 적용하였다. 가장 많이 사용되는 VisualSFM[9]와 CMPMVS[10]를 이용하여 우리가 제안한 알고리즘의 성능을 비교 하였다.

    그림78은 VisualSFM과 CMPMVS알고리즘을 적용한 결과이며, 고해상도(그림7)에서는 3차원 복 원을 잘 할 수 있다. 그러나 저해상도의 경우 계산 된 카메라의 위치정보가 부정확하여 그림8에서 보듯 이 복원하지 못하는 곳과 작물 주위에 잘못 복원 된 점들이 생기는 것을 알 수 있다.

    우리는 저해상도(640x480) 영상에 적용하여 제 안한 알고리즘을 성능을 평가하였다. 앞의 표1에 서 보는 봐와 같이 세 가지 경우에 대하여 정량적 평가를 하였다. 평가한 결과는 표2에 정리하였다. 표에서 알 수 있듯이 오차 값은 줄어들고 복원된 3차공간의 점은 더 늘어났다.

    그림9~11은 표2에서 정리된 결과를 카메라의 위치와 복원된 3차원 포인트를 나타내고 있다. 마 지막 모델(그림11)을 살펴보면 고해상도 영상에서 VisualSFM과 CMPMVS를 적용한 결과(그림7)와 비교하여 저해상도 영상에서도 상당히 좋은 결과 를 얻을 수 있었다. 그림 10

    4. 결 론

    본 논문은 작물의 3차원 복원문제를 해결하기 위 한 방법을 제안하고 있다. 더불어 영상의 해상도가 낮아도 작물의 복원된 3차원 점들과 상당히 정확한 카메라의 위치도 계산할 수 있었다. 작물의 3차원 적 정보가 필요한 생육모니터링시스템에 적용 가능 할 것으로 예상된다. 또한 지도 작성 및 카메라의 위치를 계산하여 자율주행 및 내비게이션이 필요한 분야에도 적용가능하다고 생각된다.

    본 알고리즘의 효과적인 활용을 위해서는 향후 병렬처리를 이용한 계산 속도를 높이는데 있다. 저 해상도에서 복원이 가능하도록 특징점을 가능한 많 이 추출하다보니 계산양이 많이 늘어나기 때문이 다. 또한 응용분야에 따라 해상도와 카메라의 포즈 변화에 따른 적절한 양의 특징점 추출을 고려한 연 구가 필요하다.

    후 기

    “본 결과물은 농림축산식품부의 재원으로 농림식 품기술기획평가원의 첨단생산기술개발사업의 지원을 받아 연구되었음(317072-04 118076-2, 118080-2). 이 논문은 2018년도 정부(교육부)의 재원으로 한국연구 재단의 지원을 받아 수행된 기초연구사업임 (NRF-2018R1D1A1B07049072).”

    Figure

    KSMPE-18-8-98_F1.gif
    Geometric interpretation
    KSMPE-18-8-98_F2.gif
    The SIFT algorithm sequence
    KSMPE-18-8-98_F3.gif
    Epipolar geometry
    KSMPE-18-8-98_F4.gif
    Minimization of geometric error
    KSMPE-18-8-98_F5.gif
    Block diagram of finding corresponding points
    KSMPE-18-8-98_F6.gif
    3D reconstruction scheme with a set of matching points computed from sequential images
    KSMPE-18-8-98_F7.gif
    Experiment result of ixora (3648x2736 pixels) using VisualSFM & CMPMVS
    KSMPE-18-8-98_F8.gif
    Experiment result of ixora (640x480 pixels) using VisualSFM & CMPMVS
    KSMPE-18-8-98_F9.gif
    Experiment result of ixora (640x480 pixels) using our proposed algorithm with θ=0°
    KSMPE-18-8-98_F10.gif
    Experiment result of ixora (640x480 pixels) using our proposed algorithm with θ=30°
    KSMPE-18-8-98_F11.gif
    Experiment result of ixora (640x480 pixels) using our proposed algorithm with θ=45°

    Table

    Models with latitude
    Result of our proposed algorithm

    Reference

    1. Lowe, D. G., “Distinctive Image Features from Scale-Invariant Keypoints,” International journal of computer vision, Vol. 60, No. 2, pp. 91-110, 2004.
    2. Bay, H., Ess, A., Tuytelaars, T., Gool, L. V., “Speeded-Up Robust Features (SURF),” Computer vision and image understanding, Vol. 110, No. 3, pp. 346-359, 2008.
    3. Mouragnon, E., Lhuillier, M., Dhome, M., Dekeyser, F., Sayd, P., “Generic and real-time structure from motion using local bundle adjustment,” Image and Vision Computing, Vol. 27, No. 8, pp. 1178-1193, 2009.
    4. Irschara, A., Zach, C., Klopschitz, M., Bischof, H., “Large-scale, dense city reconstruction from user-contributed photos,” Computer Vision and Image Understanding, Vol. 116, No. 1, pp. 2-15, 2012.
    5. Lhuillier, M., Yu, S., “Manifold surface reconstruction of an environment from sparse Structure from Motion data,” Computer Vision and Image Understanding, Vol. 117, No. 11, pp. 1628-1644, 2013.
    6. Morel, J. M., & Yu, G., “ASIFT: A New Framework for Fully Affine Invariant Image Comparison,” SIAM Journal on Imaging Sciences, Vol. 2, No. 2, pp. 438-469, 2009.
    7. Hartley, R., Zisserman, A., Multiple view geometry in computer vision, Cambridge university press, 2003.
    8. Santos, T., Oliveira, A., “Image-based 3D digitizing for plant architecture analysis and phenotyping,” Workshop on Industry Applications (WGARI) in SIBGRAPI, 2012.
    9. Changchang Wu.(2017), “VisualSFM: A Visual Structure from Motion System,” Retrieved 25, Jun., 2017 from http://ccwu.me/vsfm/.
    10. Jancosek, M., Pajdla, T., “Cmpmvs-multi-view reconstruction software,” International Symposium on 3D Data Processing, Visualization and Transmission (3DPVT), 2008.