카테고리
공지

[코리아 그래픽스 2021] 질문 응답 / 맥스트 (조규성 부사장/CTO)

제조/건축 분야 AR 적용과 메타버스 플랫폼 개발 사례 / 맥스트 조규성 부사장/CTO

[질문 1] 카메라 한대로 정확한 3d 이미지를 획득하는 것에 문제가 없나요?

[답변 1] 저희는 카메라 한대 만으로 정확한 3차원 정보를 얻는데 많은 노력을 하고 있으며, 자체 캘리브레이션 및 최적화 과정을 거치면 충분히 신뢰도 높은 3차원 정보를 계산해 낼 수 있습니다.

[질문 2] AR기술을 싱글카메라에 적용한다고 하셨는데 적용시 알고리즘은 오픈소스기반인가요? 아님 직접개발한 것인가요? 현재 시장에 많은 알고리즘이 있는데 비교시 특징은 무엇인가요?

[답변 2] 저희가 사용하고 있는 알고리즘은 직접 개발/구현하여 사용하고 있습니다. 현재 시장에 나와있는 많은 알고리즘에 비하여 모바일 환경에 맞춘 빠르고 정확한 성능이 특징입니다.
추적과 인식기능에는 최고 수준이라고 생각 할 수 있고, 여러가지 클라우드를 통해서 인식 가능 이미지를 무한대로 늘렸습니다. 저희는 싱글 카메라로 오브젝트 트래킹, 이미지 트래킹, 마커 트래킹을 구현 했습니다.

[질문 3] 카메라 한대로 정확한 3d 이미지를 획득하는 것에 문제가 없나요?

[답변 3] 저희는 카메라 한대 만으로 정확한 3차원 정보를 얻는데 많은 노력을 하고 있으며, 자체 캘리브레이션 및 최적화 과정을 거치면 충분히 신뢰도 높은 3차원 정보를 계산해 낼 수 있습니다.

[질문 4] 자체 캘리브레이션이라면 corresponding points 7개를 찾아내는 것이 중요한데(non-colinear) 이 정도의 feature가 나오지 않는 object가 많을텐데 어떻게 epipolar constraints를 찾아내나요?

[답변 4] 일반적으로 정밀한 3차원 정보를 추출하기 위해서 off-line 캘리브레이션이 정확도가 더 높다고 생각하기 때문에, 사전 캘리브레이션 작업을 진하는 방향을 주로 사용합니다.
또한, 이야기해주신 것과 같이 feature가 너무 적게 추출되는 object 의 경우 추가적인 센서(depth camera) 등을 이용하지 않으면 정확한 계산이 어려운 부분이 분명 존재합니다.

[질문 5] 평면 오브젝트란 건 뭘 말하는 거죠? 이를테면 Floor 같은 바닥을 말하나요? 아니면 3-D Mesh에서 일정 크기 이상의 surface를 의미하나요?

[답변 5] 책자, 건물면, 기기 앞면 등 평면에 가까운 면이라 생각하시면 됩니다. 물론 말씀하신 floor도 해당되구요.

[질문 6] 질문 하나만 더 드리겠습니다. 바닥에 pattern이 없고 line feature나 image gradient가 boundary에 집중되어 있다면 간응하겠지만, 카페트 같은 경우에는 무척 어렵지 않나요?

[답변 6] 저희 기술 중 비전만 사용하는 추적 기술은 그렇구요. IMU를 같이 사용하는 추적 기술은 그런 상황에서도 강인하게 추적합니다.

[질문 7] 질문은 평면의 탐지였습니다. 평면은 동일한 tensor를 공유하는 점/mesh의 집합인데 vanishing point을 얻을 수 없는 surface의 경우 어떻게 평면 정보를 얻을 수 있는가에 대한 질문이었습니다.

[답변 7] Image Tracker의 경우, 저희 developer.maxst.com에서 해당 평면 이미지를 학습합니다. Instant Tracker의 경우, 중력에 수직인 면을 평면이라 가정하고 추적을 시작합니다. VIO 기술이 탑재되어 있어 시간이 지나면 평면이 아닌 부분의 지오메트리도 reconstruction 됩니다.

[질문 8] 제가 죄송합니다. 생각해 보니 굳이 line 이 아니어도 point cloud 에서 corresponding point만 찾으면 Structure from Motion으로 surface information을 얻을 수도 있겠네요.

[답변 8] 네 맞습니다.

[질문 9] 싱글 카메라만 사용하는 솔루션이면 다른 센서의 도움이 전혀 필요 없는 건가요??

[답변 10] 저희의 솔루션중에 이미지, 마커, QRCode, 오브젝트 트래커는 다른 센서를 사용하지 않고 있습니다.

[질문 11] CCTV에 이미지와 오브젝트 트레커를 적용가능한지 궁금합니다. 사람의 CCTV안의 사람의 안면을 트레킹할 때 그 정확도는 어느정도인지 궁금합니다.

[답변 11] 이미지와 오브젝트 트레커의 경우 CCTV 에도 당연히 적용 가능합니다. 사람의 안면을 트래킹 할 경우, CCTV 에 노출되는 사람의 얼굴의 크기가 중요할 것으로 보입니다. 하지만 사람의 얼굴을 트래킹하기 위한 목적의 알고리즘이 아니기 때문에 정확도와 정밀도는 구체적으로 답변하기 어렵습니다.

[질문 12] object tracker가 필요한 이유를 잘 모르겠네요. SIFT feature mapping 만으로 모든 labeling이 가능할텐데요.

[답변 12] SIFT feature mapping과 labeling이 정확히 무엇을 의미하는지는 모르겠지만 비슷한 기능이 Object Tracker라 보시면 될 것 같습니다.

[질문 13] 마법천자문 AR 상품을 구입하려면 어떻게 접근해야 하는지요? 주위에 홍보하면 인기가 많을 것 같아서요

[답변 13] 어플리케이션은 스토어를 통해 다운받아 사용하시면 되고 도서를 구매하셔서 AR 마크가 있는 페이지를 비추시면 다양한 콘텐츠가 증강됩니다.

[질문 14] 아이폰이 아닌 일반 안드로이드폰에서도 이미지 트래킹만이 아닌 오브젝트 트래킹이 가능한가요?

[답변 14] 네. 싱글 카메라만 사용하고 있어서 일반 안드로이드 폰에서도 사용 가능 합니다.

[질문 15] 아까 그 쉐프처럼 캐릭터들이 나와서 설명하는것도 자체 툴에 소스가 있나요? 아니면 그런 것들은 모델링 해서 삽입하는건가요.

[답변 15] 맥스트는 AR 플랫폼을 기업으로 제공하고 기업에서 직접 콘텐츠를 제작해서 사용할 수 있도록 하고 있습니다. 기업에서 증강 콘텐츠를 저작할 수 있는 툴도 제공하고 있습니다.

[질문 16] 향후에는 구글 글래스, 애플 글래스 등의 AR 장비가 제조/건축 산업현장에서 많이 사용될 것으로 예측합니다. 그런데, 배터리 수명, 무게가 이슈가 있을거 같고, 공간인식을 지원할 AR 콘테츠가 제일 중요할 거 같은데, 맥스트의 경우, 어떤 형태/방식의 AR 콘텐츠를 제공하시는지 궁금합니다.

[답변 16] 산업 현장에서 활용되는 컨텐츠의 경우, IoT 데이터의 증강 및 대시보드 운영 등의 형태와 AR 컨텐츠화된 매뉴얼로 업무를 지도/관리할 수 있는 설비점검, 매뉴얼 등의 컨텐츠가 가장 일반적으로 활용하고 있는 방식입니다.

[질문 17] 타 시스템 제조사 에서도 AR 을 이용하여 유지보수를 진행하고 있는것으로 알고 있습니다. 이 시스템의 장점은 무엇인가요?

[답변 17] 기본적으로는 기존에는 문서로만 진행했던 업무들을 디지털로 전환하여 데이터베이스화하고, 축적된 데이터를 기반으로 부가적인 인싸이트를 얻어낼 수 있는 형태로 활용할 수 있습니다. 또한, 유지보수 등의 작업에서 작업자 개개인간의 작업 편차 혹은 오류가 발생할 수도 있는 가능성을 최소화 할 수 있습니다.

[질문 18] 증강현실을 통해서 건물의 노후도로 인해서 안전진단 및 구조검토 하기 위한 ar기술이 도입이 가능한가요? 배근이나 철골의 상태를 알 수 있다면 언제쯤 건축물이 무너지는 지 알 수 있나요? 그래서 만약에 무너지는 시키를 안다면 공사 완료 후 그 건물을 보강할 수 있나요?

[답변 19] 말씀하신 부분이 구현되기 위해서는 노후도, 상태 값을 전달해줄 수 있는 IoT 관련 인프라가선제적으로 구축되어 있어야 할 것 같습니다. 이러한 데이터들이 구축되어 있다면 해당 데이터들을 기반으로 증강현실로 시각화해주는 솔루션은 충분히 가능할 것으로 판단됩니다.

[질문 20] SLAM 작성에 있어 IMU 센서를 사용한다고 하셨는데, 이는 전선이 지나가는 바닥이나 자성물체가 있는 경우 정확한 MAP 작성이 어려운데 이런 문제는 어떻게 해결하였나요?

[답변 20] 말씀하신바와 같이 IMU 센서는 자성물체가 있을 경우 영향을 받습니다. 하지만 IMU 센서에만 의존하지 않고, 카메라 영상 정보를 이용해서 최적화를 시키기 때문에 큰 오차가 발생하지 않습니다. 또한 오차가 발생하더라도 위치를 재추정하여 최적화를 다시 진행하는 Loop-closure 기능이 있습니다.

[질문 21] 최근 택배차량 지하 주차장 진입 문제가 이슈인데, AR적용 시 간섭 확인을 위해 차량이나 장비 모형도 함께 Simulation할 수 있나요?

[답변 21] 지금 설명 드리는 VPS 맵을 구축한 후 차량이나 장비의 3D 모델을 활용하여 시뮬레이션도 충분히 가능한 부분으로 판단됩니다.

[질문 22] 향후 광고와 접목하면 메타버스의 특목적을 아주 잘 살리고 활용할 수 있을 것 같네요..정말 신기하네요.. 공항에 이용하면 더 홍보효과가 좋을 것 같네요..

[답변 22] 현재는 COEX를 기반으로 메타버스 개념을 활용하는 프로젝트를 중점적으로 진행 중이며, 점진적으로 적용 범위를 넓혀나갈 계획입니다.

[질문 23] 기술적인건 맥스트의 특정기술이 아니고 요즘 많이 쓰이는 기술이니까 구글링 하시면 많이 나와요

[답변 23] 현재 보여드리는 영상들은 모두 맥스트 자체 기술로 개발 것들이니다. 궁금하신 내용 있으시면 맥스트로 문의해 주시면 감사하겠습니다.

[질문 24] Point cloud의 경우 데이타를 얻기는 쉽지만 surface information이나 occlusion 발생시 (특히 Coex처럼 사람이 많은 경우) 나감한데 이는 어떻게 해결하셨죠?

[답변 24] 죄송합니다만, 앞의 말씀은 무슨 뜻인지 이해를 못하였습니다. 후자의 경우 (사람이 많은) Outlier rejection 등을 이용하여 해소하고 있습니다.

[질문 25] 제가 정신이 나갔나 봅니다. 여러게 질문을 동시에 하다보니… surface information을 얻을 수 없는 부분(뚫린 천장, irregular surface) 에 대한 것이었는데, 역시 Outlier 포 처리하신다고 이해하겼습니다.

[답변 25] 네. 알겠습니다.

[질문 26] 구글이 예전에 스마트 안경을 만드려고 시도를 했다가 실패를 했던 사례가 있습니다만, 지금 까지 말씀 하셨던 것을 종합해서 보면, 스마트폰이나 기기를 들고 다니지 않고도 안경만 쓰고도 그 장면을 볼 수 있는 기술이 현재나와있나요?

[답변 26] 현재는 휴대폰 혹은 태블릿 등의 모바일 기기를 위주로 활용하고 있으나, HW 기술 개발이 지속되고 있는 상황으로 곧 활용성/사용성이 높은 글래스 제품들 또한 다수 출시가 예정되어 있습니다.

[질문 27] IoT 데이터를 수집 후 AR/VR에 표현 시 실시간으로 데이터가 표현되어야 할 거 같은데 가능한 기술인가요??

[답변 27] IoT 데이터를 수집하는 별도의 서버에서 취득된 데이터를 어플리케이션으로 실시간 전송하는 방식으로 구현이 가능합니다.

[질문 28] 360카메라로 촬영한 동영상만으로 별도의 3D 프로그램 도움없이 자체적으로 3D 스캔한 것과 같은3D 데이터를 만들 수 있는 건가요??

[답변 28] 네. 맞습니다.

[질문 29] 제조 분야의 장비 설정과 셋팅, AS 등을 AR 적용 시 장비 기능과 센서 등이 없는 구형 장비의 경우에는 어떤 보안으로 가능할지요?신형 장비는 어떤 센서와 조건이 있어야 구성이 가능할지요?

[답변 29]

데이터를 수집/축적/전송할 수 있는 정도의 기능은 갖추어져 있어야 관련 정보를 증강시켜 활용할 수 있습니다. 구형 장비의 경우 디지털화 되도록 하게 해주는 솔루션 설치하셔야 합니다. 장비의 센서 정보를 디지털화 할 수 있다면 추가적인 스마트팩토리 또는 IoT 솔루션 등을 통해 AR 적용 가능 할 것 같습니다.

[질문 30] API 등을 활용한 Legacy 시스템과 연계한 효율적인 업무 향상 방안이 있을까요?

[답변 30] 말씀하신 API가 Legacy 시스템의 상태 데이터이면 증강현실 상태에서 데이터를 표시해줄수 있습니다. 여러 제조 업체에서 사용하고 있습니다.

[질문 31] 제페토, 로블록스에서도 MAXST메타 버스 플랫폼에서도 적용이 가능할 수 있으면 더 더 많은 사람이 접근이 가능하다고 생각합니다. 꼭 그 두 회사와 협력하셔서 온오프라인을 다 잡으실 수 있는 기업으로 거듭나시길 기원합니다. 정말 필 수 로 보입니다.

[답변 31]

[답변] MAXST 메타버스 플랫폼 기반 여타 메타버스 서비스와의 연동 또한 고려하고 있습니다. 언젠간 국내 전지역으로 확장하는 것은 물론 글로벌 스탠다드 서비스로 발전하기 위해 노력하겠습니다.

[질문 32]

cdpr사의 사이버펑크2077이란 게임에 나오는 브레인댄스가 생각나네요. 다양하게 활용할 여지가 엄청나게 많아 보입니다.

[답변 32] [답변] 네… 앞으로도 관심갖고 지켜봐주세요.

[질문 33] 현실세계에서 사용한다면 인물들의 초상권 등에 문제가 있을 수도 있겠단 생각이 드네요

[답변 33] 맞습니다. 그래서 저희는 딥러닝으로 사람 얼굴을 블러링하는 기술도 같이 개발했습니다.

[질문 34] 그래서 애플은 글래스에 카메라가 없어요. 아마 그것이 시장 기준이 될거고요

[답변 34] 그런 얘기도 들었습니다만, 정확한건 애플 글래스가 출시되어야만 알 수 있을 것 같습니다.

[질문 35] 문제는 데이터 처리와 네트워크 속도가 중요할 것 같네요…5G도 어려울 것 같네요..

[답변 35] [답변] 5G 시대도 아직 제대로 도래하지 않은 것 같습니다. 5G와 MEC 보급이 확산된 후에 판단해봐야할 것 같습니다.

[질문 36] 레이저스캐너가 이제는 필요가 않나요? 기존 공장들 도면없으면 레이저스캐너를 사용하여 3D 데이타로 넘겼는데…

[답변 36] 레이저스캐너 혹은 라이다 기반의 3D 데이터 생성 장치는 필요합니다. 비전만으로 스캔되지 않는 영역도 존재하기 때문입니다.

[질문 37] 가상 공간에서 나를 대신해 아바타가 활동할 때의 문제가 생기지 않을까요? 이에 대한 해결책도 준비되고 있나요?

[답변 37] 현재 구상 중인 메타버스 서비스의 경우, 가상공간 상의 아바타는 현실세계에서 나의 행동을 그대로 반영하기만 하는 형태로 문의하신 내용과는 약간 상이한 부분이 있는 것 같습니다

[질문 38] 지금 보여주신 post it 비디오의 경우 POV가 급격하게 변하여 scene 자체의 구성이 변화하여도 동일하게 작동하나요?

[답변 38] 네..SLAM으로 공간을 강건하게 추적하고 있기 때문에 시점이 빠르게 변화하여도 Post it은 제자리에 고정되어 있습니다.

[질문 39] 아 건축물도 저작권이 있어서 스캔을 하면 안되나보군요

[답변 39] 메타버스 초창기에는 큰 이슈가 없을 듯 하지만 시간이 지나면 가상화된 장소에 대한 소유권 문제가 대두될 것 같습니다.

[질문 40] 메타버스 시대에 글로벌한 시장에서 선도하는 기업으로 성장하기 위해 어떤 것이 더 필요하며 그 필요를 채우기 위한 향후 계획도 가지고 계신가요?

[답변 40] 기존 좋은 인터넷, 게임 서비스 업체들과 제휴를 맺고 메타버스 서비스하는 작업이 가장 중요할 것 같습니다.

[질문 41] 메일주소가 어떻게 되나요?

[답변 41] help@maxst.com 입니다.

[질문 42] 방금 시연해주신 기술을 보고 든 생각인데, 향후에는 모든 자동차들에 360카메라로 블랙박스를 설치한 뒤, 그 자료들을 클라우드로 수합하여 교통사고가 났을 때, 영상들을 합쳐서 MR로 재현하여 사고현장을 분석할 수도 있겠네요.

[답변 42] 네.. 충분히 가능한 시나리오입니다.

[질문 43] 이 데이터가 인터넷선을 타는 순간 불법 철컹철컹 입니다. 아주 조금이라도 개인정보담긴 데이터는 내 기기 밖으로 나가면 안되요

[답변 43] 맞습니다. 개인 정보 보호 기술이 뒷받침되어야 합니다.

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Google photo

Google의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

%s에 연결하는 중