생산성을 높이는 증강현실 기술 '증강현실 기술의 제조업 적용 사례 '

1. 증강현실의 개요

나인언틱에서 출시한 포켓몬 고(Pokemon Go)가 전 세계적으로 인기를 얻으면서 다소 생소했던 증강현실 기술에 대한 관심이 높아졌습니다. 증강현실(Augmented Reality, AR)이란 현실세계의 객체와 3차원 가상물체를 겹쳐 보여주는 기술로, 인간의 오감을 자극하여 감각과 인식을 확장하는 영상분석 기술입니다.

증강현실 기술은 1968년 미국 유타대의 이반 서덜랜드(Ivan Sutherland)가 개발한 헤드 마운티드 디스플레이(Head Mounted Display, HMD)에서 출발했습니다. 1990년 보잉사의 엔지니어 톰 커델(Tom Caudell)가 항공기를 조립할 때 필요한 수만 가지의 부품 위치를 HMD 화면을 통해 실시간으로 확인시켜주는 장치를 개발했고, 이 연구를 발표한 논문에서 ‘증강현실’이라는 용어를 처음 사용한 것이죠
증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 그 실체는 현실 환경입니다. 컴퓨터 그래픽은 현실 환경에 필요한 정보를 추가 제공하는 역할을 하죠.

[그림1] 가상연속체(Virtuality Continuum)의 재구성

[그림1]의 가상 연속체(Virtuality Continuum) 다이어그램에서 가장 오른쪽은 가상현실(Virtual Reality, VR)로 실제 환경이 배제된 가상의 세계이며, 가장 왼쪽은 모든 것이 실제인 완벽한 현실 공간입니다. 그 사이에는 현실과 가상이 혼합된 환경이 있으며, 증강현실은 이러한 혼합현실(Mixed Reality, MR)의 한 부분으로, 가상현실보다 현실세계에 더 가까이 위치하고 있어 가상현실과는 다른 의미임을 확인할 수 있습니다.

증강현실과 가상현실을 비슷하게 생각할 수 있지만, 가상현실은 객체와 환경 모두 현실이 아닌 가상의 이미지를 사용하기 때문에 실제 환경을 볼 수 없는 반면, 증강현실은 실제와 가상의 객체가 혼합되어 실제에 추가적인 정보를 제공하고 가상 객체와 상호 작용함으로써 현실감을 증대시킵니다.

증강현실의 구현 시스템은 ‘트래킹 시스템(Tracking System), 그래픽 시스템(Graphics System), 디스플레이 시스템(Display System)’의 3가지 요소로 이루어집니다.

· 트래킹 시스템은 현실세계와 가상세계의 정합을 위한 것으로 영상 안에서 어떠한 특정 방식을 통해 공간의 크기나 각도,
  위치 등을 파악하여 계산하는 기술입니다.
· 그래픽 시스템은 트래킹 시스템에서 얻은 정보를 이용하여 현실 사용자에 겹치게 하며, 가상의 이미지나 객체가 사용자의
  위치와 방향에 따라서 표현되도록 합니다.
· 디스플레이 시스템은 그래픽 시스템과 트래킹 시스템에서 얻어진 결과물을 디스플레이 장치를 통하여 시각화하는 역할을
  합니다.

2. 산업용 증강현실 기술 적용 동향

증강현실은 현실의 사물에 가상의 정보를 덧붙여 다양한 정보를 제공하고 상호작용으로 공감각적 체험이 가능하기 때문에 미래에 큰 영향을 줄 기술로 주목받고 있습니다. 최근 기술의 발전으로 증강현실에 휴대형 하드웨어인 초소형 전자기기 시스템(Micro-electromechanical System)이 활용되면서 많은 센서들이 초소형화되고 있습니다. 이에 따라 이동성, 경량성, 간편성 확보를 위한 휴대형 장치 분야의 기술도 고도화되고 있죠. 또한, 컴퓨터 그래픽스 및 가상현실 디스플레이의 기술도 증강현실을 포함한 공간 증강현실(Spatial Augumented Reality) 기술로 발전하여 새로운 디스플레이 기법들이 많이 등장하고 있습니다.

증강현실은 이를 지원하는 디바이스를 통해 사용자가 보고 있는 실 장면에 추가 정보를 제공함으로써 사용자의 직관적인 정보 습득을 가능하게 합니다. 덕분에 다양한 분야에서 응용(의료, 방송, 교육, 제조, 게임, 광고 등) 되고 있죠.

대표적인 예로 마이크로소프트의 홀로렌즈(HoloLens)가 있습니다. 홀로렌즈는 HMD로 반투명 디스플레이 위에서 증강현실 영상이 사용자 환경과 상호작용하며 재생됩니다. 특히 손짓으로 증강현실 영상을 조작할 수 있다는 점이 주요한 특징으로 모니터 속에서만 머물던 영상 콘텐츠를 밖으로 끌어내 현실에 중첩되도록 하는 기술이 적용된 제품입니다.

[그림2] 마이크로소프트 홀로렌즈

최근 들어 증강현실 기술은 ‘산업용 증강현실(Industrial AR)’이라는 이름으로 제조, 유통, 의료 등의 산업현장에 적용되는 기업용 버전으로 방향을 틀고 있습니다. 증강현실은 이론상 ‘현실과 가상 이미지의 조합’, ‘실시간 상호작용’, ‘3D 공간으로의 전개’라는 3대 요건을 필요로 하지만, 근본적인 철학은 ‘현실세계를 바탕으로 정보를 시각화’하는 데 있습니다. 때문에 산업용 증강현실 기술은 작업자에게 데이터를 제공하여 조립, 수리, 검증, 모니터링, 품질관리, 교육 분야에서 생산성을 향상시키고 업무 효율을 높이는 조력자 역할을 하고 있습니다. 특히 소형 광학 프로젝션 디스플레이와 카메라, 마이크, 통신 모듈이 내장된 Google Glass는 초기 개인적인 사용목적에서, 산업현장의 생산혁신 도구로 제품 포지션을 전환하며 기업용 버전에 집중하고 있습니다. 기업용으로 재출시 한 Glass Enterprise Edition은 안경 프레임 형태로 양손을 자유롭게 사용할 수 있고, 한쪽 눈에 정보를 제공하는 단안식 프로젝션 디스플레이를 탑재하여 전문 산업인에게 최적화된 단말기로 주목받고 있습니다.

그리고 이미 많은 산업체에서 증강현실 기술이 본격 활용되고 있습니다.
농업용 장비 제조사 AGCO, 물류기업 DHL, 종합 제조기업 GE를 비롯한 헬스케어 분야 등을 대표적 사례로 꼽을 수 있습니다. AGCO의 미네소타 잭슨 공장에서는 농기계의 조립 순서와 매뉴얼 활용 등 제조공정에 증강현실 기술을 적용해 조립시간을 25% 단축하고, 완성품 검사시간을 30% 줄이는 효과를 얻었습니다.
반도체 기업 Intel은 물류 유통 효율을 29% 정도 개선했고, 자동차 충격 흡수기 제조기업 KONI는 부품 선별작업 정확도를 99.9%로 끌어올려 증강현실이 향후 스마트 팩토리의 중심 기술로 자리매김할 가능성을 확인시켜 주었습니다. 향후 스마트 팩토리의 현장 작업자 인터페이스는 증강현실이 기본으로 자리매김할 것이며, 이를 위한 코어 기술이 지속적으로 발전할 것으로 예상되는 바, 산업용 증강현실 기술은 다양한 분야에 걸쳐 성장해 나갈 것으로 전망됩니다.

3. 증강현실 기반의 제조업 혁신 사례

미국 최대의 방위산업체 록히드 마틴 (Lockheed Martin)의 증강현실 활용 사례를 살펴보죠. 록히드 마틴은 2018년 회사의 주요 프로젝트로 진행 중인 화성탐사선을 비롯해 우주선의 디자인과 제작 과정에, 마이크로소프트의 증강현실 기기인 홀로렌즈를 활용하고 있습니다.

[그림3] 증강현실 기술을 활용한 우주선 프로토타입 개발 (록히드 마틴)

홀로렌즈를 활용한 증강현실 시스템을 조립 프로세스 검증에 활용하고 있는 것이죠. 록히드 마틴의 내부 관계자는 “기술자가 인공위성이나 우주선, 기타 제품을 제작할 때 참조해야 하는 모든 정보를 하나로 모으는 기능, 그리고 그 정보들을 손쉽게 기술자들에게 전달해주는 능력은 이 제품이 가진 엄청난 장점”이라고 전했습니다.

세계 최대 항공기 제조업체 보잉(Boeing) 역시 마이크로소프트의 증강현실 기술을 이용해 비행기 내 전기부품을 연결하는 작업을 진행하고 있습니다. 보잉은 이 기술을 비행기 부품 연결 작업뿐 아니라 산불대비 훈련용으로도 쓰고 있는데, 산불에 대한 정보와 각종 항공정보를 실시간으로 접수해 가장 효율적인 소화 전략을 도출하는데 사용하고 있습니다. 보잉의 한 엔지니어는 “가상현실 3D 기술을 통해 실시간 회의를 할 수 있으며, 더 자세한 정보도 얻을 수 있어 만일의 사태에 확실한 대비가 가능하게 됐다”라며, “현재 증강현실 기술은 회사에서 없어서는 안되는 기술”이라고 강조했습니다.

독일의 고급 자동차 제조사인 BMW는, 자사의 자동차 판매를 촉진시키기 위한 전략으로 구글의 증강현실 기술 ‘탱고(Tango)’를 활용하기로 했습니다. 구글 탱고는 스마트폰에 탑재된 센서와 카메라를 이용해 디지털 이미지를 실제 공간에 입히는 기술입니다. 앞으로 소비자들은 BMW 자동차 판매장을 방문하지 않고도 원하는 곳에서 스마트폰으로 BMW의 자동차 내부를 증강현실로 구경할 수 있게 되는 겁니다.

구글의 증강현실 기술 책임자는 “탱고를 통해 소비자들은 자동차를 구매하기 전에 자동차의 실제 크기와 색을 가상으로 경험할 수 있을 것”이라 자신했습니다. BMW와 구글 탱고 서비스는 스마트폰으로 애플리케이션을 다운로드해 접속할 수 있으며 BMW는 증강현실 애플리케이션 ‘i Visualizer’를 먼저 공개할 계획입니다. 이제 소비자들은 이 앱을 통해 i3, i5 모델을 확인할 수 있습니다.

[그림4] 증강현실 기술을 이용한 가상 자동차 쇼룸 (BMW)

미국 플로리다주 펜서콜라에 위치한 GE 리뉴어블 에너지(Renewable Energy) 공장에서 풍력발전용 터빈을 조립하는 작업자들은 스마트 글라스를 착용합니다. 이 스마트 글라스에는 업스킬(Upskill)이라는 기업의 웨어러블 기기 전용 소프트웨어가 탑재되어 있습니다.

[그림5] 업스킬의 증강현실 기술이 탑재된 스마트 클래스

예전의 공장 기술자들이 작업을 중단하고 매뉴얼을 살펴보거나, 전문가에게 연락해 부품의 조립작업 상태를 확인받아야 했었다면 지금은 업스킬의 스카이라이트(Skylight) 플랫폼 기반 스마트 글라스 덕분에 작업을 중단하지 않고도 손쉽게 디지털 매뉴얼을 눈앞에 띄워 볼 수 있게 되었습니다. 또 교육용 동영상을 보거나 음성으로 전문가에게 도움을 요청할 수도 있게 되었죠. 나아가 작업자가 눈으로 보는 현장을 다른 공간에 있는 전문가에게 실시간으로 스트리밍 할 수도 있습니다. 이제 전문가는 마치 현장에 있는 것처럼 상황을 파악하고 작업자에게 정확한 지시를 내릴 수 있습니다. 어느 연구결과에 따르면, 스마트 글라스를 처음 착용하고 작업하는 경우 표준 작업 방법에 비해 생산성이 34% 향상되었다고 합니다.

GE는 거의 모든 사업부에서 스카이라이트 플랫폼을 활용하고 있습니다. 생산, 조립, 수리, 유지관리, 물류관리 등 다양한 분야에 적용 중이죠. 예컨대 MRI 기계 부품을 제조하는 미국 사우스캐롤라이나주 플로렌스 소재 GE헬스케어 공장에서는 작업자들이 착용하고 있는 스마트 글라스를 통해 신규 작업지시를 내려받습니다. 이때 스카이라이트는 작업자가 가야 할 저장소와 보관함으로 안내하여 필요한 물품을 차례대로 준비할 수 있도록 돕습니다. GE헬스케어는 스카이라이트를 도입한 이후 지시 작업 완료율이 46%나 개선되는 효과를 봤습니다.

국내 발전플랜트에서도 증강현실 기술이 적용돼 주목을 받고 있습니다. 한국전력공사와 전자부품연구원(KETI)이 스마트변전소를 공동으로 개발한 사례가 그것이죠. 스마트변전소는 에너지 사물인터넷(IoT)과 증강현실/가상현실을 접목하여 전력 현장에 적용함으로써, 작업자가 현장과 동일하게 느낄 수 있는 정밀한 3차원 가상환경의 구현이 가능한 ‘차세대 실감형 전력설비 가시화 기술’입니다. 이를 통해 전력설비 점검 및 유지보수 업무 효율성을 향상시키고 사고로부터 작업자의 안전을 강화할 수 있습니다. 스마트변전소에는 증강현실과 가상현실 기술이 모두 적용됐습니다. 가상현실은 발전소를 그대로 스캔해 실제와 같은 가상환경을 제공하고 작업 가이드를 통해 교육훈련을 하는데 사용되고, 증강현실은 작업자가 마이크로소프트 홀로렌즈를 착용하고 실제 발전설비 위에 표시되는 가상의 정보를 통해 설비 운영 효율 관리 및 설비 점검이 가능하도록 사용됩니다.

4. 증강현실을 활용한 생산실적 인식 자동화 사례

증강현실 기술을 현장에 적용한 또 다른 사례로, 모바일 디바이스를 활용해 3D 모델을 실 작업 공간에 중첩 디스플레이 하여 작업 대상, 설치 순서/오류를 직관적으로 확인하도록 함으로써 작업 생산성을 높이는 방법이 있습니다.
선박을 제조하는 한 국내 기업은 경량화된 3D 설계도면 모델을 모바일 기기에서 보여주는 기술(3D engine)을 생산현장에 적용했습니다. 또한 공간에 중첩 디스플레이 하기 위해 구글 탱고(Tango)가 제공하는 트래킹 기술에 모델을 정확히 중첩시킬 수 있도록 자체 정합 기술을 사용했습니다. 이를 통해 작업자의 작업 대상, 설치 오류, 설치 순서 등을 모바일 기기에서 확인할 수 있게 되었죠.

[그림6] AR 기반 생산실적 인식 시스템

또한 현장의 작업 결과에 머신 러닝 기술을 응용하여 작업물의 영상을 식별, 인식하게 하여 작업자의 실적을 자동 수집하는 기반 기술을 확보했습니다. 자동 실적 인식을 위해 탱고 장비가 제공하는 일반 카메라(RGB) 와 뎁스(Depth) 카메라(물체 거리 인식)를 활용했고 머신 러닝 기술을 통해 자재별 물체 인식 기술을 적용했습니다. 현재는 물체가 있는지 없는지 정도를 확인하는 수준으로 적용되었고, 고도화된 인식 기술은 현재 한창 연구개발 중입니다.

이 회사는 향후 이를 HMD(Head Mounted Display) 기반의 생산지원 시스템 및 설계 지원 시스템으로 발전시켜 나갈 계획을 수립하고 있는데, 특히 위에서 적용한 사례를 홀로렌즈 환경으로 구현하는 것을 검토하고 있습니다. 실 작업 공간에 중첩으로 보여주는 기술 외에도 부서와 협업할 수 있는 음성/영상 커뮤니케이션, 물체 자동 인식, IoT 와 접목시킨 장비 관리 등 다양한 분야에 걸쳐 연구개발하고 테스트도 진행하고 있습니다. 

5. 시사점

증강현실 기술은 이미 산업현장 곳곳에서 업무 효율화를 위해 다양하게 활용되고 있을 뿐 아니라, 향후에도 그 적용 영역이 무궁무진하게 확대될 것으로 예상됩니다. 특히 HMD(Head Mounted Display) 기술, 그래픽 기술, 트래킹 기술, 인식 기술들이 계속 발전하고 있는 가운데, 그동안 영화에서나 볼법했던 증강현실 기술이 기업의 각종 업무에 접목되면서 생산성을 혁신적으로 향상시킬 것으로 기대됩니다.

따라서 기업들은 AR을 새로운 미디어에 국한해 단편적으로 인식하기보다는, 각 기업의 업의 본질에 부합하여 생산성과 업무 효율을 높일 수 있는 영역에 적극적으로 적용해야 합니다. 이를 통해 경영과 운영의 위험과 비용을 획기적으로 감소시키는 것 또한 파괴적 혁신의 한 방향이라는 것을 기억하시길 바랍니다.


* 이미지 출처
그림1, 그림6 : 에스코어 제작
그림2 : https://www.microsoft.com/microsoft-hololens/en-us/commercial
그림3 : http://www.lockheedmartin.com
그림4 : https://blog.google/products/google-vr/bmw-i-and-tango-test-drive-new-app
그림5 : https://upskill.io/skylight

▶   해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에 저작권이 있습니다.
▶   해당 콘텐츠는 사전 동의없이 2차 가공 및 영리적인 이용을 금하고 있습니다.