들어가며
바야흐로 기술의 시대다. 어린 시절 상상 속에서만 머물러 오던 이런 저런 모양의 꿈 같은 일들이 기술의 힘을 빌어 눈앞에 펼쳐지고 있다. 개인용 컴퓨터라는 호칭이 더 어울릴 법한 많은 기능을 가진 휴대폰이나 언제나 쉽고 편리하게 영상 콘텐츠를 소비할 수 있는 주문형 비디오, 불과 십 수년 전까지만 해도 상상도 못할 고화질의 영상을 출력해주는 디지털 TV와 같은 기술들은 이미 너무 익숙해져 그것이 최첨단 기술의 결과물인지 조차 인지하기 어려울 만큼 우리의 생활 속에 녹아 들어있다. 거기에 덧붙여 이제는 실제 현실과 인공적으로 만들어진 현실 사이를 오가는 것이 가능하도록 해주는, 영화 속에서나 나올 법한 기술들에 관한 이야기들이 매우 뜨겁게 회자 되고 있다. 바로 VR과 AR에 관계된 이야기들이다. 향후 몇 십 년간 우리의 생활을 상상 이상으로 변화시켜 줄 이 혁신적인 기술은 미래 기술의 발전 방향을 예측해 보는데 매우 중요한 기준이 될 수 있으며, 따라서 이러한 기술의 발전 과정과 현재 상황을 살펴보고 더불어 미래의 비전에 대해서 분석해 보는 것은 여러 가지 측면에서 매우 의미 있는 작업이라 할 수 있다.
현실이 된 기술
최근 상용화 되어 우리 생활 속에 일부로 깊숙이 자리 잡은 대다수의 기술들은 20년 전까지만 해도 대학 연구실에서 정립된 이론들을 실험실 수준에서 구현 되어 오던 것들이 대부분이다. 이렇게 실험실에서 구현되는 프로토타입(Prototype)들은 이론적 타당성을 증명하기 목적으로 개발이 되어 왔기 때문에 일반적인 상용화 제품들이 갖추어야 할 편의성(Convenience)이나 강건성(Robustness), 유연성(Flexibility)들이 고려되지 못한 것이 일반적이었다. 다른 한편으로는 그러한 상용화 요소들을 고려할 수 있는 생산 기술의 진보가 이루어지지 못했던 측면도 있었다. 최근의 소프트웨어, 하드웨어의 급격한 발전은 이러한 기존 기술 이론들을 충분히 상품화 할 수 있는 환경을 제공하게 되었고, 오늘날 기술 기반의 다양한 제품이나 서비스들이 출현하게 되는 단초를 제공하게 되었다. 이런 과정에서 Data Mining 기술은 Big Data라는 이름으로, Neural Network은 Deep Learning이라는 이름으로 본격적인 상용화를 시작하게 되었고 일반인들에게도 익히 알려질 정도로 일반화 되기에 이르렀다. 이러한 상용화 기술의 진보에도 불구하고 여전히 해결해야 할 문제들이 산적되어 있고 이러한 문제들의 원인들 역시 여전히 경량화, 전원 문제, 계산 속도 개선 등의 구현 기술의 문제라는 점이 흥미로운 점이다.
VR, AR 그리고 MR
가상현실(VR: Virtual Reality)은 글자 그대로 실존하지 않는 현실을 인공적으로 만들었다는 의미를 가진다. VR의 세계에서는 존재 하는 모든 것이 인공적으로 만들어진 그래픽과 사운드들로 구성된다. VR의 세계에 참여한 유저는 시스템에서 주어지는 입력 도구를 통해 눈앞에 펼쳐진 가상의 세계와 상호작용을 하게 되며 그러한 상호작용을 통해 VR 콘텐츠가 목적한 결과를 얻게 된다. 이에 반해 증강현실(AR: Augmented Reality)은 현실에 기반으로 두고 추가적인 그래픽이나 사운도 요소, 추가정보 요소들을 통해 콘텐츠를 구성하는 혼합된 현실을 의미한다. 편의상 VR의 범주에 AR을 포함시키는 경우도 있지만 엄밀한 의미에서 서로 상이한 플랫폼으로 보는 것이 보편적이다. 현재 VR시장은 오큘러스 리프트를 필두로 하는 상용 HMD (Head Mounted Display)의 출현으로 본격적인 활성화가 시작되었고, 경쟁 제품들이 잇달아 출시되면서 VR 콘텐츠에 대한 본격적인 대중적 관심이 집중되기 시작하였다. 여기에 Facebook이나 삼성 등의 글로벌 IT 기업의 집중적인 투자 움직임이 추가적인 초기 성장 동력을 제공한 것이 또한 사실이다. 이에 반해서 AR시장은 대표적인 AR 장비로 주목을 받았던 구글글래스의 사실상의 시장 진입 실패로 인해 범용 휴대폰 카메라를 활용한 마커 기반의 AR 콘텐츠와 GPS연동 콘텐츠 등을 통해서 그 명맥을 유지하며 상대적으로 덜 활성화되는 모습을 보여왔었다. 그러나 최근 들어 AR전용 HMD인 마이크로소프트의 Hololens와 구글의 프로젝트 탱고, Magicleap 등의 관련 장비가 잇달아 발표되고 증강현실 기반 휴대폰 게임인 포켓몬고(GO)의 전세계적인 성공을 통해 새롭게 주목을 받고 있는 상황에 있다.
AR과 VR의 기술적인 분류과정에서 다소 상이한 해석으로 정의되는 개념이 혼합현실 (MR: Mixed Reality)이다. 초기에는 Real world와 Virtual world를 섞어 놓은 세계라는 의미에서 AR에 가까운 개념으로 사용되었다가 최근에는 실제의 Real world에 인공적으로 생성된 요소를 섞는 기술로 해석이 되어가고 있으며, 따라서 기존의 AR의 개념은 카메라의 의해 포착된 실사 영상에 인공적 요소를 섞는 기법으로 그 의미가 다소 좁게 재정의 되고 있는 실정이다. 어떠한 해석이 이루어 지던지 MR은 광의의 AR에 포함되는 기술로 분류되는 것이 적절할 것으로 판단된다.
AR이나 VR(혹은 MR)을 어떤 기술로 해석해야 하는지에 대해서는 아직까지 다양한 의견들이 제시되고 있는 상황이지만 전반적으로 AR/VR기술은 다양한 콘텐츠를 새로운 방식으로 유저에게 제공할 수 있는 새로운 인터페이스의 하나로 보는 의 견들에 대해서는 별다른 이견이 없는 상황이다. 따라서 VR과 AR 산업의 발전을 위해서는 상품성을 극대화 하고,이를 통해 실질적인 시장을 형성할 수 있도록 해주는 콘텐츠의 역할과 이를 적절하게 구조화 해주는 비즈니스 모델의 구축이 필수적이며, 이러한 요소들이 향후 VR, AR시장의 성장 가능성을 결정하게 될 것이다.
현실에서의 VR/AR
현재는 VR과 AR분야 공히 본격적인 콘텐츠 비즈니스가 가능한 기본적인 플랫폼과 생태계가 부재한 상황이라는 보는 견해가 지배적이며, 새롭게 등장할 것으로 예상되는 플랫폼의 주도권을 잡기 위한 글로벌 IT 기업들의 선점 경쟁이 치열하게 펼쳐지고 있는 상황이라고 판단된다.
현재 VR 분야에서는 게임이나 교육, 시뮬레이션을 중심 콘텐츠들이 주로 제작되고 있으며 본격적인 상용 콘텐츠가 생태계를 형성하기 직전의 단계라고 보는 의견들이 우세하다. 초기에 HMD 하드웨어의 개발과 시장 확산에 주력하던 선도업체들은 플랫폼을 뒷받침할 수 있는 콘텐츠의 원활한 유통이 전체 VR 산업에 필수적인 요소라는 것을 인지하기 시작하고 있으며, 그에 따라서 자체 콘텐츠 유통 플랫폼이나 해당 플랫폼을 Boom up 시킬 수 있는 킬러 콘텐츠의 발굴에 주력하고 있는 보습을 보이고 있다. 현재까지 대부분의 VR기술 응용은 B2B 기반의 서비스들에서 이루어지고 있으며 우주 시뮬레이션 ‘Mars Navigator’, 군사 분야에 있어서의 ‘SIMNET’, 교육 분야에 있어서의 ‘Isaac Asimovs Science Adventure’ 등이 대표적인 적용 사례이며, B2C용 상용 VR 콘텐츠들은 크게 부각이 되고 있지 못하다가 최근 들어 ‘서바이오스’에서 제작한 ‘Raw data’가 스팀 플랫폼에서 매출 150만불을 달성하며 B2C VR 콘텐츠의 상용화 가능성을 증명해 보이고 있다.
반면에 AR 분야는 GPS 기반 장소 안내 서비스나 HUD 기반 네비게이션과 같은 일반적인 정보전달용 어플리케이션이 주를 이루었고 VR에 비해서 엔터테인먼트 분야에서는 상대적으로 많은 관심을 받지 못해오다가 최근 들어 ‘포켓몬GO’가 전 세계적인 빅히트를 하면서 엔터테인먼트 타입 콘텐츠 플랫폼으로서 AR의 가능성에 대한 주목을 받기 시작하고 있는 상황이다. 또한 증강현실 사진, 영상 서비스 ‘Snow’의 예에서 볼 수 있는 것처럼 일반적인 어플리케이션의 형태를 갖는 엔터테인먼트 콘텐츠도 매우 큰 성장 가능성이 있는 것으로 분석되고 있다. AR은 VR에 비해서 상대적으로 넓은 적용 분야를 가질 수 있다. 예를 들어 가상으로 옷을 입어 보는 가상 피팅 시스템, 자동차 수리를 할 때 각기 다른 차종의 서로 다른 구조를 증강현실 시스템을 이용해서 세밀하게 가이드 하여 수리 오류를 줄이는 시스템, 프로젝션 매핑 기법을 활용한 다양한 미디어 아트 등에 AR의 기반 기술이 응용되고 있다.
지금까지 새롭게 런칭 되는 대부분의 콘텐츠 플랫폼의 경우와 유사하게 AR과 VR분야에서도 사업적 차원에서 의미 있는 킬러 콘텐츠는 게임과 같은 엔터테인먼트 분야에서 나올 것이라는 의견에 많은 전문가들이 동의하고 있으며, 현재까지의 연구 개발, 투자의 방향도 이와 맥을 같이 한다고 볼 수 있다.
VR/AR의 서비스 형태
VR이나 AR 콘텐츠는 사용되는 기기에 따라 다양한 방식으로 서비스될 수 있다. 가장 쉽게 구분할 수 있는 서비스의 방식으로는 시각과 청각을 직접적으로 컨트롤 할 수 있는 HMD를 착용하는 방식과 HMD 없이 주변에 가상 세계의 영상이나 정보를 투사하여 원하는 목적을 달성하도록 하는 방식이 있다. HMD 타입서비스는 현재 Oculus lift나 HTC Vive가 주도하는 VR 플랫폼 진영에서 주로 활용하는 방식으로 시각 정보를 100% 그래픽 처리를 통해 제공하고 이것을 머리의 회전과 이동과 동기화함으로써 시각적 몰입 환경을 구성하며 양안 시차를 발생시키는 Stereoscopic 영상을 제공하는 것이 일반적이다.(AR진영에서는 마이크로소프트가 Hololens라는 AR HMD형 디바이스를 판매하고 있으며 이는 반투명 유리를 통해 투과된 실사를 제공하여 몰입형 환경과는 다소 거리가 있다.) HMD형 콘텐츠의 장점은 우선 100% 차단된 환경을 제공함으로써 높은 몰입도를 구현할 수 있다는 점에 있다. 또한 유저를 나타내는 1인칭 캐릭터를 원하는 대로 Customizing할 수 있고, VR Sickness가 존재함에도 불구하고 시각적으로는 완전한 Stereoscopic 영상 구현이 가능하다는 점도 큰 장점 중 하나이다. 또한 주변 환경과 연계되어 제작의 제약이 뒤따르는 Cave형 VR환경에 비해서 100% Computer generated 영상으로 제한 없이 환경을 구성할 수 있다는 점에서 제작 상의 큰 편의성을 가진다고 할 수 있다. 이러한 장점에도 불구하고 HMD형 VR콘텐츠 구현에 있어서 몇가지 단점이 존재하는데, 의도적으로 주어지는 정보 이외에는 제공되는 실제 지형 정보가 없어 Blind 상태에서 콘텐츠를 플레이해야 하고 이 때문에 격하고 범위가 넓은 움직임이 요구되는 액션을 취해야 하는 경우에는 매우 위험한 상황이 발생할 수 있으며, 장시간 플레이시 감각 불일치로 인한 어지럼증 발생할 수 있다는 점, 그리고 다자간 액션을 구현함에 있어서 별도의 복잡한 구현이 필요하다는 점 등이 그것이다. 그 외에 실제적인 서비스 상황에서 얼굴 피부에 닿는 구조 때문에 여러 사람이 공용 장비를 공동으로 사용 시 위생 상의 문제가 발생할 수 있다는 점도 단점으로 지적되고 있다. 따라서 HMD형 서비스는 개인용 장비를 통한 정적인 콘텐츠에 보다 적합한 플랫폼이라 할 수 있다.
HMD를 사용하지 않고 VR이나 AR공간을 구현하는 Non HMD타입의 서비스는 주로 Cave라 불리는 프로젝션 스크린으로 둘러 쌓인 공간에 구현하고자 하는 가상 현실의 이미지를 투사해서 구현하며, AR의 경우에는 투사되는 스크린을 반투명으로 제작하여 물체가 허공에 떠있는 듯한 착각을 유도하기도 한다. 이러한 방식의 장점은 상대적으로 넓은 시야의 확보가 가능하다는 점과 별도의 소프트웨어 적인 구현 없이 다수 유저간 공간 공유가 매우 간편하게 확보된다는 장점을 가지며, 이 경우에도 다수 유저간 공간 및 방향 동기화 작업이 불필요하다. 자연스럽게 막힘 없이 확보되는 시야로 인해서 유저의 뛰고 달리는 적극적인 액션을 상대적으로 안전하게 소화할 수 있으며, 직접적인 피부 접촉이 공유되는 장비가 없기 때문에 다수 유저의 참여 시에도 위생상에 문제가 전혀 없다는 점도 상대적인 장점이 될 수 있다. 반면에 여전히 현실의 나와 다른 유저를 현재 상태로 볼 수 있기 때문에 완전한 몰입상태의 구현이 상대적으로 어려울 수 있으며, 양안 시차의 발생이 용이하지 않아서 Stereoscopic 구현이 제한적일 수 밖에 없다. 또한 Cave 공간의 확보를 위해서는 일정 규모의 빈 공간이 필요하다는 조건이 전제 되어야 하고, 실제로 자신이 눈으로 보이기 때문에 1인칭 캐릭터의 적용이 사실상 불가능하다는 제한 조건이 발생한다. Cave상에 가상의 배경 생성을 위해서 상대적으로 고가의 추가적인 프로젝션 장비가 필요하다는 점도 구현상의 추가적인 부담으로 작용할 수 있다. 따라서 Cave형 Non-HMD VR, AR 시스템은 다수의 유저가 참여할 수 있는 동적 콘텐츠에 적합하며, 테마파크와 같은 공용 공간에서의 콘텐츠에 적합하다.
궁극의 꿈 VR/AR
기술의 발전은 궁극적으로 우리가 살아가는 모습들을 점차적으로 변화시켜 나아가고 이러한 변화들이 누적되어 가다 보면 어느 순간, 이전에는 상상으로만 가능했던 꿈 같은 현실이 우리의 생활 방식 속으로 스며들어와 있는 것을 발견하게 된다. 은행 업무와 다양한 예약 업무, 그리고 일상 업무까지 손 안에서 해결되는 지금의 현실이 20년 전에는 그저 상상 속의 꿈이었던 것처럼 말이다. 현재 우리가 많은 관심을 가지고 있는 VR과 AR 관련 기술 역시 우리의 생활 속에 파격적인 변화를 이끌어 낼 것이라고 예상되며 이러한 변화의 폭은 이전의 다른 기술과는 차원이 다른 폭을 가질 것이라는 것이 중론이다. 그렇다면 VR/AR 기술의 궁극적인 모습은 어떤 형태일까? 많은 경우 영화와 같은 매체들에서 미래의 모습을 미리 유추해 볼 수 있다. VR의 궁극적인 기술의 끝은 보여주는 대표적인 영화는 ‘Matrix’와 ‘Total Recall’이다.
<그림3. AR과 VR 기술의 미래>
현재 시각과 청각에 가상 세계 정보를 노출 시켜 감각을 속이는 방법에서 벗어나 유저가 실제로 존재하고 싶은 세계와 관련된 정보들을 뇌에서 인지할 수 있는 신호로 변환하여 직접 뇌로 전송해 주는 방식을 통해서 실제 현실과 구분할 수 없는 가상의 세계를 제공하는 VR 기술이 표현되었다. 영화에서는 현재의 VR 기술에서 인간의 오감의 밸런스를 정확하게 충족시키지 못해 발생하는 VR Sickness를 완전하게 해결한 상황을 표현하였으며 모든 감각을 완전하게 시스템에 의해 통제할 수 있는 상황을 설정하였다. 여러 가지 오남용에 대한 우려가 있을 수 있겠지만 영화에서 표현하고 있는 VR 기술은 인간이 경험하고 싶은 모든 상황들을 완전하게 구현해 주고 있는 궁극의 VR을 표현해 주고 있다. 그러나 보고 싶은 광경을 Rendering 하여 모니터에 입체적으로 투사하는 기술과 이런 광경을 뇌에서 느낄 수 있는 신호로 변환 시켜주는 기술은 생체 신호에 대한 완전한 해석이 이루어지고 난 이후에나 가능한 차원이 다른 고급 기술로서 당분간은 구현이 어렵다고 할 수 있다. AR 기술의 궁극적인 형태를 현실적으로 보여주고 있는 영화는 ‘Iron man’
이나 ‘Minority report’ 정도를 꼽을 수 있겠는데 특히 ‘Iron Man’의 주인공 ‘토니 스타크’의 연구실 장면은 AR 기술이 구현할 수 있는 최종적인 모습을 보여준다.
주로 실시간 Rendering 되는 홀로그램과 동작 인식을 통한 상호작용, 그리고 다양한 정보를 실사에 겹쳐 보여주는 Mapping 기술들이 소개된다. 특히 실시간 Rendering 홀로그램은 현재 상용화 기술로서는 구현이 어려운 기술이지만 미래의 VR 기술인 생체 신호 변환 기술에 비해서는 상대적으로 가까운 미래에 구현이 가능할 것으로 예상된다. 실시간 홀로그램이나 다양한 AR의 최종적인 서비스는 다양한 문제점을 해결한 Contact lens형 디스플레이가 될 것이라는 예상이 주를 이루고 있으며, 이를 구현하기 위해서는 접적화, 경량화, 전원 문제 등 많은 문제점들이 해결되어야 한다.
산업적 전망
VR과 AR의 시장은 2020년 예상치를 기준으로 1,500억달러의 규모로 급성장 할 것으로 예상되며, 이러한 거대 시장을 선점하기 위해서 페이스북, 구글, 마이크로소프트,인텔 등 대표적인 IT 공룡 기업들이 연구와 투자를 서두르고 있는 실정이다. 이러한 급성장이 예상되는 배경으로는 VR과 AR 기술이 특정한 분야에 한정된 제한적인 기술이 아닌 모든 산업 분야에 적용되어 새로운 가치를 창출할 수 있는 요소 기술의 성격이 매우 강하기 때문에 이로 인해 전 산업계가 VR과 AR 기술의 잠재적인 적용 대상이 될 수 있다는 사실을 들 수 있다. 재미있는 사실은 2016년 현재에는 AR시장에 비해 VR시장이 상대적으로 큰 규모를 형성하고 있지만 2020년에는 AR 시장이 VR 시장의 4배가 넘는 규모로 성장할 것으로 예상되며, 이러한 원인 역시 VR에 비해서 AR이 보다 다양한 분야에 적용 가능할 것이라는 전제에 기인한다고 볼 수 있다.
또한 두 VR과 AR분야 공히 관련 하드웨어 시장이 매우 큰 비중을 가지고 있는데 반해 대부분의 시장이 콘텐츠 관련 시장이라는 사실은 실제로 해당 산업을 준비하는 주체들이 향후 관련 콘텐츠 분야에 보다 비중을 가지고 집중할 필요가 있음을 나타내주고 있으며, VR은 주로 게임, 비디오 등의 엔터테인먼트에 AR은 의료, 생산, 상거래, Data처리 등의 일반적인 어플리케이션에 보다 많은 투자 자원이 몰려들 것임을 예견해주고 있다.
향후 과제
우리는 다양한 플랫폼이 하루 아침에 나타나고 사라지는 것이 매우 일상적인 현상이 될 정도로 기술 발전 속도가 빨라지고 그만큼 기술 간의 경쟁 역시 치열해지고 있는 시대를 살아가고 있다. 현재 뜨거운 관심이 몰리고 있는 VR이나 AR 기술이 지금의 형태를 유지하면서 발전할 지, 다른 형태로 발전할 지, 아니면 더욱 현실적이고 경쟁력 있는 기술로 대체될 지에 대해서도 쉽게 예측이나 단정하기 어려운 것이 현실이라 할 수 있다. 그러나 분명한 것은 현재의 VR과 AR이 궁극적으로 지향하고 있는 제품이나 서비스의 발전 방향은 큰 틀 안에서 어느 정도 유지될 것이라고 보는 것이 지배적인 의견이라는 사실이다. 어떤 형태로든 VR과 AR 산업은 발전을 해 나아갈 것이고, 따라서 발전의 방향성과 이와 관련된 다양한 가능성을 정확하게 파악하고 개별 주체의 입장에서 대응 방식을 설정하는 것이 매우 중요할 것이다. 사업자의 입장에서는 스스로의 여건에 따라 플랫폼 관련 사업에 참여할 것인지 콘텐츠 사업에 참여할 것인가에 대한 고민이 필요할 것이고, 디자이너의 경우에는 본인의 분야에서 VR이나 AR 기술이 어떠한 시너지를 낼 수 있을지에 대한 연구도 필요할 것이다. 이러한 중요한 결정의 과정에서 이 글에서 지금까지 살펴 보았던 VR, AR 기술의 발전과정과 현재의 상황, 그리고 미래 전망에 대한 분석들이 어느 정도 유용성을 가질 것이라 판단된다. 또한 VR, AR 산업의 영향력의 크기와 형식은 개인이나 기업의 상황에 따라 다르게 체감될 수 밖에 없기 때문에 개별적으로 탄력적이고 유연한 사고를 가지고 이러한 기술들을 대하는 자세도 매우 중요하다고 생각된다.
맺으며
새로운 기술이 출현하고 그 기술이 산업과 생활에서 정착되는 과정을 조금만 관심 있게 분석해 보면 일관된 반복성을 발견할 수 있게 된다. VR과 AR 기술도 마찬가지로 같은 과정을 거치고 있는 것으로 보인다. 초기에는 하드웨어 플랫폼에 집중하다가 어느 정도 지나면 그 위에서 동작하는 킬러 콘텐츠가 주목을 받는다. 킬러 콘텐츠가 자리를 잡으면 그 콘텐츠를 중심으로 생태계가 형성되고, 일정 수명을 유지한다. 서로 다른 특성의 킬러 콘텐츠가 부침을 거듭하고, 더 이상의 리딩 콘텐츠 출현이 없게 되면 해당 플랫폼은 그 수명을 다하게 된다. 지금 VR과 AR은 메인 킬러 콘텐츠의 등장을 기다리고 있는 시기라고 볼 수 있다. 이러한 상황에서 우리는 어떤 입장을 견지해야 하겠는가? 각자 조건과 입장이 다를 수 있겠지만 한가지 분명한 것은 향후 AR과 VR 시장의 성패를 가를 가장 중요한 요소는 바로 콘텐츠라는 사실이며, VR, AR 산업과 관련된 어떠한 사업적 판단이나 행동을 함에 있어서도 그 중심에는 반드시 경쟁력 있는 콘텐츠가 있어야만 사업적 성공을 보장할 수 있다는 것을 다시 한번 강조하며 이 글을 맺고자 한다.
바야흐로 기술의 시대다. 어린 시절 상상 속에서만 머물러 오던 이런 저런 모양의 꿈 같은 일들이 기술의 힘을 빌어 눈앞에 펼쳐지고 있다. 개인용 컴퓨터라는 호칭이 더 어울릴 법한 많은 기능을 가진 휴대폰이나 언제나 쉽고 편리하게 영상 콘텐츠를 소비할 수 있는 주문형 비디오, 불과 십 수년 전까지만 해도 상상도 못할 고화질의 영상을 출력해주는 디지털 TV와 같은 기술들은 이미 너무 익숙해져 그것이 최첨단 기술의 결과물인지 조차 인지하기 어려울 만큼 우리의 생활 속에 녹아 들어있다. 거기에 덧붙여 이제는 실제 현실과 인공적으로 만들어진 현실 사이를 오가는 것이 가능하도록 해주는, 영화 속에서나 나올 법한 기술들에 관한 이야기들이 매우 뜨겁게 회자 되고 있다. 바로 VR과 AR에 관계된 이야기들이다. 향후 몇 십 년간 우리의 생활을 상상 이상으로 변화시켜 줄 이 혁신적인 기술은 미래 기술의 발전 방향을 예측해 보는데 매우 중요한 기준이 될 수 있으며, 따라서 이러한 기술의 발전 과정과 현재 상황을 살펴보고 더불어 미래의 비전에 대해서 분석해 보는 것은 여러 가지 측면에서 매우 의미 있는 작업이라 할 수 있다.
현실이 된 기술
최근 상용화 되어 우리 생활 속에 일부로 깊숙이 자리 잡은 대다수의 기술들은 20년 전까지만 해도 대학 연구실에서 정립된 이론들을 실험실 수준에서 구현 되어 오던 것들이 대부분이다. 이렇게 실험실에서 구현되는 프로토타입(Prototype)들은 이론적 타당성을 증명하기 목적으로 개발이 되어 왔기 때문에 일반적인 상용화 제품들이 갖추어야 할 편의성(Convenience)이나 강건성(Robustness), 유연성(Flexibility)들이 고려되지 못한 것이 일반적이었다. 다른 한편으로는 그러한 상용화 요소들을 고려할 수 있는 생산 기술의 진보가 이루어지지 못했던 측면도 있었다. 최근의 소프트웨어, 하드웨어의 급격한 발전은 이러한 기존 기술 이론들을 충분히 상품화 할 수 있는 환경을 제공하게 되었고, 오늘날 기술 기반의 다양한 제품이나 서비스들이 출현하게 되는 단초를 제공하게 되었다. 이런 과정에서 Data Mining 기술은 Big Data라는 이름으로, Neural Network은 Deep Learning이라는 이름으로 본격적인 상용화를 시작하게 되었고 일반인들에게도 익히 알려질 정도로 일반화 되기에 이르렀다. 이러한 상용화 기술의 진보에도 불구하고 여전히 해결해야 할 문제들이 산적되어 있고 이러한 문제들의 원인들 역시 여전히 경량화, 전원 문제, 계산 속도 개선 등의 구현 기술의 문제라는 점이 흥미로운 점이다.
VR, AR 그리고 MR
가상현실(VR: Virtual Reality)은 글자 그대로 실존하지 않는 현실을 인공적으로 만들었다는 의미를 가진다. VR의 세계에서는 존재 하는 모든 것이 인공적으로 만들어진 그래픽과 사운드들로 구성된다. VR의 세계에 참여한 유저는 시스템에서 주어지는 입력 도구를 통해 눈앞에 펼쳐진 가상의 세계와 상호작용을 하게 되며 그러한 상호작용을 통해 VR 콘텐츠가 목적한 결과를 얻게 된다. 이에 반해 증강현실(AR: Augmented Reality)은 현실에 기반으로 두고 추가적인 그래픽이나 사운도 요소, 추가정보 요소들을 통해 콘텐츠를 구성하는 혼합된 현실을 의미한다. 편의상 VR의 범주에 AR을 포함시키는 경우도 있지만 엄밀한 의미에서 서로 상이한 플랫폼으로 보는 것이 보편적이다. 현재 VR시장은 오큘러스 리프트를 필두로 하는 상용 HMD (Head Mounted Display)의 출현으로 본격적인 활성화가 시작되었고, 경쟁 제품들이 잇달아 출시되면서 VR 콘텐츠에 대한 본격적인 대중적 관심이 집중되기 시작하였다. 여기에 Facebook이나 삼성 등의 글로벌 IT 기업의 집중적인 투자 움직임이 추가적인 초기 성장 동력을 제공한 것이 또한 사실이다. 이에 반해서 AR시장은 대표적인 AR 장비로 주목을 받았던 구글글래스의 사실상의 시장 진입 실패로 인해 범용 휴대폰 카메라를 활용한 마커 기반의 AR 콘텐츠와 GPS연동 콘텐츠 등을 통해서 그 명맥을 유지하며 상대적으로 덜 활성화되는 모습을 보여왔었다. 그러나 최근 들어 AR전용 HMD인 마이크로소프트의 Hololens와 구글의 프로젝트 탱고, Magicleap 등의 관련 장비가 잇달아 발표되고 증강현실 기반 휴대폰 게임인 포켓몬고(GO)의 전세계적인 성공을 통해 새롭게 주목을 받고 있는 상황에 있다.
AR과 VR의 기술적인 분류과정에서 다소 상이한 해석으로 정의되는 개념이 혼합현실 (MR: Mixed Reality)이다. 초기에는 Real world와 Virtual world를 섞어 놓은 세계라는 의미에서 AR에 가까운 개념으로 사용되었다가 최근에는 실제의 Real world에 인공적으로 생성된 요소를 섞는 기술로 해석이 되어가고 있으며, 따라서 기존의 AR의 개념은 카메라의 의해 포착된 실사 영상에 인공적 요소를 섞는 기법으로 그 의미가 다소 좁게 재정의 되고 있는 실정이다. 어떠한 해석이 이루어 지던지 MR은 광의의 AR에 포함되는 기술로 분류되는 것이 적절할 것으로 판단된다.
AR이나 VR(혹은 MR)을 어떤 기술로 해석해야 하는지에 대해서는 아직까지 다양한 의견들이 제시되고 있는 상황이지만 전반적으로 AR/VR기술은 다양한 콘텐츠를 새로운 방식으로 유저에게 제공할 수 있는 새로운 인터페이스의 하나로 보는 의 견들에 대해서는 별다른 이견이 없는 상황이다. 따라서 VR과 AR 산업의 발전을 위해서는 상품성을 극대화 하고,이를 통해 실질적인 시장을 형성할 수 있도록 해주는 콘텐츠의 역할과 이를 적절하게 구조화 해주는 비즈니스 모델의 구축이 필수적이며, 이러한 요소들이 향후 VR, AR시장의 성장 가능성을 결정하게 될 것이다.
현실에서의 VR/AR
현재는 VR과 AR분야 공히 본격적인 콘텐츠 비즈니스가 가능한 기본적인 플랫폼과 생태계가 부재한 상황이라는 보는 견해가 지배적이며, 새롭게 등장할 것으로 예상되는 플랫폼의 주도권을 잡기 위한 글로벌 IT 기업들의 선점 경쟁이 치열하게 펼쳐지고 있는 상황이라고 판단된다.
현재 VR 분야에서는 게임이나 교육, 시뮬레이션을 중심 콘텐츠들이 주로 제작되고 있으며 본격적인 상용 콘텐츠가 생태계를 형성하기 직전의 단계라고 보는 의견들이 우세하다. 초기에 HMD 하드웨어의 개발과 시장 확산에 주력하던 선도업체들은 플랫폼을 뒷받침할 수 있는 콘텐츠의 원활한 유통이 전체 VR 산업에 필수적인 요소라는 것을 인지하기 시작하고 있으며, 그에 따라서 자체 콘텐츠 유통 플랫폼이나 해당 플랫폼을 Boom up 시킬 수 있는 킬러 콘텐츠의 발굴에 주력하고 있는 보습을 보이고 있다. 현재까지 대부분의 VR기술 응용은 B2B 기반의 서비스들에서 이루어지고 있으며 우주 시뮬레이션 ‘Mars Navigator’, 군사 분야에 있어서의 ‘SIMNET’, 교육 분야에 있어서의 ‘Isaac Asimovs Science Adventure’ 등이 대표적인 적용 사례이며, B2C용 상용 VR 콘텐츠들은 크게 부각이 되고 있지 못하다가 최근 들어 ‘서바이오스’에서 제작한 ‘Raw data’가 스팀 플랫폼에서 매출 150만불을 달성하며 B2C VR 콘텐츠의 상용화 가능성을 증명해 보이고 있다.
반면에 AR 분야는 GPS 기반 장소 안내 서비스나 HUD 기반 네비게이션과 같은 일반적인 정보전달용 어플리케이션이 주를 이루었고 VR에 비해서 엔터테인먼트 분야에서는 상대적으로 많은 관심을 받지 못해오다가 최근 들어 ‘포켓몬GO’가 전 세계적인 빅히트를 하면서 엔터테인먼트 타입 콘텐츠 플랫폼으로서 AR의 가능성에 대한 주목을 받기 시작하고 있는 상황이다. 또한 증강현실 사진, 영상 서비스 ‘Snow’의 예에서 볼 수 있는 것처럼 일반적인 어플리케이션의 형태를 갖는 엔터테인먼트 콘텐츠도 매우 큰 성장 가능성이 있는 것으로 분석되고 있다. AR은 VR에 비해서 상대적으로 넓은 적용 분야를 가질 수 있다. 예를 들어 가상으로 옷을 입어 보는 가상 피팅 시스템, 자동차 수리를 할 때 각기 다른 차종의 서로 다른 구조를 증강현실 시스템을 이용해서 세밀하게 가이드 하여 수리 오류를 줄이는 시스템, 프로젝션 매핑 기법을 활용한 다양한 미디어 아트 등에 AR의 기반 기술이 응용되고 있다.
지금까지 새롭게 런칭 되는 대부분의 콘텐츠 플랫폼의 경우와 유사하게 AR과 VR분야에서도 사업적 차원에서 의미 있는 킬러 콘텐츠는 게임과 같은 엔터테인먼트 분야에서 나올 것이라는 의견에 많은 전문가들이 동의하고 있으며, 현재까지의 연구 개발, 투자의 방향도 이와 맥을 같이 한다고 볼 수 있다.
VR/AR의 서비스 형태
VR이나 AR 콘텐츠는 사용되는 기기에 따라 다양한 방식으로 서비스될 수 있다. 가장 쉽게 구분할 수 있는 서비스의 방식으로는 시각과 청각을 직접적으로 컨트롤 할 수 있는 HMD를 착용하는 방식과 HMD 없이 주변에 가상 세계의 영상이나 정보를 투사하여 원하는 목적을 달성하도록 하는 방식이 있다. HMD 타입서비스는 현재 Oculus lift나 HTC Vive가 주도하는 VR 플랫폼 진영에서 주로 활용하는 방식으로 시각 정보를 100% 그래픽 처리를 통해 제공하고 이것을 머리의 회전과 이동과 동기화함으로써 시각적 몰입 환경을 구성하며 양안 시차를 발생시키는 Stereoscopic 영상을 제공하는 것이 일반적이다.(AR진영에서는 마이크로소프트가 Hololens라는 AR HMD형 디바이스를 판매하고 있으며 이는 반투명 유리를 통해 투과된 실사를 제공하여 몰입형 환경과는 다소 거리가 있다.) HMD형 콘텐츠의 장점은 우선 100% 차단된 환경을 제공함으로써 높은 몰입도를 구현할 수 있다는 점에 있다. 또한 유저를 나타내는 1인칭 캐릭터를 원하는 대로 Customizing할 수 있고, VR Sickness가 존재함에도 불구하고 시각적으로는 완전한 Stereoscopic 영상 구현이 가능하다는 점도 큰 장점 중 하나이다. 또한 주변 환경과 연계되어 제작의 제약이 뒤따르는 Cave형 VR환경에 비해서 100% Computer generated 영상으로 제한 없이 환경을 구성할 수 있다는 점에서 제작 상의 큰 편의성을 가진다고 할 수 있다. 이러한 장점에도 불구하고 HMD형 VR콘텐츠 구현에 있어서 몇가지 단점이 존재하는데, 의도적으로 주어지는 정보 이외에는 제공되는 실제 지형 정보가 없어 Blind 상태에서 콘텐츠를 플레이해야 하고 이 때문에 격하고 범위가 넓은 움직임이 요구되는 액션을 취해야 하는 경우에는 매우 위험한 상황이 발생할 수 있으며, 장시간 플레이시 감각 불일치로 인한 어지럼증 발생할 수 있다는 점, 그리고 다자간 액션을 구현함에 있어서 별도의 복잡한 구현이 필요하다는 점 등이 그것이다. 그 외에 실제적인 서비스 상황에서 얼굴 피부에 닿는 구조 때문에 여러 사람이 공용 장비를 공동으로 사용 시 위생 상의 문제가 발생할 수 있다는 점도 단점으로 지적되고 있다. 따라서 HMD형 서비스는 개인용 장비를 통한 정적인 콘텐츠에 보다 적합한 플랫폼이라 할 수 있다.
HMD를 사용하지 않고 VR이나 AR공간을 구현하는 Non HMD타입의 서비스는 주로 Cave라 불리는 프로젝션 스크린으로 둘러 쌓인 공간에 구현하고자 하는 가상 현실의 이미지를 투사해서 구현하며, AR의 경우에는 투사되는 스크린을 반투명으로 제작하여 물체가 허공에 떠있는 듯한 착각을 유도하기도 한다. 이러한 방식의 장점은 상대적으로 넓은 시야의 확보가 가능하다는 점과 별도의 소프트웨어 적인 구현 없이 다수 유저간 공간 공유가 매우 간편하게 확보된다는 장점을 가지며, 이 경우에도 다수 유저간 공간 및 방향 동기화 작업이 불필요하다. 자연스럽게 막힘 없이 확보되는 시야로 인해서 유저의 뛰고 달리는 적극적인 액션을 상대적으로 안전하게 소화할 수 있으며, 직접적인 피부 접촉이 공유되는 장비가 없기 때문에 다수 유저의 참여 시에도 위생상에 문제가 전혀 없다는 점도 상대적인 장점이 될 수 있다. 반면에 여전히 현실의 나와 다른 유저를 현재 상태로 볼 수 있기 때문에 완전한 몰입상태의 구현이 상대적으로 어려울 수 있으며, 양안 시차의 발생이 용이하지 않아서 Stereoscopic 구현이 제한적일 수 밖에 없다. 또한 Cave 공간의 확보를 위해서는 일정 규모의 빈 공간이 필요하다는 조건이 전제 되어야 하고, 실제로 자신이 눈으로 보이기 때문에 1인칭 캐릭터의 적용이 사실상 불가능하다는 제한 조건이 발생한다. Cave상에 가상의 배경 생성을 위해서 상대적으로 고가의 추가적인 프로젝션 장비가 필요하다는 점도 구현상의 추가적인 부담으로 작용할 수 있다. 따라서 Cave형 Non-HMD VR, AR 시스템은 다수의 유저가 참여할 수 있는 동적 콘텐츠에 적합하며, 테마파크와 같은 공용 공간에서의 콘텐츠에 적합하다.
궁극의 꿈 VR/AR
기술의 발전은 궁극적으로 우리가 살아가는 모습들을 점차적으로 변화시켜 나아가고 이러한 변화들이 누적되어 가다 보면 어느 순간, 이전에는 상상으로만 가능했던 꿈 같은 현실이 우리의 생활 방식 속으로 스며들어와 있는 것을 발견하게 된다. 은행 업무와 다양한 예약 업무, 그리고 일상 업무까지 손 안에서 해결되는 지금의 현실이 20년 전에는 그저 상상 속의 꿈이었던 것처럼 말이다. 현재 우리가 많은 관심을 가지고 있는 VR과 AR 관련 기술 역시 우리의 생활 속에 파격적인 변화를 이끌어 낼 것이라고 예상되며 이러한 변화의 폭은 이전의 다른 기술과는 차원이 다른 폭을 가질 것이라는 것이 중론이다. 그렇다면 VR/AR 기술의 궁극적인 모습은 어떤 형태일까? 많은 경우 영화와 같은 매체들에서 미래의 모습을 미리 유추해 볼 수 있다. VR의 궁극적인 기술의 끝은 보여주는 대표적인 영화는 ‘Matrix’와 ‘Total Recall’이다.
<그림3. AR과 VR 기술의 미래>
현재 시각과 청각에 가상 세계 정보를 노출 시켜 감각을 속이는 방법에서 벗어나 유저가 실제로 존재하고 싶은 세계와 관련된 정보들을 뇌에서 인지할 수 있는 신호로 변환하여 직접 뇌로 전송해 주는 방식을 통해서 실제 현실과 구분할 수 없는 가상의 세계를 제공하는 VR 기술이 표현되었다. 영화에서는 현재의 VR 기술에서 인간의 오감의 밸런스를 정확하게 충족시키지 못해 발생하는 VR Sickness를 완전하게 해결한 상황을 표현하였으며 모든 감각을 완전하게 시스템에 의해 통제할 수 있는 상황을 설정하였다. 여러 가지 오남용에 대한 우려가 있을 수 있겠지만 영화에서 표현하고 있는 VR 기술은 인간이 경험하고 싶은 모든 상황들을 완전하게 구현해 주고 있는 궁극의 VR을 표현해 주고 있다. 그러나 보고 싶은 광경을 Rendering 하여 모니터에 입체적으로 투사하는 기술과 이런 광경을 뇌에서 느낄 수 있는 신호로 변환 시켜주는 기술은 생체 신호에 대한 완전한 해석이 이루어지고 난 이후에나 가능한 차원이 다른 고급 기술로서 당분간은 구현이 어렵다고 할 수 있다. AR 기술의 궁극적인 형태를 현실적으로 보여주고 있는 영화는 ‘Iron man’
이나 ‘Minority report’ 정도를 꼽을 수 있겠는데 특히 ‘Iron Man’의 주인공 ‘토니 스타크’의 연구실 장면은 AR 기술이 구현할 수 있는 최종적인 모습을 보여준다.
주로 실시간 Rendering 되는 홀로그램과 동작 인식을 통한 상호작용, 그리고 다양한 정보를 실사에 겹쳐 보여주는 Mapping 기술들이 소개된다. 특히 실시간 Rendering 홀로그램은 현재 상용화 기술로서는 구현이 어려운 기술이지만 미래의 VR 기술인 생체 신호 변환 기술에 비해서는 상대적으로 가까운 미래에 구현이 가능할 것으로 예상된다. 실시간 홀로그램이나 다양한 AR의 최종적인 서비스는 다양한 문제점을 해결한 Contact lens형 디스플레이가 될 것이라는 예상이 주를 이루고 있으며, 이를 구현하기 위해서는 접적화, 경량화, 전원 문제 등 많은 문제점들이 해결되어야 한다.
산업적 전망
VR과 AR의 시장은 2020년 예상치를 기준으로 1,500억달러의 규모로 급성장 할 것으로 예상되며, 이러한 거대 시장을 선점하기 위해서 페이스북, 구글, 마이크로소프트,인텔 등 대표적인 IT 공룡 기업들이 연구와 투자를 서두르고 있는 실정이다. 이러한 급성장이 예상되는 배경으로는 VR과 AR 기술이 특정한 분야에 한정된 제한적인 기술이 아닌 모든 산업 분야에 적용되어 새로운 가치를 창출할 수 있는 요소 기술의 성격이 매우 강하기 때문에 이로 인해 전 산업계가 VR과 AR 기술의 잠재적인 적용 대상이 될 수 있다는 사실을 들 수 있다. 재미있는 사실은 2016년 현재에는 AR시장에 비해 VR시장이 상대적으로 큰 규모를 형성하고 있지만 2020년에는 AR 시장이 VR 시장의 4배가 넘는 규모로 성장할 것으로 예상되며, 이러한 원인 역시 VR에 비해서 AR이 보다 다양한 분야에 적용 가능할 것이라는 전제에 기인한다고 볼 수 있다.
또한 두 VR과 AR분야 공히 관련 하드웨어 시장이 매우 큰 비중을 가지고 있는데 반해 대부분의 시장이 콘텐츠 관련 시장이라는 사실은 실제로 해당 산업을 준비하는 주체들이 향후 관련 콘텐츠 분야에 보다 비중을 가지고 집중할 필요가 있음을 나타내주고 있으며, VR은 주로 게임, 비디오 등의 엔터테인먼트에 AR은 의료, 생산, 상거래, Data처리 등의 일반적인 어플리케이션에 보다 많은 투자 자원이 몰려들 것임을 예견해주고 있다.
향후 과제
우리는 다양한 플랫폼이 하루 아침에 나타나고 사라지는 것이 매우 일상적인 현상이 될 정도로 기술 발전 속도가 빨라지고 그만큼 기술 간의 경쟁 역시 치열해지고 있는 시대를 살아가고 있다. 현재 뜨거운 관심이 몰리고 있는 VR이나 AR 기술이 지금의 형태를 유지하면서 발전할 지, 다른 형태로 발전할 지, 아니면 더욱 현실적이고 경쟁력 있는 기술로 대체될 지에 대해서도 쉽게 예측이나 단정하기 어려운 것이 현실이라 할 수 있다. 그러나 분명한 것은 현재의 VR과 AR이 궁극적으로 지향하고 있는 제품이나 서비스의 발전 방향은 큰 틀 안에서 어느 정도 유지될 것이라고 보는 것이 지배적인 의견이라는 사실이다. 어떤 형태로든 VR과 AR 산업은 발전을 해 나아갈 것이고, 따라서 발전의 방향성과 이와 관련된 다양한 가능성을 정확하게 파악하고 개별 주체의 입장에서 대응 방식을 설정하는 것이 매우 중요할 것이다. 사업자의 입장에서는 스스로의 여건에 따라 플랫폼 관련 사업에 참여할 것인지 콘텐츠 사업에 참여할 것인가에 대한 고민이 필요할 것이고, 디자이너의 경우에는 본인의 분야에서 VR이나 AR 기술이 어떠한 시너지를 낼 수 있을지에 대한 연구도 필요할 것이다. 이러한 중요한 결정의 과정에서 이 글에서 지금까지 살펴 보았던 VR, AR 기술의 발전과정과 현재의 상황, 그리고 미래 전망에 대한 분석들이 어느 정도 유용성을 가질 것이라 판단된다. 또한 VR, AR 산업의 영향력의 크기와 형식은 개인이나 기업의 상황에 따라 다르게 체감될 수 밖에 없기 때문에 개별적으로 탄력적이고 유연한 사고를 가지고 이러한 기술들을 대하는 자세도 매우 중요하다고 생각된다.
맺으며
새로운 기술이 출현하고 그 기술이 산업과 생활에서 정착되는 과정을 조금만 관심 있게 분석해 보면 일관된 반복성을 발견할 수 있게 된다. VR과 AR 기술도 마찬가지로 같은 과정을 거치고 있는 것으로 보인다. 초기에는 하드웨어 플랫폼에 집중하다가 어느 정도 지나면 그 위에서 동작하는 킬러 콘텐츠가 주목을 받는다. 킬러 콘텐츠가 자리를 잡으면 그 콘텐츠를 중심으로 생태계가 형성되고, 일정 수명을 유지한다. 서로 다른 특성의 킬러 콘텐츠가 부침을 거듭하고, 더 이상의 리딩 콘텐츠 출현이 없게 되면 해당 플랫폼은 그 수명을 다하게 된다. 지금 VR과 AR은 메인 킬러 콘텐츠의 등장을 기다리고 있는 시기라고 볼 수 있다. 이러한 상황에서 우리는 어떤 입장을 견지해야 하겠는가? 각자 조건과 입장이 다를 수 있겠지만 한가지 분명한 것은 향후 AR과 VR 시장의 성패를 가를 가장 중요한 요소는 바로 콘텐츠라는 사실이며, VR, AR 산업과 관련된 어떠한 사업적 판단이나 행동을 함에 있어서도 그 중심에는 반드시 경쟁력 있는 콘텐츠가 있어야만 사업적 성공을 보장할 수 있다는 것을 다시 한번 강조하며 이 글을 맺고자 한다.
