Device 관점에서 본 5G와 AR/VR

많은 통신사에서 5G 서비스를 제공하며 5G가 많이 보급되고 있습니다. 5G 인프라가 모든 지역을 커버하지는 못해서 실제 고객이 느끼는 통신 속도는 4G와 같다는 불만이 많이 나오고 있기는 하지만요. 5G가 보급되는 가운데 함께 등장하는 단어가 AR/VR입니다. 각 통신사의 5G 서비스 활용 시나리오 중 AR/VR이 항상 함께 등장하죠. 이번 글에서는 AR, VR이 무엇이며 왜 5G와 함께 등장하는지 이유를 살펴보겠습니다.

 

AR/VR/MR/XR?

우선 AR, VR, MR, XR 비슷해보이는 용어들 정리부터 하죠. AR(augmented reality)는 한국말로는 증강현실입니다. 구체적으로는 현실 화면에 가상의 물체를 디스플레이하는 방식이지요. VR(virtual reality)는 가상현실이라는 말에서 볼 수 있듯이, 실제 현실과 구분되는 가상의 세계입니다. 사용자의 화면에 보여지는 배경 및 물체는 모두 CG(computer graphic)를 통해 만들어졌죠. MR(merged reality)는 AR의 개념을 기반으로 하여 사용자의 UI를 강조한 측면이 있습니다. 예를 들어 실제 키보드가 아닌 AR상에서 보여지는 키보드를 통해 글자를 입력하는 방식이 해당하죠. XR(extended reality)는 AR, VR, MR이 결합된 확장판의 개념인데, 따지고 보면 실체가 없는 마케팅 용어가 아닌지 싶습니다. 검색해도 명확한 정의는 나오지 않고 "사용자에게 좀 더 고도화된 경험을 제공한다" 정도의 설명이 나오고 있기 때문입니다.

AR, VR, MR 비교 (source: uxdesign.cc)

 

왜 5G에 AR/VR이 붙어 나오는 것일까요? 왜냐하면 다수의 통신사들이 5G의 킬러앱 중 하나로 AR/VR 응용을 꼽고 있기 때문입니다. 5G는 4G에 비해 낮은 Latency, 높은 데이터 전송량(Bandwidth)가 장점입니다. 문제는 현재의 4G의 전송속도도 만족스러워 5G를 굳이 써야할 응용이 없다는 데에 있죠. 현재 4G의 주요 데이터 사용 Source는 Youtube 등을 시청하는 데 필요한 동영상인데, 4G를 통해서도 HD 영상을 실시간으로 시청할 수 있는데 굳이 5G가 필요 없죠. 4G로는 불가능하지만 5G로는 가능한, 동시에 많은 사람이 활용할 만한 응용으로 AR/VR이 선택된 것입니다.

 

AR/VR의 특징을 살펴보면 왜 4G는 불가능하고 5G는 가능한지 납득이 갑니다. AR/VR모두 가상의 물체를 사용자의 화면의 Display하는 것이 핵심입니다. 따라서 프로세스를 살펴보면 1) 사용자의 위치 및 시선 움직임 변화 감지, 2) 사용자의 입력, 환경 변화에 맞는 프로그램 수행, 3) 변화된 위치 및 시선에 맞는 그래픽 Rendering으로 구성됩니다. 포켓몬을 예로 들어보죠. 사용자가 파이리가 있는 지역으로 움직인다면 프로그램은 위치 변화를 감지하고 파이리를 생성한 후 이를 사용자의 시선과 위치에 적합하게 화면에 나타내야 합니다. 또한 사용자가 파이리를 포켓몬 볼에 넣으라는 명령을 내리면 프로그램은 이를 확인하고 연산하여 파이리가 포켓몬에 들어가는 CG를 생성하여 이를 화면에 표시해야죠. (물론, 파이리가 항상 포켓몬 볼에 들어간다는 보장은 없지만요)

포켓몬 AR (source:androidauthority.com)

 

AR/VR의 연산 특징 및 하드웨어 제약

AR/VR을 구현하는데 있는 기술적 어려움은 1) 매우 짧은 시간 내에 이 프로세싱이 이뤄져아 하고 2) 사용자가 몰입도를 느끼기 위해서는 고해상도 디스플레이가 이뤄져야 한다는 점입니다. 이러한 요구 사항은 AR/VR 기기 사용시 느낄 수 있는 멀미를 없애기 위함입니다. VR 체험방에서 VR 기기로 게임을 하다보면 어지러움을 느끼는 분들이 많이 있습니다. 인간은 실제 움직임과 보이는 화면이 일치하지 않을 때 멀미를 느끼게 되는데, 이러한 멀미 현상을 방지하기 위해서는 20ms 이내에 움직임에 대한 피드백이 반영되어 화면이 업데이트되어야 합니다. 현재 VR기기는 아직 피드백 속도가 이러한 요구사항을 따라가지 못해 멀미가 발생하고 있고요. 피드백 시간 요구 때문에 전체 AR/VR Processing 시간에 제약이 발생하죠. 또한, 해드셋, 글래스 등을 통해 AR/VR을 즐길 때 현실과 같은 느낌을 받으려면 8K 화면을 120fps로 줘야 합니다. 현재 플래그십 스마트폰의 해상도가 4K가 되지 않는 상황에서 4K의 4배 해상도인 8K를 1초에 120회 디스프레이 해야한다는 점은 HW 관점에서 매우 고성능 기기를 요구로 합니다.

 

문제는 이러한 고성능 연산을 수행하는 기기를 글래스나 해드셋의 형태로 구현하기 힘들다는 점이죠. 글래스나 헤드셋은 웨어러블 기기이므로 2가지 제약이 있습니다. 무게와 발열이죠. 특히 글래스는 무게를 코받침이 부담하기 때문에 무게 제약이 더 큽니다. 이 때문에 구글 글래스2도 무게가 46g이지요. 보통 우리가 쓰는 안경은 25~45g 수준이고요. 헤드셋은 머리에 부착되는 형태라 무게가 분산되어 좀 더 무거워도 괜찮지만 실외에서 활용하기는 힘들죠. 만약 AR 헤드셋을 하고 집 밖으로 나간다면 모두의 시선을 한 눈에 받을 수 있을 겁니다. 이러한 무게의 제약 때문에 베터리 크기 및 시간도 한정적이라 사용시간도 제한될 수 밖에 없습니다. 적절한 베터리 시간이 얼마인가는 사람마다 다르겠지만, 헤드셋인 MS Hololens2도 2~3시간에 불과합니다. 또한 인체에 부착되는 기기이므로 열이 많이 나면 안됩니다. 핸드폰이 동영상을 재생할 때 뜨거워지는 것을 느꼈을텐데, 앞에서 말한 고해상도 디스플레이 작업은 프로세서의 연산이 많으므로 당연히 발열도 많습니다. 따라서 프로세서의 발열을 컨트롤하면서 고해상도 디스플레이가 가능하도록 하는 기술적 혁신이 필요하죠. 

MS Hololens2(위)와 Google Glass 2(아래) (Source: Quora.com)

 

5G를 활용한 AR/VR

따라서 대안으로 제시되는 것이 5G를 활용한 AR/VR기기 입니다. AR/VR 기기가 자세, 위치 정보를 수집하여 서버에 보내면 서버에서 주 연산을 한 후 다시 AR/VR 기기로 보내고 AR/VR기기는 이를 받아 디스플레이하는 것이지요. 주 연산은 서버에서 이뤄지기 때문에 AR/VR기기는 가벼운 연산만 가능하도록 무게를 줄일 수 있고, 발열 문제에서도 한층 자유로워집니다. 문제는 기기와 서버를 오가는 데이터 전송이 빠르게 이뤄져아 한다는 점인데요, 여기서 5G의 역할이 등장합니다. 5G는 4G에 비해 짧은 시간에 데이터를 주고 받을 수 있기 때문에 AR/VR 응용이 가능해지려면 5G가 필요하다는 것이지요. 물론 5G 중 짧은 Latency와 높은 BW를 보이는 mmWave는 전파의 투과력이 낮아 장애물이있는 경우 전파가 통과하지 못한다는 단점이 있어, 실제 5G를 이용한 AR/VR 서비스가 매끄럽게 이뤄질지는 살펴봐야 겠습니다.

 

HW업체 입장에서도 AR/VR은 매우 매력적입니다. 스마트폰 시장이 정체된 이후로 이를 대체할 수 있는 대규모의 성장 시장이 등장하지 않았는데 AR/VR기기가 대안이 될 수 있다는 것이지요. 사생활 침해 문제가 있지만 AR 글래스는 개인 기기이기 때문에, 잠재 시장은 큰 편입니다. 따라서 MS, 구글, Facebook이 이전부터 관심을 갖고 지속적으로 HW를 개발해왔고, Apple도 팀 쿡이 공개 석상에서 계속 관심을 보여왔으며 관련 루머도 끊이지 않고 있습니다. 지금까지는 물리적 한계 때문에 발전이 지체되었지만, TSMC와 삼성 Foundry의 미세 공정이 발전하며 프로세서의 발열이 줄고, Micro LED가 발전하여 고해상도 디스플레이가 가능할 것으로 보이며, 5G 네트워크가 상용화되어 Connectivity 문제가 해결되며 AR/VR의 현실화 가능성도 높아지고 있습니다.