콘텐츠
우리는 마침내 시장에 하드웨어와 소프트웨어 제품이 풍부하고 혁신에 박차를 가하기 위해 자원이 쏟아져 혁명에 깊숙이 빠져들고 있습니다. 그러나 우리는이 분야에서 주요 제품이 출시 된 지 1 년이 넘었으며 가상 현실을 주류 성공으로 이끄는 킬러 애플리케이션을 기다리고 있습니다. 기다리는 동안 새로운 개발이 계속해서 가상 현실을보다 상업적인 옵션으로 만들지 만, 특히 모바일 VR 공간에서 극복해야 할 많은 기술적 장애물이 있습니다.
제한된 전력 예산
모바일 가상 현실 응용 프로그램이 직면 한 가장 분명하고 잘 논의 된 과제는 데스크톱 PC와 비교할 때 훨씬 제한된 전력 예산 및 열 제약입니다. 배터리에서 집중적 인 그래픽 응용 프로그램을 실행하면 배터리 수명을 보존하기 위해 저전력 구성 요소와 에너지를 효율적으로 사용해야합니다. 또한 처리 하드웨어가 착용자에게 가까워지면 열 예산을 더 이상 높일 수 없습니다. 비교를 위해 모바일은 일반적으로 4 와트 이하로 작동하는 반면 데스크톱 VR GPU는 150 와트 이상을 쉽게 소비 할 수 있습니다.
모바일 VR이 데스크톱 하드웨어와 비교할 수 없다는 점은 널리 알려져 있지만, 소비자가 선명한 해상도와 높은 프레임 속도로 몰입 형 3D 경험을 요구하지는 않습니다.
모바일 VR이 원시 전력을 위해 데스크탑 하드웨어와 일치하지는 않지만, 소비자가 더 제한된 전력에도 불구하고 선명한 해상도와 높은 프레임 속도로 몰입 형 3D 경험을 요구하지 않는다는 것을 널리 인정합니다. 예산. 3D 비디오 시청, 360도 재생산 위치 탐색, 게임까지 모바일 VR에 적합한 사용 사례는 여전히 많습니다.
일반적인 모바일 SoC를 되돌아 보면 덜 인식되는 추가 문제가 발생합니다. 모바일 SoC는 괜찮은 옥타 코어 CPU 배열과 주목할만한 GPU 전력으로 포장 할 수 있지만 앞에서 언급 한 전력 소비와 열 제약으로 인해이 칩을 완전히 기울일 수는 없습니다. 실제로, 모바일 VR 인스턴스의 CPU는 가능한 한 적은 시간 동안 실행되기를 원하므로 GPU를 사용하여 제한된 전력 예산의 대부분을 소비 할 수 있습니다. 이로 인해 게임 로직, 물리 계산 및 백그라운드 모바일 프로세스에 사용 가능한 리소스가 제한 될뿐만 아니라 입체 렌더링에 대한 그리기 호출과 같은 필수 VR 작업에 부담이됩니다.
업계는 이미이를위한 솔루션을 개발 중이며 모바일에만 적용되는 것은 아닙니다. 멀티 뷰 렌더링은 OpenGL 3.0 및 ES 3.0에서 지원되며 Oculus, Qualcomm, Nvidia, Google, Epic, ARM 및 Sony의 기고자가 개발했습니다. 멀티 뷰를 사용하면 각 시점마다 하나씩이 아닌 단일 드로우 콜로 입체 렌더링이 가능하므로 CPU 요구 사항이 줄어들고 GPU 정점 작업도 줄어 듭니다. 이 기술은 성능을 40 ~ 50 % 향상시킬 수 있습니다. 모바일 공간에서 멀티 뷰는 이미 여러 ARM Mali 및 Qualcomm Adreno 장치에서 지원됩니다.
다가오는 모바일 VR 제품에 나타날 것으로 예상되는 또 다른 혁신은 foveated rendering입니다. 시선 추적 기술과 함께 사용되는 foveated rendering은 사용자의 정확한 초점을 최대 해상도로 렌더링하고 주변 시야의 물체의 해상도를 감소시켜 GPU의 부하를 줄입니다. 휴먼 비전 시스템을 훌륭하게 보완하고 GPU 부하를 크게 줄임으로써 전력을 절약하고 다른 CPU 또는 GPU 작업을 위해 더 많은 전력을 확보 할 수 있습니다.
대역폭 및 고해상도
모바일 VR 상황에서는 처리 능력이 제한적이지만, 플랫폼은 여전히 낮은 대기 시간, 고해상도 디스플레이 패널의 요구를 포함하여 다른 가상 현실 플랫폼과 동일한 요구 사항을 준수해야합니다. QHD (2560 x 1440) 해상도를 자랑하는 VR 디스플레이 나 Rift 헤드셋의 눈당 1080x1200 해상도를 자랑하는 VR 디스플레이를 본 사람도 이미지 선명도에 약간의 영향을 받았을 것입니다. 앨리어싱은 특히 눈이 화면에 너무 가깝고 움직임 중에 가장자리가 거칠게 보이거나 들쭉날쭉하게 보일 때 특히 문제가됩니다.
모바일 VR 상황에서는 처리 능력이 제한적이지만, 플랫폼은 여전히 낮은 대기 시간, 고해상도 디스플레이 패널의 요구를 포함하여 다른 가상 현실 플랫폼과 동일한 요구 사항을 준수합니다.
무차별 대입 솔루션은 디스플레이 해상도를 높이고 4K는 다음 논리적 진행입니다. 그러나 장치는 해상도와 상관없이 높은 재생 빈도를 유지해야합니다. 60Hz는 최소로 간주되지만 90 또는 120Hz가 훨씬 더 바람직합니다. 이는 오늘날의 장치보다 2 ~ 8 배 더 많은 시스템 메모리에 큰 부담을줍니다. 메모리 대역폭은 데스크톱 제품보다 모바일 VR에서 이미 더 제한적이며, 공유 풀보다는 더 빠른 전용 그래픽 메모리를 사용합니다.
그래픽 대역폭을 절약 할 수있는 솔루션으로는 ARM 및 AMD의 적응 형 확장 가능 텍스처 압축 (ASTC) 표준 또는 무손실 Ericsson 텍스처 압축 형식과 같은 압축 기술을 사용하는 것이 있습니다.이 두 가지 형식 모두 OpenGL 및 OpenGL ES의 공식 확장입니다. ASTC는 또한 ARM의 최신 Mali GPU, Nvidia의 Kepler 및 Maxwell Tegra SoC 및 Intel의 최신 통합 GPU의 하드웨어에서 지원되며 일부 시나리오에서는 비 압축 텍스처 사용과 비교하여 50 % 이상의 대역폭을 절약 할 수 있습니다.
텍스처 압축을 사용하면 3D 응용 프로그램에 필요한 대역폭, 대기 시간 및 메모리를 크게 줄일 수 있습니다. 소스 – ARM.
다른 기술들도 구현 될 수있다.테셀레이션을 사용하면 다른 실질적인 GPU 리소스가 필요하지만 더 간단한 객체에서보다 자세한 모양을 만들 수 있습니다. 지연 렌더링 및 정방향 픽셀 제거는 폐색 된 픽셀의 렌더링을 피할 수있는 반면, Binning / Tiling 아키텍처를 사용하면 이미지를 각각 개별적으로 렌더링되는 작은 격자 나 타일로 분할하여 대역폭을 절약 할 수 있습니다.
대안 적으로 또는 바람직하게는 추가로, 개발자는 시스템 대역폭에 대한 스트레스를 줄이기 위해 이미지 품질을 희생 할 수있다. 하중을 줄이기 위해 형상 밀도를 희생하거나보다 적극적인 컬링을 사용할 수 있으며 정점 데이터 해상도를 기존의 32 비트 정확도에서 16 비트로 낮출 수 있습니다. 이러한 기술 중 다수는 이미 다양한 모바일 패키지에서 사용되고 있으며, 함께 사용하면 대역폭의 부담을 줄일 수 있습니다.
모바일 VR 공간에서 메모리는 주요 제약 조건 일뿐만 아니라 CPU 또는 GPU 소비와 동일한 전력 소비량이기도합니다. 휴대용 가상 현실 솔루션은 메모리 대역폭과 사용량을 절약함으로써 배터리 수명을 연장해야합니다.
낮은 대기 시간 및 디스플레이 패널
지연 시간 문제와 관련하여 지금까지 우리는 VR 디스플레이가 OLED 디스플레이 패널을 지원하는 VR 헤드셋 만 보았으며 이는 대부분 1 밀리 초 미만의 빠른 픽셀 전환 시간 때문입니다. 역사적으로 LCD는 매우 빠른 재생 빈도로 고 스팅 문제와 관련되어 VR에 적합하지 않습니다. 그러나 초 고해상도 LCD 패널은 여전히 OLED에 비해 생산 비용이 저렴하므로이 기술로 전환하면 VR 헤드셋 가격이 더 저렴한 수준으로 낮아질 수 있습니다.
모션 대 광자 대기 시간은 20ms 미만이어야합니다. 여기에는 움직임 등록 및 처리, 그래픽 및 오디오 처리 및 디스플레이 업데이트가 포함됩니다.
디스플레이는 가상 현실 시스템의 전체 대기 시간에서 특히 중요한 부분으로, 종종 겉보기 경험과 하위 경험 사이의 차이를 만듭니다. 이상적인 시스템에서, 머리와 움직임이 반응하는 데 걸리는 시간 인 모션 투 포톤 대기 시간은 20 밀리 초 미만이어야합니다. 분명히 50ms 디스플레이는 좋지 않습니다. 센서와 처리 지연 시간을 수용하기 위해서는 패널이 5ms 미만이어야합니다.
현재 OLED에 유리한 비용 성능 균형이 있지만 곧 바뀔 수 있습니다. 역광 깜박임과 같은 최첨단 기술을 사용하는 높은 화면 주사율과 낮은 흑백 반응 시간을 지원하는 LCD 패널은 비용을 절감 할 수 있습니다. 일본 디스플레이는 작년에 그러한 패널을 선보였으며 다른 제조업체들도 비슷한 기술을 발표 할 수 있습니다.
오디오 및 센서
일반적인 가상 현실 주제의 대부분은 이미지 품질과 관련이 있지만 몰입 형 VR에는 고해상도, 공간적으로 정확한 3D 오디오 및 낮은 대기 시간 센서도 필요합니다. 모바일 영역에서이 모든 것은 CPU, GPU 및 메모리에 영향을 미치는 동일한 제한된 전력 예산 내에서 수행되어야하며, 이는 추가 과제를 제시합니다.
이전에는 센서 대기 시간 문제에 대해 살펴 봤는데,이 동작은 20ms 미만의 모션 대 광자 대기 시간 제한의 일부로 움직임을 등록하고 처리해야합니다. VR 헤드셋이 X, Y 및 Z 축 각각에서 6 도의 모션 (회전 및 요)을 사용하고 눈 추적과 같은 새로운 기술을 사용한다고 가정 할 때 수집 및 처리해야 할 일정한 양의 데이터가 최소한으로 있습니다. 숨어 있음.
이 지연 시간을 가능한 한 낮게 유지하려면 하드웨어와 소프트웨어가 모두 이러한 작업을 동시에 수행 할 수있는 종단 간 접근 방식이 필요합니다. 운 좋게도 모바일 장치의 경우 전용 저전력 센서 프로세서와 상시 작동 기술을 사용하는 것이 매우 일반적이며 상당히 낮은 전력으로 실행됩니다.
오디오의 경우 3D 위치는 게임 등에 오랫동안 사용 된 기술이지만 현실적인 사운드 소스 위치 지정에 필요한 HRTF (head related transfer function) 및 컨벌루션 리버브 처리 (convolution reverb processing)는 프로세서를 많이 사용하는 작업입니다. 이들은 CPU상에서 수행 될 수 있지만, 전용 디지털 신호 프로세서 (DSD)는 처리 시간 및 전력면에서 이러한 유형의 처리를 훨씬 더 효율적으로 수행 할 수있다.
이러한 기능을 위에서 언급 한 그래픽 및 디스플레이 요구 사항과 결합하면 여러 특수 프로세서를 사용하는 것이 이러한 요구를 충족시키는 가장 효율적인 방법이라는 것이 분명합니다. Qualcomm은 자사의 플래그십과 최신 미드 티어 Snapdragon 모바일 플랫폼의 이기종 컴퓨팅 기능을 대부분 활용하는 것을 보았습니다.이 플랫폼은 다양한 처리 장치를 단일 패키지로 결합하여 이러한 많은 모바일 VR 요구를 충족시키는 기능을 제공합니다. 우리는 독립형 휴대용 하드웨어를 포함한 수많은 모바일 VR 제품에서 패키지 유형의 전력을 볼 수있을 것입니다.
개발자 및 소프트웨어
마지막으로, 소프트웨어 제품군, 게임 엔진 및 개발자가 지원할 수있는 SDK가 없으면 이러한 하드웨어 향상은 그다지 좋지 않습니다. 결국, 모든 개발자가 모든 응용 프로그램의 휠을 재발 명 할 수는 없습니다. 광범위한 응용 프로그램을 보려면 개발 비용을 낮추고 최대한 빠른 속도를 유지하는 것이 중요합니다.
특히 SDK는 비동기 타임 워프, 렌즈 왜곡 보정 및 입체 렌더링과 같은 주요 VR 처리 작업을 구현하는 데 필수적입니다. 이기종 하드웨어 설정에서 전력, 열 및 처리 관리는 말할 것도 없습니다.
다행히도 모든 주요 하드웨어 플랫폼 제조업체는 개발자에게 SDK를 제공하지만 시장은 다소 조각화되어 플랫폼 간 지원이 부족합니다. 예를 들어 Google에는 Android 용 VR SDK와 인기있는 Unity 엔진 전용 SDK가 있고 Oculus에는 Gear VR 용 Samsung과 함께 모바일 SDK가 내장되어 있습니다. 중요하게도, 크로노스 그룹은 최근 크로스 플랫폼 개발을 용이하게하기 위해 디바이스와 애플리케이션 레벨 계층에서 모든 주요 플랫폼을 포괄하는 API를 제공하는 것을 목표로하는 OpenXR 이니셔티브를 공개했습니다. OpenXR은 2018 년 전에 언젠가 첫 가상 현실 장치에서 지원을 볼 수있었습니다.
마무리
몇 가지 문제에도 불구하고, 기술은 현재 개발 중이며 어느 정도는 이미 많은 분야에서 모바일 가상 현실을 구현할 수 있습니다. 또한 모바일 VR은 데스크톱에 해당하지 않는 여러 가지 이점을 제공하므로 투자와 흥미를 유발할만한 플랫폼으로 계속 사용할 수 있습니다. 휴대 성 요소는 모바일 VR을보다 강력한 PC에 연결된 전선 없이도 멀티미디어 경험과 가벼운 게임을위한 매력적인 플랫폼으로 만듭니다.
또한 점점 더 많은 가상 현실 기능이 장착 된 시중에 판매되는 모바일 장치의 수가 가장 많은 대상 고객에게 도달하기위한 선택 플랫폼이되었습니다. 가상 현실이 주류 플랫폼이 되려면 사용자가 필요하며 모바일은 가장 큰 사용자 기반입니다.
