向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

VR的身临其境意味着什么?

VR被认为是下一个IT热潮,但目前来看还有很多问题尚未解决……

降低眩晕感 VR延迟20毫秒以内C4cesmc

如果你佩戴过VR头盔设备,可能会发生一些眩晕感。延迟率是造成这种效果最重要的一个因素。VR延迟率指VR头盔显示设备的视觉观测与头部运动的匹配程度。研究表明,头动和视野的延迟不能超过20ms,否则造成视觉上的眩晕,不适感。 C4cesmc

目前,三星GEAR VR、刚发布的大朋VR一体机延迟都可以控制在19.3ms。如何控制延迟,主要取决于VR系统中数据从传感器到CPU,再到GPU最后到显示屏的整个过程的优化,尤其是ATW技术。C4cesmc

在最近由网易科技举办的开物沙龙VR论坛上,Nibiru CTO曹峻玮分享了移动端VR技术的关键点。通过底层系统优化、ATW算法达到延迟控制在20毫秒以内的目标,Nibiru已经对整个系统优化完成,可提供VR SDK。C4cesmc

曹峻玮介绍说,首先是陀螺仪的应用,陀螺仪刷新频率越高,延迟越低,1K刷新的陀螺仪延时就是1ms。例如三星Gear VR的方案是1K刷新率的陀螺仪。
20160407-VR 01 C4cesmc

“对于移动VR的陀螺仪现在业界有两种方案,一种方案是比较便宜的,直接用手机里的陀螺仪,这个陀螺仪如果使用I2C总线,速率不是很快,现在也有些方案使用SPI总线,它的传输速率会高一些。另外一种就是现在以三星Gear VR为主导的,用的是外接MCU陀螺仪模块,通过USB传递数据。对于第一种方案如果陀螺仪刷新率过高, I2C协议带来的系统中断对于CPU的损耗过高,手机CPU会发烫特别严重。USB方案相对好一些。”曹峻玮解析道。C4cesmc

在陀螺仪技术里面融合算法非常重要。所谓的融合算法就是将陀螺仪,加速度和地磁进行有效的融合矫正,使得用户在调用陀螺仪时候保持数据稳定性和准确性。C4cesmc

融合算法集成在硬件底层驱动是一个趋势。可以降低CPU的损耗,增加陀螺仪的效率。“高通发布了VR SDK,我们认为比较好的做法就是把陀螺仪融合算法放到硬件DSP里面去做。”C4cesmc

图形图像部分,需要与芯片原厂配合做底层优化。包括:第一就是Front buffer Rendering,为什么Latency会较高,原因是Android架构的整个系统本身就是非实时性系统,需要做很多同步验证,导致延迟高。Front buffer Rendering是所有的移动VR优化必须做的。C4cesmc

20160407-VR 02C4cesmc

第二是ATW,借此保证刷新率保持在稳定的帧数并降低延时。 第三是Multi-View Rendering,左右眼的图两次渲染,实现一次代码调用,提高GPU的性能。现在ARM已经提供这样的扩展。C4cesmc

最后是Multi-Resolution Rendering,由于图像本身需要做反畸变,四周边缘不需要太多分辨率渲染,可节省GPU资源。目前已经有GPU厂家支持这样的扩展,Nibiru正在测试效果。C4cesmc

从采集陀螺仪数据到CPU计算逻辑,再到GPU计算绘制,最后显示器显示。这四个步骤所需要的时间就是Latency的时间。
20160407-VR 03C4cesmc

由于Android是非实时性系统,从图形绘制完成到送显有三级buffer缓存,会带来50ms的延时,就需要采取图形图像优化FBR的模式,让图像绘制之后直接送显。但是FBR模式会带来画面的撕裂,这也是为什么Android会采用3级buffer缓存的原因。C4cesmc

20160407-VR 04C4cesmc

第二是屏幕的反应延时,比如TFT屏幕延时大概有20ms,而OLED屏只有5ms,这些延时是不可更改的。目前移动VR基本跑在60Hz。60帧的GPU绘制速率16毫秒加上5毫秒,达到21毫秒了。但为什么三星能做到20毫秒以内,这里需要ATW技术,简单的说就是中间帧生成技术,中文叫异步时间扭曲。C4cesmc

通过使用ATW技术使得GPU绘制的图像进行一次变换,从而使得显示的图像是以最新的陀螺仪数据为基础,这个算法需要3ms左右,加上反畸变和反色散的算法2ms,而陀螺仪刷新延时在1ms,那么从陀螺仪采集到GPU图像绘制送显的延时在6ms左右。C4cesmc

接下来就是显示屏刷新延时,由于是左右camera交替刷新,所以这里一幅图的延时就是8.3ms,8.3ms加上6ms,再加上Oled屏的5ms左右,总共加起来19.3ms,这就是三星的20毫秒以内的由来,目前来看,Nibiru VR系统已经基本实现了这个逻辑优化。
20160407-VR 05C4cesmc

20160407-VR 06C4cesmc

Nibiru为手机厂商、一体机厂商进行系统优化。“系统优化之后,在游戏CP调用我们的VR SDK时才能达到这种低延迟效果。CP使用我们配合引擎的plug-in就行,我们会跟引擎公司合作,推出相应的plug-in,支持Cocos3x,Unity和Unreal等通用的游戏引擎。”C4cesmc

从芯片厂商来看,ARM已经在底层做优化支持VR,ARM全球执行副总裁兼大中华区总裁吴雄昂表示,我们下一代芯片会专门为VR做优化,时间在一年半以后。此外,高通也发布了全新的VR SDK。C4cesmc

享受沉浸感 裸手是VR/AR未来

Leap Motion中国区总经理陈佳敬认为从VR到AR是一个有线到无线,然后最终只有AR设备的过程。有线VR阶段,我们用遥控器、手持设备进行操作,无线VR阶段去掉了线,还可以直接用手来操作。AR阶段,用手指可以直接在投射的画面上操控,是人手与电脑的直接互动。陈佳敬表示,AR时代,裸手输入法是最主流的,Leap Motion就是一直研究人的手指与电脑互动的技术,这项技术的重要性将越来越重要。C4cesmc

20160407-VR 07C4cesmc

如何实现人手与电脑的互动,陈佳敬做了现场演试。他们的技术偏向于软件端,在头盔上最前面有一个很小的四方条,上面就是两个VGA摄像头,30万像素,通过捕捉影像再用软件来解析。侦测角度为150度,上下135度,客户可以直接购买这个小硬件,下载SDK。C4cesmc

20160407-VR 08C4cesmc

“我们这个硬件2013年的时候就开始卖了,这是我们的第一代产品,这个产品它的成本很低,我们是走全软件的公司,对硬件的要求非常低。这个硬件经过3年之后还可以用我们最新的软件。”C4cesmc

uSens 首席运营官及联合创始人时驰也认为,裸手的交互方式是VR技术的未来。“移动VR上面实现游戏变现,首先要做提供保持整体移动性的感知和交互。尽量少穿点,少拿点,经济实惠的感知世界,让VR像触屏手机一样简单直观,老少皆宜的内容就能出现和变现,实际上就是交互。通过三维手势、头部转动,位置跟踪,最后实现超级现实,AR+VR super Reality。”
20160407-VR 09 C4cesmc

在真实的VR当中可以用手在空中做一些自然的交互,人还可以在真实和虚拟中自由穿梭,穿梭的时候核心交互保持不变。如下图,空中手写和擦掉文字。
20160407-VR 10
20160407-VR 11C4cesmc

眼球追踪技术目前在全球应用的领域有两个,一个是医疗,如渐冻人;另一个领域是广告设计的焦点测试,测试广告设计是否合理。 C4cesmc

七鑫易维联合创始人彭凡解析,对于VR来说,眼球追踪与头动一起实现交互,但目前并不成熟。现有的交互,手持控制器始终不是沉浸感,眼控能够让交互更人性化,更真实。现在的VR交互方式看任何一个点都要动头,最舒服的方式是眼动加头动的配合使用。另外,我们只需要渲染出用户注视的那一个核心区域,即注视点渲染技术,它需要PC能够非常高速的指导用户在每一个时刻看到的那一个点,所以需要高速的眼神追踪传感器来配合。C4cesmc

20160407-VR 12C4cesmc

VR被认为是下一个IT热潮,但目前来看还有很多问题尚未解决,例如眩晕感、沉浸感直接影响着用户体验,另外,技术创新、创业扎堆于此,未来仍需考虑投入如何变现的问题。C4cesmc

Write
本文为国际电子商情原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫,一键转发

  • 关注“国际电子商情” 微信公众号

您可能感兴趣的文章

相关推荐

可能感兴趣的话题