微软(Microsoft)近日首度透露了其增强现实(AR)头戴式设备HoloLens内部的客制化视觉处理器芯片细节;该款芯片的处理能力达到每秒1兆(trillin)次画素运作(pixel-operations),功耗比采用代号Cherry Trail的英特尔(Intel)Atom系列核心之主机处理器的4W还低。

该HoloLens处理单元(HPU)融合来自5个摄影机镜头、一个深度传感器以及运动传感器的输入信息,将之压缩并传送到Intel的主处理器SoC;此外HPU还能辨识手势以及涵盖多个房间的地图环境。微软在今年稍早介绍了HoloLens的主要功能内容,但并未公开其HPU细节。

微软评估了包括来自Movidius等供货商的市售计算机视觉芯片,却发现并没有任何一款产品能以其要求的性能、延迟以及功耗目标处理所有算法;而后来的客制化HPU是采用28纳米台积电(TSMC)制程,内含24颗Tensilica数字信号处理器(DSP)核心以及8Mbyte的高速缓存, 在尺寸仅12x12mm的芯片封装中纳入了6500个逻辑闸和1Gbyte容量的LPDDR 3。 20160825 Holo-1 HPU的运算引擎整合了Tensilica DPS核心以及多个加速器(来源:Microsoft)

在近日于美国硅谷举行的Hot Chips大会上介绍HPU的微软杰出技术人员Nick Baker表示,选择Tensilica核心有部份原因是考虑其弹性,微软在核心中添加了300个客制化指令集:“如果你无法添加客制化指令集,最后可达到的数学运算密度不会是你需要的。”

HPU芯片混合采用独立的加速器(accelerator),以及与DSP核心紧密耦合的加速器,在一个纯软件版本达到整体200倍的加速;Baker表示:“我们尽可能按照需要采用可编程元素以及固定的功能硬件,以达到我们需要的性能目标;”芯片的软件程序代码包含多样化的算法:“具备不同的成熟度、数学运算以及内存存取模式。”

Baker透露,HoloLens的开发分成硬件、软件、用户体验与性能等不同团队同时进行:“我们在这个项目上将共同设计发挥到极致;”他并强调,微软内部就有能力可将软件仿真(simulation)测试结果,转化为也能在最终硬件成果上执行的硬件仿真(emulation)程序:“所有工作都在Windows 10开发期间同时进行。”

在3月份上市定价3000美元的HoloLens开发工具包就内含了HPU;不过对于HPU是否将有更新计划,或是微软何时会推出消费者版本的HoloLens,Baker婉拒发表意见。展望未来,Baker认为设计工程师们会将头戴式设备进一步推向8K分辨率,以及支持更宽广的视野。

“注视点渲染(Foveated rendering,也就是将用户目标聚焦范围以外的任何景物维持模糊化的一种方法)可望变得越来越普及…以及各种不同分辨率的显示器也可能出现;”Baker表示:“我们需要思考这样的趋势对GPU、互连技术以及面板产业等整个供应链会带来什么影响。” 20160719-ESMC-1