智能手机进入3D成像时代

 自从苹果(Apple)去年推出iPhone X以来，业界观察家对于其3D传感(3D sensing)技术的看法两极。3D传感技术在智能手机用户中很流行吗？它会是未来每一支智能手机的必备功能吗？nKLesmc

答案是还没有。当今智能手机业者的共识是——现在仍然是3D成像“时代”的早期阶段。

Apple TrueDepth相机系统（来源：Apple）nKLesmc

业界对于智能手机搭载3D传感技术的看法纷歧——从“为什么要这么麻烦？”到“这就是未来”等各种解读都有。反对3D传感的论点就来自于那些深信“屏幕内(in-display)指纹传感器就够了”和“数位摄影胜过3D传感”的智能手机相机“铁粉”。nKLesmc

虽然有些人认为iPhone X竞争对手就是因为缺少了成熟的3D传感技术而导致市场兴趣缺缺，但其他人并不同意这样的看法。Yole Developpement成像技术与市场首席分析师Pierre Cambou解释，这是因为“Apple在这方面的的发展更超前”。nKLesmc

此外，由于垂直共振腔面射型雷射(VCSEL)等关键3D传感组件供应受限，导致搭载结构光3D传感技术的智能手机短缺——超过8个月以上。几位业界人士指出，这些关键3D传感组件早就已经被Apple等公司锁定了。nKLesmc

中国业者崛起

同时，中国当然也看准了3D传感市场。nKLesmc

过去几个月来，当小米(Xioami)、Oppo和Vivo等中国智能手机OEM陆续发布其3D传感计划时，3D传感应用取得了积极进展。今年5月，小米宣布推出Mi 8 Explore Edition新机，被誉为”全球首款支持3D人脸识别的Android智能手机”。nKLesmc

而在6月，Oppo推出配备6.42英吋AMOLED显示器的Find X智能手机，支持3D传感功能，价格高达750美元，同时也被视为Mi 8的直接竞争对手。nKLesmc

同样在6月，Vivo表示其Face ID认证系统将采用新的3D传感技术。相较于使用结构光技术实现3D传感的Apple iPhone X，Vivo将会部署的是3D飞行时间(ToF)传感技术。

小米Mi 8 Explorer智能手机搭载Face ID（来源：小米）nKLesmc

业界一直密切关注这些中国OEM的3D传感技术合作伙伴。小米与以色列的迅联光电(Mantis Vision)合作，打造基于结构光的3D技术。OPPO则与中国深圳奥比中光科技(Orbbec 3D Technology International Inc.)合作，同样使用结构光。据报导，Vivo使用的ToF技术来自与德国锡根(Siegen)的PMD Technologies AG合作。然而，Cambou补充说，Oppo还可能会改与Sony合作。nKLesmc

加码投入3D技术进展

Yole Developpment最近发表了一份名为“3D成像与传感技术，2018年版”(3D Imaging & Sensing, 2018 edition)的报告，详细介绍各种系统所使用的技术、3D传感生态系统中的关键参与者，以及3D技术的市场规模和预测。nKLesmc

Cambou是这份报告的共同作者之一，针对3D传感进行了深入分析。他告诉《EE Times》的记者，“Yole深信3D传感技术将快速发展。”nKLesmc

他指出，3D传感模块十分复杂，加上Apple为其TruDepth相机选择的结构光技术成本高，这一部份解释了为什么Android手机必须要花将近八个月甚至更长的时间才能赶上Apple。nKLesmc

虽然Apple的TrueDepth在2017年之前就确立了3D前置相机的趋势，但Yole坦言，（3D传感应用）的浪潮在量方面转趋保守。nKLesmc

每一支新iPhone都有3D——包括正面和背面？

据坊间媒体猜测，今年秋季计划发布的Apple新款iPhone都将配备3D前置摄影机。nKLesmc

在iPhone X中，Apple仅将3D传感技术用于前置摄影机。现在更大的问题是3D是否也能翻转以及支持后向摄影机。nKLesmc

尽管Cambou确信前置3D的发展，但对于后置摄影机采用3D仍抱持怀疑态度。他指出，扩增实境(VR)和虚拟现实(AR)一直欠缺市场动能，AR的销售推广和游戏都尚未在市场起飞。因此，他质疑后置摄影机要搭载3D可能仍是“未来的一个利基市场“。nKLesmc

但Apple的3D传感供应商们似乎不这么认为。Cambou承认，他们看好3D传感作为“通用接口“的前景。从意法半导体(STMicroelectronics；ST)最近召开的季度财报电话会议看来，据Cambou的观察，”他们似乎过度看好3D传感将进入智能手机前、后摄像头市场“。nKLesmc

那么有多少智能手机相机将会配备3D传感技术？渗透率如何？Yole预测，2017年约有1.4%的渗透率，并将在2023年成长至55%。至于营收呢？nKLesmc

Yole预测这一市场正强劲成长。2017年3D传感市场规模估计约有20亿美元，包括用于消费、汽车、医疗、商业、科学、国防和航天等领域，并将在2023年达到180亿美元。据Cambou指出，这一营收数字的贡献来自于较“先前预测更高的平均销售价格(ASP)，以及消费装置的3D采用率成长“。nKLesmc

事实上，在部署3D的所有细分市场中，Yole预测3D传感技术市场将以82%的复合年成长率(CAGR)成长，自2017年的3.75亿美元成长至2023年约为138亿美元。相形之下，他预测汽车市场的CAGR为35%，自2017年的3.91亿美元成长至2023年约为24亿美元。nKLesmc

3D的发展脉络

很显然地，3D传感让Apple得以用Face ID取代指纹传感器。正如Yole所说的，iPhone X的3D传感应用实现了“轻松解锁“、”透过人脸识别实现安全性“、”游戏“(如Avatar)以及”渐变“(morphing)等功能，包括在Facebook、Snapchat和Instagram等社群媒体的实时滤镜(AR、脸部渐变与合成等)等。nKLesmc

但如果你只是在智能手机的发展背景下思考3D，很可能会错过3D为市场带来的更大机会。nKLesmc

Cambou：“想想亚马逊(Amazon)的Echo如何透过连接语音与人工智能(AI)，并将语音提升为主要用户接口(UI)，从而改变了人机接口(HMI)“。同样地，3D传感技术使得生物特征识别”万无一失“，如人脸识别等。因此，他强调，3D也开启了通往AI的大门。nKLesmc

事实上，智能手机让3D传感更加普及。但3D传感并不仅仅是智能手机的专属功能。Cambou说，它还具有深远的社会和政治影响力。nKLesmc

他在最近发表的“人脸识别技术：亟需公共监管与企业责任“(Facial recognition technology: The need for public regulation and corporate responsibility)部落格文章中提到：”鉴于人脸识别技术的广泛社会影响力以及被滥用的可能性，政府实施周全的监管似乎特别重要，否则可能导致公共机构以带有缺陷或偏见的技术方法来决定要追踪或调查谁，甚至逮捕罪犯等。“nKLesmc

因此，3D传感的影响力更甚于在这里讨论谁家的智能手机搭载3D或使用哪一家的3D技术等。nKLesmc

3D技术生态系统

然而，从工程的角度来看，最耐人寻味之处在于揭密移动设备中搭载的各种深度传感技术途径。在即将来临的3D传感时代，全球生态系统中的每一家参与业者都在争抢设计订单。nKLesmc

简而言之，结构光和ToF技术是目前可用于深度传感的两种不同方法。结构光透过将已知图案投影到对象上再进行3D扫描。当光线照射到物体上，图案会变形。这时再透过结构光分析已知图案的变形情况，以推断深度。nKLesmc

ToF则透过调变光源照射场景，并观察反射光源。测量照明和反射之间的相移后，再将其转换为距离。nKLesmc

虽然Apple为其前置深度相机选择了结构光途径，作为3D成像时代的起点，但Yole深信3D前端模块“未来可能会朝向ToF技术发展”。Cambou认为，ToF途径“在阳光直射下更可靠，而且运算需求更低“。

移动设备中的深度传感技术（来源：Yole Developpement）nKLesmc

Yole描述了三种不同的3D成像和传感技术——包括立体视觉、结构光到ToF。其中，ToF在技术上最不成熟。但可提供ToF解决方案的主要业者包括PMD、Sony、ST和英飞凌科技(Infineon Technologies)。结构光技术则有Mantis、Vision、ams和ST、英特尔(Intel)、奇景光电(Himax)以及韩国的Namuga。ST同时投入两大技术阵营。nKLesmc

Yole预期，短期内，Apple并不至于从结构光转向ToF。Cambou认为，Apple至少要再过二到四年才可能推出新的硬件。同时，他补充说，ST是iPhone X基于结构光的3D技术供货商，“但它同时也推出了基于ToF的3D技术。”nKLesmc

数码摄影与3D传感

Apple如今面临的一个窘境是对于3D传感博下重注，最后是否可能会因为牺牲传统数码摄影质量反而伤害了Apple自己？nKLesmc

Cambou以华为(Huawei)为例指出，该公司现正斥重资于数码摄影。以主动矩阵(用于传统摄影)的尺寸来比较，他计算出Apple仅用了52 mm2，而三星(Samsung)则有91 mm2，华为的是112 mm2。nKLesmc

谁在打造3D深度传感技术？

在Yole的协助下，《EE Times》列出了3D传感生态系统的关键业者，尤其是在3D软件/计算和3D系统设计领域。nKLesmc

3D软件与计算

Faceshift (Apple旗下子公司)nKLesmc

Apple在2015年底悄悄地收购了Faceshift——这是一家从瑞士洛桑联邦理工学院(EPFL)独立出来的新创公司。这家瑞士新创公司开发了一种能实时捕捉角色的人脸识别而打造动画化身的技术。

Apple iPhone X提供Animoji动画表情（来源：Apple）nKLesmc

听起来很耳熟吧？没错！就是有了Faceshift的脸部追踪技术，才成就了iPhone X Animoji动画表情的基础。nKLesmc

Movidius (英特尔旗下子公司)nKLesmc

英特尔子公司Movidius在今年初推出Myriad X视觉处理单元(VPU)，被称为“业界首款带有专用神经运算引擎的SoC，可用于边缘为深度学习推理进行硬件加速。”nKLesmc

Movidius在被收购之前，即展开3D传感的技术开发。其芯片最初用于作为3D渲染的引擎。Movidius曾与Google合作开发Tango (Google先进技术与项目。nKLesmc

Project Tango（Google）nKLesmc

Google Project Tango的目标是使用计算机视觉，让移动设备能够在没有GPS或其他外部信号的情况下，检测其相对于周围环境的3D位置。Movidius为Project Tango提供了一种用于计算机视觉定位与动作追踪的芯片。nKLesmc

Movidius的超低功耗视觉芯片最先出现在这一市场上，并成为3D传感在移动设备上的先驱。大多数的视觉处理平台出现在2010年初，例如微软(Microsoft)一开始的Kinect中搭载的PrimeSense芯片(比Movidius的视觉处理器功耗更高)。值得注意的是，PrimeSense于2013年底被Apple以3.6亿美元收购。

Project Tango (来源：Google)nKLesmc

Softkinetic (现为Sony Depthsensing Solution)nKLesmc

2015年10月，Sony收购位于比利时的3D传感计算机视觉技术制造商SoftKinetics。SoftKinetic的技术包括微软的Kinect深度相机、CMOS深度芯片和手势追踪中介固件。nKLesmc

从各种迹象来看，这家日本巨擘目前正积极地成为3D CMOS ToF传感器和相机的关键厂商，Sony并于去年底将SoftKinetics改名为Sony Depthsensing Solution。

Sony最新的娱乐机器人'aibo'就采用了DepthSense技术和手势识别软件（来源：Sony）nKLesmc

据Sony表示，SoftKinetic开发CMOS 3D传感器、3D相机参考设计、SDK、算法以及用于手势识别、对象扫描、汽车控制和AR/VR等应用，始终如一地提供3D传感和处理方面的先进解决方案。nKLesmc

由布鲁塞尔团队开发的DepthSense相机模块和软件已经被设计用于Sony最新的娱乐机器人——aibo。nKLesmc

InuitivenKLesmc

以色列无晶圆厂芯片公司Intuitive Ltd.专注于3D成像的发展。去年秋天，该公司推出了一款多核心视觉处理器NU4000，支持3D成像、深度学习和计算机视觉处理，适用于AR/VR、无人机、机器人和许多其他应用。nKLesmc

视频链接：https://youtu.be/lsz4kJo-yz8nKLesmc

该公司声称，其新款处理器将实现“高质量的深度传感、芯片上SLAM、计算机视觉和深度学习(CNN)等——这些功能都整合于精巧的外形和最低功耗中。”nKLesmc

3D系统设计

LIPSnKLesmc

台湾立普思(LIPS)成立于2013年，是3D深度相机和3D完整解决方案的供货商，拥有专利的相机设计和软件算法。

LIPSedge M3是一款专为嵌入式系统设计的多功能ToF深度相机，可产生实时3D数据（来源：LIPS）nKLesmc

LIPS设计、建构和客制3D深度相机，同时还创建了识别中介固件和解决方案，以满足OEM的各种应用，包括机器人真空吸尘器、AR/VR、家用机器人、ADAS和工厂自动化等。nKLesmc

Mantis VisionnKLesmc

以色列Mantis Vision将自家定位为3D视觉的重要推手，并为其技术绘制了3D视觉的美好未来——让消费者可在智能手机上拍摄3D照片或使用平板电脑扫描对象，然后将其发送到3D打印机。该公司拥有所谓的“专用编码结构光技术”。

Mantis Vision的模式采用独特的程序代码，能在更小面积上识别较标准方法更多的点。该公司声称，这种独特的技术提供了更高的分辨率和准确度，以降低最小的对象尺寸（来源：Mantis Vision）nKLesmc

Mantis Vision不久前还宣布与小米合作，该公司首席执行官Gur Arie Bittan指出，该公司的团队克服了许多挑战，透过使用其内部IP，才使迅联开发出市场上最具成本效益的3D结构光摄像头模块。nKLesmc

他指出，该公司还能够将光学堆栈和尺寸从厘米(cm)缩小到毫米(mm)，并采用当时仍处于新兴技术的VCSEL雷射，满足OEM厂商的功耗要求，并符合眼睛安全规定。他表示，Mantis Vision还能打造了一个与RGB现有相机同步的摄影机支架模块、定义并准备量产校准，以及开发一个可在Arm Core上执行的有效译码模式算法和管线。nKLesmc

OrbbecnKLesmc

深圳奥比中光科技是黄源浩在2013年成立的公司。他毕业于中国北京大学，并在美国麻省理工学院(MIT)的SMART Center取得博士学位。他以雷射散斑干涉、数字散斑相关、射弹结构光和计算机视觉等方面的研究而闻名。自2001年以来，他一直在研究和开发3D扫描技术。nKLesmc

据奥比中光表示，“过去三年来一直在努力实现3D——完善该公司的Astra 3D相机系列，并设计内建完备计算机功能的Orbbec Persee 3D相机。

Astra Mini有两个版本。短程版Astra Mini S相机支持0.35～1公尺的追踪范围，Astra Mini远程相机的范围约为0.6～5公尺（来源：Orbbec）nKLesmc

Orbbec声称其Astra 3D相机“比当今市场上的其他相机更好”，提供“最高深度分辨率、更卓越的范围、卓越的准确性和最低延迟”。nKLesmc

Orbbec据称是Oppo的合作伙伴——使用其基于结构光的3D传感技术。nKLesmc

PMDnKLesmc

德国PMD Technologies AG成立于2002年，致力于开发CMOS半导体3D ToF组件，同时为数码3D成像领域提供工程支持。nKLesmc

值得一提的是，该公司引以为荣的先进ToF技术——整合于芯片上，PMD称其“十分精巧、可扩展且功能强大”。

德国徕卡(Leica)为PMD设计了专用的光学镜头，用于其移动设备的3D深度传感成像器和相机模块。（来源：PMD）nKLesmc

PMD并为OEM的相机开发提供参考设计，包括标准和客制版。PMD声称拥有多年的ToF相机设计经验，可协助系统设计人员加速其硬件开发过程，而该公司的可扩展技术“将符合各种不同的特定相机模块要求”。nKLesmc

英飞凌一直是PMD的长期合作伙伴。双方共同开发了用于3D人脸识别的ToF影像传感器。英飞凌的Real3 (或IRS238xC)尺寸还不到12mm x 8mm，包括接收光学系统和VCSEL照明，能将相机模块整合于智能手机中。nKLesmc

PMD据传与中国智能手机供应商Vivo合作伙伴，为其提供配备基于ToF的3D技术。nKLesmc

編譯：Susan HongnKLesmc

(參考原文：Jury Still Out on 3D Sensing for Smartphones，by Junko Yoshida)nKLesmc