iPad Pro那颗3万像素LiDAR有何玄机？

3月18日，苹果公司在其官网公布了2020款11英寸与12.9英寸iPad Pro。最新款iPad Pro均搭载A12Z Bionic芯片与6GB运行内存，拥有128GB/256GB/512GB/1TB四种容量和银色、深空灰色两种颜色。L2Iesmc

这一代iPad Pro 2020总体来说算是硬件规格上的小改，就连A12Z都可以认为是不同体质版的A12X。不过它在后摄上加入了一枚传说中的LiDAR激光雷达，苹果明确宣称这是一颗采用dToF技术的深度感知模块。需要明确的是，LiDAR就是一种采用ToF（Time of Flight）技术的3D感知应用，一般来说车载激光雷达多见dToF方法——后面我们将详述这种技术的本质。L2Iesmc

TechInsights对外公开的拆解数据显示，这枚LiDAR所用的传感器像素阵列的分辨率是3万像素，尺寸4.18 x 4.30mm，单像素尺寸10μm，供应商是索尼[1]。这其中有几点是比较令人在意的，包括dToF技术、索尼的ToF图像传感器。L2Iesmc

L2Iesmc

iPad Pro 2020的LiDAR内部，来源：TechInsightsL2Iesmc

虽然早在iPad Pro推出之际，就已经有许多媒体都提到，iPad Pro 2020采用的LiDAR接收端传感器，很可能是索尼或意法半导体的方案，TechInsights的拆解则坐实了索尼作为供应商的说法。但实际上，就已公开的资料来看，索尼并没有公开在售的dToF方法相关技术，当然并不排除其中存在的各种合作，或者索尼研究的新技术率先给苹果使用：这在以往也并非新鲜事。L2Iesmc

事实上索尼虽然是传统摄像头CIS（CMOS图像传感器）业务的霸主，但这家公司过去并没有3D感知传感器方面的市场参与度。不过索尼2015年宣布收购一家比利时公司SoftKinetic：2017年这家公司改名为Sony DepthSensing Solutions（索尼深度感知解决方案）[2]。2019年，索尼的ToF传感器正式起步，索尼在3D感知传感器市场上，一跃成为市场份额达到45%的市场参与者。L2Iesmc

索尼以往就有为苹果产品单独定制CIS图像传感器的传统，似乎为苹果专门定制ToF传感器也不奇怪。但索尼的DepthSense是一种十分典型的iToF方法应用（更具体地说，是一种cwToF，即连续波ToF方法），而不是dToF[4]。索尼当前比较知名的IMX556深度感知ToF传感器，单像素尺寸的确是10μm，但分辨率却有30万像素。L2Iesmc

另一方面，意法半导体的SPAD传感器（通常应用于dToF技术的一种传感器）倒是很知名，但意法的这类传感器更着重于单点的距离检测，而并不在3D成像与感知应用上——虽然意法半导体的确有能力制造这种传感器，而且3D感知应用似乎也已经在计划表中，这一点我们也将在后文详述。这就让iPad Pro的这枚LiDAR多了一丝神秘的味道。L2Iesmc

L2Iesmc

iPad Pro的LiDAR宣传图，很显然这张图表达的一个是发射端，一个是接收端，来源：苹果L2Iesmc

苹果iPad Pro的dToF有先例？

针对上述问题，我们再展开来说一说，包括其中的各种概念，比如dToF、iToF、cwToF是什么，SPAD传感器又是什么，便于感兴趣的各位做更深入的分析和探讨。这篇文章或许无法解答一些问题，但期望通过对这些问题的探讨和呈现，引起更多的思考，及便于我们进行后续的研究和总结。L2Iesmc

ToF技术近两年知名度在消费市场上骤升，很大程度上要归功于华为、vivo、OPPO、LG之类的品牌，都纷纷在其手机产品中开始采用ToF 3D感知技术。比如说华为P30 Pro，前置的ToF模块开始支持用户做隔空手势操作：在烹饪、吃饭这类不方便用手指直接接触屏幕的场景下，通过隔空手势就能完成翻页、滚屏之类的交互操作。L2Iesmc

但事实上，很多消费用户不知道的是，ToF技术在手机产品中的应用要早得多，且普及程度还非常之广。自2014年开始，大部分旗舰手机的距离传感器（或接近传感器）都已经开始应用十分完整的ToF技术和硬件模块；iPhone 7也是苹果产品家族上，首次在距离传感器上采用了ToF技术的一款手机。L2Iesmc

距离传感器也就是应用在手机前面板上，当用户接打电话、耳朵靠近屏幕时，屏幕就通过这枚距离传感器来自动息屏；当然距离传感器还能参与更多体验改善的功能特性。早年手机上的距离感应并不可靠，原因是早年的方案仅通过一枚简单的光电二极管，以光强度级感应来模拟这种距离感应。L2Iesmc

L2Iesmc

在魅族Pro 6、LG G5、华为P9等手机上普遍存在的意法半导体VL53L0B，来源：TechInsightsL2Iesmc

2014年，TechInsights的拆解显示，黑莓Passport、LG G3等手机的前置光学模组开始采用一种三合一的方案，即意法半导体的VL6180。这是一颗融合了距离传感器、环境光传感器、VCSEL（垂直腔面发射激光器）的光学模组。其中的距离传感器所用的就是SPAD（单光子雪崩光电二极管）阵列[3]。次年1月，意法半导体又发布了二代的VL53L0，开始广泛应用于当年的智能手机。L2Iesmc

从结构来看，这里的距离感应方案，就是ToF技术的完整形态：即由VCSEL激光器首先主动发射红外光，在光子碰到障碍物对象（如凑近手机的耳朵或人脸）时返回，并由SPAD传感器接收到。在这个过程里，会有某种“计时电路”用于计量光从发出到返回全过程消耗的时间，那么在光速已知的前提下，就能精确地测得该对象到手机的距离——这就是ToF技术的一般原理。L2Iesmc

L2Iesmc

更准确地说，此处是由VCSEL发射端发出一个激光脉冲，接收端的SPAD传感器可以接收到反射的脉冲信号，通过计量时间即可测得距离信息。这就是dToF（直接ToF）方法的基本原理。意法半导体是dToF方法，在手机应用上耕耘比较久的一家厂商。实际上从2015年开始，手机几乎已经彻底铺开了这种利用dToF方法做前置单点光学距离检测技术。与此同时，后置摄像头的激光辅助对焦，利用的也是这种技术。L2Iesmc

iPad Pro 2020在宣传上也提及后置LiDAR模块采用dToF方法。不过很显然，这两年ToF的应用已经不限于单纯的单点测距（以及环境光检测、接近检测、多区域检测等），而扩展到了由多点构成的3D成像与感知：即通过很多光点的发射与返回，感知整个场景的3D深度图，甚至实现3D视觉。L2Iesmc

SPAD传感器与苹果多年前的专利

dToF是ToF实现方法中的其中一种，另一种就是iToF（间接iToF），有关iToF的部分我们后文再说。而dToF至少就原理来看还是比较直接、简单的，而且这种方法的收益也比较大。dToF基于脉冲调制光，工作周期可以比较短，即便采用更高的峰值输出功率，也可以兼顾人眼安全，探测距离也就能够比较远（这一点也相对适用于iToF中基于脉冲的pToF方法），同时还能兼顾相对比较好的测量精度[4]。加上dToF方法还具备可很大程度避免多径干扰（multipath effects）的问题，运动伪像对dToF产生的影响也比较小，看起来dToF理论上更理想。L2Iesmc

不过实际上，dToF的实施难度要比iToF明显更大，虽然听起来其原理更简单。从ToF的实现原理来看，不难发现一个完整的ToF模组至少要包含发射端和接收端：发射端的主要部分就是光源（消费类ToF模组以VCSEL激光器为主），接收端的主体当然就是ToF图像传感器了。很容易想见，对于普通的p-i-n光电二极管来说，要直接、准确地测定光的“飞行时间”还是有相当难度的。它对于发射端的光源、接收端的光电探测器（即传感器），实现同步、时间检测相关电路都有着很高的要求。L2Iesmc

dToF方法对于接收端的技术相对严苛，毕竟这种方法对时间抖动要求原本就很高：因为它接收的是一个脉冲信号，这就要求光电探测器的敏感度很高（以及快门时间窗口与脉冲信号的同步）。所以dToF方法所用的图像传感器常见APD（雪崩光电二极管），相比传统图像传感器的光电二极管，这种光电二极管有着明显更高的增益和量子效率，能够实现电子倍增（就像雪崩一样），或者说有着显著更高的敏感度。L2Iesmc

L2Iesmc

传统图像传感器光电探测器结构与APD图像传感器的比较，来源：PanasonicL2Iesmc

除了APD之外，dToF中另外应用比较广泛的就是前文提到的SPAD（单光子雪崩二极管），它可以理解为比APD更敏感的一种结构，一个光生载流子就能触发大量雪崩电流——这两者都利用入射辐射触发p-n结的雪崩电流，不过SPAD设定了一个高于击穿电压的反向偏置电压，二极管可工作在所谓的Geiger-mode模式下。L2Iesmc

另外SPAD通常采用像素内TDC（time-to-digital converter），能够直接产生数字触发信号。SPAD也具备更低的时间抖动，所以意法半导体这类厂商在消费产品中采用这种传感器技术。以松下为代表的APD传感器技术本身也在发展中。L2Iesmc

另一方面，APD与SPAD像素和图像传感器比较难以小型化，这可能是与其设计电路相对复杂，包括淬火电路、像素内TDC在内的各种电路都需要占据较大的片上尺寸有关。意法半导体现有公开在售的SPAD图像传感器（FlightSense系列）就鲜有真正高像素的[5]，且应用方向主要在测距，而非3D成像与感知——即便意法已经在朝着这个方向发展。意法半导体去年底才推出的VL53L5才开始逐步发力在多区域测距的“切割”，往3D感知方向发展。L2Iesmc

既有的dToF高像素产品似乎也少有着力在手机这类紧凑型设备上的。实际上，我们从现有ToF图像传感器技术的制造工艺发展思路来看，意法半导体、松下、索尼这类厂商普遍在应用3D堆栈、背照式这样的技术（比如把原本位于光电二极管上方的布线层移至下方，或者将光电转换器、电子倍增器这些部分垂直堆叠起来），就跟当年传统摄像头的图像传感器一样想办法提高像素的开口率，缩小像素尺寸，尽可能做到更高的传感器2D分辨率。L2Iesmc

松下今年2月份发布一种VAPD（垂直堆叠VAPD）传感器，像素数量达到了100万[6]；瑞士洛桑联邦理工学院（EPFL）和佳能前几天才刚刚宣布达成全球最小的SPAD像素：2.2μm，加上3D堆叠，SPAD像素阵列可以达到数百万级别[7]。（与此可对比的是，三星当前已经商用的传统CIS传感器，单像素尺寸可达到0.7μm，而0.6μm也已经在研发中）L2Iesmc

L2Iesmc

L2Iesmc

iPhone X的Face ID系统发射器发出的红外光点，与iPad Pro 2020的LiDAR发射端发出的红外光点数量比较，原理与技术上的差异，导致两者的光点密度差别很大，来源：iFixit[8]L2Iesmc

不过这些技术至少现在并没有应用于移动设备的例子，如果说iPad Pro 2020的dToF方法应用的是SPAD传感器，则在这个设备尺寸以及5米测量距离内，而且还是消费型电子产品，SPAD传感器的3万像素或许着实称得上是高像素。L2Iesmc

有关iPad Pro 2020是否采用SPAD传感器（TechInsights并未公开这部分分析信息），我们查到前两年苹果的一份专利储备，展示的就是一种3D感知系统，或者说就是ToF[9]。这个专利中提到了LiDAR相关技术——针对的就是消费领域的应用，包括VCSEL光源，而光电探测器选择的就是SPAD。“这种探测器能够以很高的时间抵达分辨率，在数十皮秒内捕获单独的光子”。L2Iesmc

L2Iesmc

苹果一项有关LiDAR的专利，来源：Patently AppleL2Iesmc

加上苹果已经在宣传中明言iPad Pro 2020的3D感知所用就是dToF方法，那么我们有理由猜测这可能就是个SPAD传感器。即便似乎从现有技术来看，整个LiDAR模组看起来还是比较奢侈和黑科技。不过前文提到TechInsights认为，这枚传感器来自索尼。问题是从我们查到的资料来看，索尼似乎并没有造SPAD传感器的历史，SoftKinetic的长项也在iToF，而非dToF。L2Iesmc

索尼传感器发展如何？

如前文所述，索尼应用于iToF的传感器去年就已经开始统领手机市场了。三星和华为去年的手机旗舰，后摄3D ToF方案上都应用了索尼的ToF传感器方案，比如三星Galaxy Note 10+[10]，如下图所示。其中右边部分接收端的传感器是来自索尼的IMX516，单像素尺寸5μm，分辨率480x640（30万像素，24.8mm²）——华为Mate 30 Pro的前置ToF模组也应用了这个方案。L2Iesmc

L2Iesmc

三星Galaxy Note 10+的3D ToF解决方案来自索尼，整个模块包括了发射端与接收端；来源：System Plus ConsultingL2Iesmc

华为P30 Pro的后置ToF模块选择的则是180x240（4.7万像素，18.9mm²）的索尼IMX316传感器（以及Lumentum的VCSEL光源泛光照明器），单像素尺寸10μm。OPPO R17 Pro等国产手机也有应用这颗传感器的例子[11]。