向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

iPad Pro那颗3万像素LiDAR有何玄机?

iPad Pro那颗3万像素LiDAR有何玄机?

索尼以往就有为苹果产品单独定制CIS图像传感器的传统,似乎为苹果专门定制ToF传感器也不奇怪。但索尼的DepthSense是一种十分典型的iToF方法应用(更具体地说,是一种cwToF,即连续波ToF方法),而不是dToF...

3月18日,苹果公司在其官网公布了2020款11英寸与12.9英寸iPad Pro。最新款iPad Pro均搭载A12Z Bionic芯片与6GB运行内存,拥有128GB/256GB/512GB/1TB四种容量和银色、深空灰色两种颜色。3Otesmc

这一代iPad Pro 2020总体来说算是硬件规格上的小改,就连A12Z都可以认为是不同体质版的A12X。不过它在后摄上加入了一枚传说中的LiDAR激光雷达,苹果明确宣称这是一颗采用dToF技术的深度感知模块。需要明确的是,LiDAR就是一种采用ToF(Time of Flight)技术的3D感知应用,一般来说车载激光雷达多见dToF方法——后面我们将详述这种技术的本质。3Otesmc

TechInsights对外公开的拆解数据显示,这枚LiDAR所用的传感器像素阵列的分辨率是3万像素,尺寸4.18 x 4.30mm,单像素尺寸10μm,供应商是索尼[1]。这其中有几点是比较令人在意的,包括dToF技术、索尼的ToF图像传感器。3Otesmc

3Otesmc

iPad Pro 2020的LiDAR内部,来源:TechInsights3Otesmc

虽然早在iPad Pro推出之际,就已经有许多媒体都提到,iPad Pro 2020采用的LiDAR接收端传感器,很可能是索尼或意法半导体的方案,TechInsights的拆解则坐实了索尼作为供应商的说法。但实际上,就已公开的资料来看,索尼并没有公开在售的dToF方法相关技术,当然并不排除其中存在的各种合作,或者索尼研究的新技术率先给苹果使用:这在以往也并非新鲜事。3Otesmc

事实上索尼虽然是传统摄像头CIS(CMOS图像传感器)业务的霸主,但这家公司过去并没有3D感知传感器方面的市场参与度。不过索尼2015年宣布收购一家比利时公司SoftKinetic:2017年这家公司改名为Sony DepthSensing Solutions(索尼深度感知解决方案)[2]。2019年,索尼的ToF传感器正式起步,索尼在3D感知传感器市场上,一跃成为市场份额达到45%的市场参与者。3Otesmc

索尼以往就有为苹果产品单独定制CIS图像传感器的传统,似乎为苹果专门定制ToF传感器也不奇怪。但索尼的DepthSense是一种十分典型的iToF方法应用(更具体地说,是一种cwToF,即连续波ToF方法),而不是dToF[4]。索尼当前比较知名的IMX556深度感知ToF传感器,单像素尺寸的确是10μm,但分辨率却有30万像素。3Otesmc

另一方面,意法半导体的SPAD传感器(通常应用于dToF技术的一种传感器)倒是很知名,但意法的这类传感器更着重于单点的距离检测,而并不在3D成像与感知应用上——虽然意法半导体的确有能力制造这种传感器,而且3D感知应用似乎也已经在计划表中,这一点我们也将在后文详述。这就让iPad Pro的这枚LiDAR多了一丝神秘的味道。3Otesmc

3Otesmc

iPad Pro的LiDAR宣传图,很显然这张图表达的一个是发射端,一个是接收端,来源:苹果3Otesmc

苹果iPad Pro的dToF有先例?

针对上述问题,我们再展开来说一说,包括其中的各种概念,比如dToF、iToF、cwToF是什么,SPAD传感器又是什么,便于感兴趣的各位做更深入的分析和探讨。这篇文章或许无法解答一些问题,但期望通过对这些问题的探讨和呈现,引起更多的思考,及便于我们进行后续的研究和总结。3Otesmc

ToF技术近两年知名度在消费市场上骤升,很大程度上要归功于华为、vivo、OPPO、LG之类的品牌,都纷纷在其手机产品中开始采用ToF 3D感知技术。比如说华为P30 Pro,前置的ToF模块开始支持用户做隔空手势操作:在烹饪、吃饭这类不方便用手指直接接触屏幕的场景下,通过隔空手势就能完成翻页、滚屏之类的交互操作。3Otesmc

但事实上,很多消费用户不知道的是,ToF技术在手机产品中的应用要早得多,且普及程度还非常之广。自2014年开始,大部分旗舰手机的距离传感器(或接近传感器)都已经开始应用十分完整的ToF技术和硬件模块;iPhone 7也是苹果产品家族上,首次在距离传感器上采用了ToF技术的一款手机。3Otesmc

距离传感器也就是应用在手机前面板上,当用户接打电话、耳朵靠近屏幕时,屏幕就通过这枚距离传感器来自动息屏;当然距离传感器还能参与更多体验改善的功能特性。早年手机上的距离感应并不可靠,原因是早年的方案仅通过一枚简单的光电二极管,以光强度级感应来模拟这种距离感应。3Otesmc

3Otesmc

在魅族Pro 6、LG G5、华为P9等手机上普遍存在的意法半导体VL53L0B,来源:TechInsights3Otesmc

2014年,TechInsights的拆解显示,黑莓Passport、LG G3等手机的前置光学模组开始采用一种三合一的方案,即意法半导体的VL6180。这是一颗融合了距离传感器、环境光传感器、VCSEL(垂直腔面发射激光器)的光学模组。其中的距离传感器所用的就是SPAD(单光子雪崩光电二极管)阵列[3]。次年1月,意法半导体又发布了二代的VL53L0,开始广泛应用于当年的智能手机。3Otesmc

从结构来看,这里的距离感应方案,就是ToF技术的完整形态:即由VCSEL激光器首先主动发射红外光,在光子碰到障碍物对象(如凑近手机的耳朵或人脸)时返回,并由SPAD传感器接收到。在这个过程里,会有某种“计时电路”用于计量光从发出到返回全过程消耗的时间,那么在光速已知的前提下,就能精确地测得该对象到手机的距离——这就是ToF技术的一般原理。3Otesmc

3Otesmc

更准确地说,此处是由VCSEL发射端发出一个激光脉冲,接收端的SPAD传感器可以接收到反射的脉冲信号,通过计量时间即可测得距离信息。这就是dToF(直接ToF)方法的基本原理。意法半导体是dToF方法,在手机应用上耕耘比较久的一家厂商。实际上从2015年开始,手机几乎已经彻底铺开了这种利用dToF方法做前置单点光学距离检测技术。与此同时,后置摄像头的激光辅助对焦,利用的也是这种技术。3Otesmc

iPad Pro 2020在宣传上也提及后置LiDAR模块采用dToF方法。不过很显然,这两年ToF的应用已经不限于单纯的单点测距(以及环境光检测、接近检测、多区域检测等),而扩展到了由多点构成的3D成像与感知:即通过很多光点的发射与返回,感知整个场景的3D深度图,甚至实现3D视觉。3Otesmc

SPAD传感器与苹果多年前的专利

dToF是ToF实现方法中的其中一种,另一种就是iToF(间接iToF),有关iToF的部分我们后文再说。而dToF至少就原理来看还是比较直接、简单的,而且这种方法的收益也比较大。dToF基于脉冲调制光,工作周期可以比较短,即便采用更高的峰值输出功率,也可以兼顾人眼安全,探测距离也就能够比较远(这一点也相对适用于iToF中基于脉冲的pToF方法),同时还能兼顾相对比较好的测量精度[4]。加上dToF方法还具备可很大程度避免多径干扰(multipath effects)的问题,运动伪像对dToF产生的影响也比较小,看起来dToF理论上更理想。3Otesmc

不过实际上,dToF的实施难度要比iToF明显更大,虽然听起来其原理更简单。从ToF的实现原理来看,不难发现一个完整的ToF模组至少要包含发射端和接收端:发射端的主要部分就是光源(消费类ToF模组以VCSEL激光器为主),接收端的主体当然就是ToF图像传感器了。很容易想见,对于普通的p-i-n光电二极管来说,要直接、准确地测定光的“飞行时间”还是有相当难度的。它对于发射端的光源、接收端的光电探测器(即传感器),实现同步、时间检测相关电路都有着很高的要求。3Otesmc

dToF方法对于接收端的技术相对严苛,毕竟这种方法对时间抖动要求原本就很高:因为它接收的是一个脉冲信号,这就要求光电探测器的敏感度很高(以及快门时间窗口与脉冲信号的同步)。所以dToF方法所用的图像传感器常见APD(雪崩光电二极管),相比传统图像传感器的光电二极管,这种光电二极管有着明显更高的增益和量子效率,能够实现电子倍增(就像雪崩一样),或者说有着显著更高的敏感度。3Otesmc

3Otesmc

传统图像传感器光电探测器结构与APD图像传感器的比较,来源:Panasonic3Otesmc

除了APD之外,dToF中另外应用比较广泛的就是前文提到的SPAD(单光子雪崩二极管),它可以理解为比APD更敏感的一种结构,一个光生载流子就能触发大量雪崩电流——这两者都利用入射辐射触发p-n结的雪崩电流,不过SPAD设定了一个高于击穿电压的反向偏置电压,二极管可工作在所谓的Geiger-mode模式下。3Otesmc

另外SPAD通常采用像素内TDC(time-to-digital converter),能够直接产生数字触发信号。SPAD也具备更低的时间抖动,所以意法半导体这类厂商在消费产品中采用这种传感器技术。以松下为代表的APD传感器技术本身也在发展中。3Otesmc

另一方面,APD与SPAD像素和图像传感器比较难以小型化,这可能是与其设计电路相对复杂,包括淬火电路、像素内TDC在内的各种电路都需要占据较大的片上尺寸有关。意法半导体现有公开在售的SPAD图像传感器(FlightSense系列)就鲜有真正高像素的[5],且应用方向主要在测距,而非3D成像与感知——即便意法已经在朝着这个方向发展。意法半导体去年底才推出的VL53L5才开始逐步发力在多区域测距的“切割”,往3D感知方向发展。3Otesmc

既有的dToF高像素产品似乎也少有着力在手机这类紧凑型设备上的。实际上,我们从现有ToF图像传感器技术的制造工艺发展思路来看,意法半导体、松下、索尼这类厂商普遍在应用3D堆栈、背照式这样的技术(比如把原本位于光电二极管上方的布线层移至下方,或者将光电转换器、电子倍增器这些部分垂直堆叠起来),就跟当年传统摄像头的图像传感器一样想办法提高像素的开口率,缩小像素尺寸,尽可能做到更高的传感器2D分辨率。3Otesmc

松下今年2月份发布一种VAPD(垂直堆叠VAPD)传感器,像素数量达到了100万[6];瑞士洛桑联邦理工学院(EPFL)和佳能前几天才刚刚宣布达成全球最小的SPAD像素:2.2μm,加上3D堆叠,SPAD像素阵列可以达到数百万级别[7]。(与此可对比的是,三星当前已经商用的传统CIS传感器,单像素尺寸可达到0.7μm,而0.6μm也已经在研发中)3Otesmc

3Otesmc

3Otesmc

iPhone X的Face ID系统发射器发出的红外光点,与iPad Pro 2020的LiDAR发射端发出的红外光点数量比较,原理与技术上的差异,导致两者的光点密度差别很大,来源:iFixit[8]3Otesmc

不过这些技术至少现在并没有应用于移动设备的例子,如果说iPad Pro 2020的dToF方法应用的是SPAD传感器,则在这个设备尺寸以及5米测量距离内,而且还是消费型电子产品,SPAD传感器的3万像素或许着实称得上是高像素。3Otesmc

有关iPad Pro 2020是否采用SPAD传感器(TechInsights并未公开这部分分析信息),我们查到前两年苹果的一份专利储备,展示的就是一种3D感知系统,或者说就是ToF[9]。这个专利中提到了LiDAR相关技术——针对的就是消费领域的应用,包括VCSEL光源,而光电探测器选择的就是SPAD。“这种探测器能够以很高的时间抵达分辨率,在数十皮秒内捕获单独的光子”。3Otesmc

3Otesmc

苹果一项有关LiDAR的专利,来源:Patently Apple3Otesmc

加上苹果已经在宣传中明言iPad Pro 2020的3D感知所用就是dToF方法,那么我们有理由猜测这可能就是个SPAD传感器。即便似乎从现有技术来看,整个LiDAR模组看起来还是比较奢侈和黑科技。不过前文提到TechInsights认为,这枚传感器来自索尼。问题是从我们查到的资料来看,索尼似乎并没有造SPAD传感器的历史,SoftKinetic的长项也在iToF,而非dToF。3Otesmc

索尼传感器发展如何?

如前文所述,索尼应用于iToF的传感器去年就已经开始统领手机市场了。三星和华为去年的手机旗舰,后摄3D ToF方案上都应用了索尼的ToF传感器方案,比如三星Galaxy Note 10+[10],如下图所示。其中右边部分接收端的传感器是来自索尼的IMX516,单像素尺寸5μm,分辨率480x640(30万像素,24.8mm²)——华为Mate 30 Pro的前置ToF模组也应用了这个方案。3Otesmc

3Otesmc

三星Galaxy Note 10+的3D ToF解决方案来自索尼,整个模块包括了发射端与接收端;来源:System Plus Consulting3Otesmc

华为P30 Pro的后置ToF模块选择的则是180x240(4.7万像素,18.9mm²)的索尼IMX316传感器(以及Lumentum的VCSEL光源泛光照明器),单像素尺寸10μm。OPPO R17 Pro等国产手机也有应用这颗传感器的例子[11]。

原创
本文为国际电子商情原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 微信扫一扫,一键转发

  • 关注“国际电子商情” 微信公众号

您可能感兴趣的文章

  • 智能座舱时代,国产MCU如何走向“前装”市场?

    一般而言,一款车载MCU需要2至3年才能完成车规认证并打进整车厂供应链,可一旦进入整车供应链,就可能拥有长达5-10年的供货周期,这是很多已打入车企供应链的MCU厂商的福音。

  • 4月新品推荐:传感器、开关电源IC、IGBT、电容电阻

    本月,新冠病毒疫情仍在全球范围内肆虐,给电子行业带来不可避免的负面冲击。所幸的是,万众一心共抗战疫的信念传导到全球电子供应链上下游,尤其在医疗应用上,多家IC原厂推出新的传感器产品、被动器件等,以帮助应对新型冠状病毒(COVID-19)疫情。与此同时,各大原厂对在新产品的研发也没有因疫情而搁浅,以下我们将推荐6款器件新品。

  • 涉及飞机、半导体相关零件,美商务部拟扩大对华出口限制

    国际电子商情从外媒获悉,美国周一宣布将对中国出口实施新限制,拟通过修改部分对华出口商品规则,要求对飞机零件、半导体相关出口产品施加新限制,使中国难以获得半导体生产设备和其他技术...

  • MEMS加速度传感器在电机健康状态监测上的应用

    随着工业4.0深入的推进,电机已经成为了工业生产中最主要的驱动设备,广泛应用于各个生产领域。电机在长期运行中难免会产生一些故障,如何实时监测电机工作状态,及时诊断出电机的健康状况就变得非常重要。

  • 后智能音箱时代,什么才是制胜法宝?

    随着智能手机红利逐渐消退,业界把目光转移到新一代的智能硬件市场,其中最火爆的无疑是智能音箱……

  • 严防技术流向中国?中英夺权大战开始了...

    国际电子商情从外媒获悉,英国议员正敦促英国政府,应寻求一切手段,防止有“英国技术王冠上的一颗明珠”美名的Imagination技术被转移到中国,包括为该公司重新寻求西方买家...

相关推荐

可能感兴趣的话题