索尼以往就有为苹果产品单独定制CIS图像传感器的传统,似乎为苹果专门定制ToF传感器也不奇怪。但索尼的DepthSense是一种十分典型的iToF方法应用(更具体地说,是一种cwToF,即连续波ToF方法),而不是dToF...
3月18日,苹果公司在其官网公布了2020款11英寸与12.9英寸iPad Pro。最新款iPad Pro均搭载A12Z Bionic芯片与6GB运行内存,拥有128GB/256GB/512GB/1TB四种容量和银色、深空灰色两种颜色。L2Iesmc
这一代iPad Pro 2020总体来说算是硬件规格上的小改,就连A12Z都可以认为是不同体质版的A12X。不过它在后摄上加入了一枚传说中的LiDAR激光雷达,苹果明确宣称这是一颗采用dToF技术的深度感知模块。需要明确的是,LiDAR就是一种采用ToF(Time of Flight)技术的3D感知应用,一般来说车载激光雷达多见dToF方法——后面我们将详述这种技术的本质。L2Iesmc
TechInsights对外公开的拆解数据显示,这枚LiDAR所用的传感器像素阵列的分辨率是3万像素,尺寸4.18 x 4.30mm,单像素尺寸10μm,供应商是索尼[1]。这其中有几点是比较令人在意的,包括dToF技术、索尼的ToF图像传感器。L2Iesmc
L2Iesmc
iPad Pro 2020的LiDAR内部,来源:TechInsightsL2Iesmc
虽然早在iPad Pro推出之际,就已经有许多媒体都提到,iPad Pro 2020采用的LiDAR接收端传感器,很可能是索尼或意法半导体的方案,TechInsights的拆解则坐实了索尼作为供应商的说法。但实际上,就已公开的资料来看,索尼并没有公开在售的dToF方法相关技术,当然并不排除其中存在的各种合作,或者索尼研究的新技术率先给苹果使用:这在以往也并非新鲜事。L2Iesmc
事实上索尼虽然是传统摄像头CIS(CMOS图像传感器)业务的霸主,但这家公司过去并没有3D感知传感器方面的市场参与度。不过索尼2015年宣布收购一家比利时公司SoftKinetic:2017年这家公司改名为Sony DepthSensing Solutions(索尼深度感知解决方案)[2]。2019年,索尼的ToF传感器正式起步,索尼在3D感知传感器市场上,一跃成为市场份额达到45%的市场参与者。L2Iesmc
索尼以往就有为苹果产品单独定制CIS图像传感器的传统,似乎为苹果专门定制ToF传感器也不奇怪。但索尼的DepthSense是一种十分典型的iToF方法应用(更具体地说,是一种cwToF,即连续波ToF方法),而不是dToF[4]。索尼当前比较知名的IMX556深度感知ToF传感器,单像素尺寸的确是10μm,但分辨率却有30万像素。L2Iesmc
另一方面,意法半导体的SPAD传感器(通常应用于dToF技术的一种传感器)倒是很知名,但意法的这类传感器更着重于单点的距离检测,而并不在3D成像与感知应用上——虽然意法半导体的确有能力制造这种传感器,而且3D感知应用似乎也已经在计划表中,这一点我们也将在后文详述。这就让iPad Pro的这枚LiDAR多了一丝神秘的味道。L2Iesmc
L2Iesmc
iPad Pro的LiDAR宣传图,很显然这张图表达的一个是发射端,一个是接收端,来源:苹果L2Iesmc
针对上述问题,我们再展开来说一说,包括其中的各种概念,比如dToF、iToF、cwToF是什么,SPAD传感器又是什么,便于感兴趣的各位做更深入的分析和探讨。这篇文章或许无法解答一些问题,但期望通过对这些问题的探讨和呈现,引起更多的思考,及便于我们进行后续的研究和总结。L2Iesmc
ToF技术近两年知名度在消费市场上骤升,很大程度上要归功于华为、vivo、OPPO、LG之类的品牌,都纷纷在其手机产品中开始采用ToF 3D感知技术。比如说华为P30 Pro,前置的ToF模块开始支持用户做隔空手势操作:在烹饪、吃饭这类不方便用手指直接接触屏幕的场景下,通过隔空手势就能完成翻页、滚屏之类的交互操作。L2Iesmc
但事实上,很多消费用户不知道的是,ToF技术在手机产品中的应用要早得多,且普及程度还非常之广。自2014年开始,大部分旗舰手机的距离传感器(或接近传感器)都已经开始应用十分完整的ToF技术和硬件模块;iPhone 7也是苹果产品家族上,首次在距离传感器上采用了ToF技术的一款手机。L2Iesmc
距离传感器也就是应用在手机前面板上,当用户接打电话、耳朵靠近屏幕时,屏幕就通过这枚距离传感器来自动息屏;当然距离传感器还能参与更多体验改善的功能特性。早年手机上的距离感应并不可靠,原因是早年的方案仅通过一枚简单的光电二极管,以光强度级感应来模拟这种距离感应。L2Iesmc
L2Iesmc
在魅族Pro 6、LG G5、华为P9等手机上普遍存在的意法半导体VL53L0B,来源:TechInsightsL2Iesmc
2014年,TechInsights的拆解显示,黑莓Passport、LG G3等手机的前置光学模组开始采用一种三合一的方案,即意法半导体的VL6180。这是一颗融合了距离传感器、环境光传感器、VCSEL(垂直腔面发射激光器)的光学模组。其中的距离传感器所用的就是SPAD(单光子雪崩光电二极管)阵列[3]。次年1月,意法半导体又发布了二代的VL53L0,开始广泛应用于当年的智能手机。L2Iesmc
从结构来看,这里的距离感应方案,就是ToF技术的完整形态:即由VCSEL激光器首先主动发射红外光,在光子碰到障碍物对象(如凑近手机的耳朵或人脸)时返回,并由SPAD传感器接收到。在这个过程里,会有某种“计时电路”用于计量光从发出到返回全过程消耗的时间,那么在光速已知的前提下,就能精确地测得该对象到手机的距离——这就是ToF技术的一般原理。L2Iesmc
L2Iesmc
更准确地说,此处是由VCSEL发射端发出一个激光脉冲,接收端的SPAD传感器可以接收到反射的脉冲信号,通过计量时间即可测得距离信息。这就是dToF(直接ToF)方法的基本原理。意法半导体是dToF方法,在手机应用上耕耘比较久的一家厂商。实际上从2015年开始,手机几乎已经彻底铺开了这种利用dToF方法做前置单点光学距离检测技术。与此同时,后置摄像头的激光辅助对焦,利用的也是这种技术。L2Iesmc
iPad Pro 2020在宣传上也提及后置LiDAR模块采用dToF方法。不过很显然,这两年ToF的应用已经不限于单纯的单点测距(以及环境光检测、接近检测、多区域检测等),而扩展到了由多点构成的3D成像与感知:即通过很多光点的发射与返回,感知整个场景的3D深度图,甚至实现3D视觉。L2Iesmc
dToF是ToF实现方法中的其中一种,另一种就是iToF(间接iToF),有关iToF的部分我们后文再说。而dToF至少就原理来看还是比较直接、简单的,而且这种方法的收益也比较大。dToF基于脉冲调制光,工作周期可以比较短,即便采用更高的峰值输出功率,也可以兼顾人眼安全,探测距离也就能够比较远(这一点也相对适用于iToF中基于脉冲的pToF方法),同时还能兼顾相对比较好的测量精度[4]。加上dToF方法还具备可很大程度避免多径干扰(multipath effects)的问题,运动伪像对dToF产生的影响也比较小,看起来dToF理论上更理想。L2Iesmc
不过实际上,dToF的实施难度要比iToF明显更大,虽然听起来其原理更简单。从ToF的实现原理来看,不难发现一个完整的ToF模组至少要包含发射端和接收端:发射端的主要部分就是光源(消费类ToF模组以VCSEL激光器为主),接收端的主体当然就是ToF图像传感器了。很容易想见,对于普通的p-i-n光电二极管来说,要直接、准确地测定光的“飞行时间”还是有相当难度的。它对于发射端的光源、接收端的光电探测器(即传感器),实现同步、时间检测相关电路都有着很高的要求。L2Iesmc
dToF方法对于接收端的技术相对严苛,毕竟这种方法对时间抖动要求原本就很高:因为它接收的是一个脉冲信号,这就要求光电探测器的敏感度很高(以及快门时间窗口与脉冲信号的同步)。所以dToF方法所用的图像传感器常见APD(雪崩光电二极管),相比传统图像传感器的光电二极管,这种光电二极管有着明显更高的增益和量子效率,能够实现电子倍增(就像雪崩一样),或者说有着显著更高的敏感度。L2Iesmc
L2Iesmc
传统图像传感器光电探测器结构与APD图像传感器的比较,来源:PanasonicL2Iesmc
除了APD之外,dToF中另外应用比较广泛的就是前文提到的SPAD(单光子雪崩二极管),它可以理解为比APD更敏感的一种结构,一个光生载流子就能触发大量雪崩电流——这两者都利用入射辐射触发p-n结的雪崩电流,不过SPAD设定了一个高于击穿电压的反向偏置电压,二极管可工作在所谓的Geiger-mode模式下。L2Iesmc
另外SPAD通常采用像素内TDC(time-to-digital converter),能够直接产生数字触发信号。SPAD也具备更低的时间抖动,所以意法半导体这类厂商在消费产品中采用这种传感器技术。以松下为代表的APD传感器技术本身也在发展中。L2Iesmc
另一方面,APD与SPAD像素和图像传感器比较难以小型化,这可能是与其设计电路相对复杂,包括淬火电路、像素内TDC在内的各种电路都需要占据较大的片上尺寸有关。意法半导体现有公开在售的SPAD图像传感器(FlightSense系列)就鲜有真正高像素的[5],且应用方向主要在测距,而非3D成像与感知——即便意法已经在朝着这个方向发展。意法半导体去年底才推出的VL53L5才开始逐步发力在多区域测距的“切割”,往3D感知方向发展。L2Iesmc
既有的dToF高像素产品似乎也少有着力在手机这类紧凑型设备上的。实际上,我们从现有ToF图像传感器技术的制造工艺发展思路来看,意法半导体、松下、索尼这类厂商普遍在应用3D堆栈、背照式这样的技术(比如把原本位于光电二极管上方的布线层移至下方,或者将光电转换器、电子倍增器这些部分垂直堆叠起来),就跟当年传统摄像头的图像传感器一样想办法提高像素的开口率,缩小像素尺寸,尽可能做到更高的传感器2D分辨率。L2Iesmc
松下今年2月份发布一种VAPD(垂直堆叠VAPD)传感器,像素数量达到了100万[6];瑞士洛桑联邦理工学院(EPFL)和佳能前几天才刚刚宣布达成全球最小的SPAD像素:2.2μm,加上3D堆叠,SPAD像素阵列可以达到数百万级别[7]。(与此可对比的是,三星当前已经商用的传统CIS传感器,单像素尺寸可达到0.7μm,而0.6μm也已经在研发中)L2Iesmc
L2Iesmc
L2Iesmc
iPhone X的Face ID系统发射器发出的红外光点,与iPad Pro 2020的LiDAR发射端发出的红外光点数量比较,原理与技术上的差异,导致两者的光点密度差别很大,来源:iFixit[8]L2Iesmc
不过这些技术至少现在并没有应用于移动设备的例子,如果说iPad Pro 2020的dToF方法应用的是SPAD传感器,则在这个设备尺寸以及5米测量距离内,而且还是消费型电子产品,SPAD传感器的3万像素或许着实称得上是高像素。L2Iesmc
有关iPad Pro 2020是否采用SPAD传感器(TechInsights并未公开这部分分析信息),我们查到前两年苹果的一份专利储备,展示的就是一种3D感知系统,或者说就是ToF[9]。这个专利中提到了LiDAR相关技术——针对的就是消费领域的应用,包括VCSEL光源,而光电探测器选择的就是SPAD。“这种探测器能够以很高的时间抵达分辨率,在数十皮秒内捕获单独的光子”。L2Iesmc
L2Iesmc
苹果一项有关LiDAR的专利,来源:Patently AppleL2Iesmc
加上苹果已经在宣传中明言iPad Pro 2020的3D感知所用就是dToF方法,那么我们有理由猜测这可能就是个SPAD传感器。即便似乎从现有技术来看,整个LiDAR模组看起来还是比较奢侈和黑科技。不过前文提到TechInsights认为,这枚传感器来自索尼。问题是从我们查到的资料来看,索尼似乎并没有造SPAD传感器的历史,SoftKinetic的长项也在iToF,而非dToF。L2Iesmc
如前文所述,索尼应用于iToF的传感器去年就已经开始统领手机市场了。三星和华为去年的手机旗舰,后摄3D ToF方案上都应用了索尼的ToF传感器方案,比如三星Galaxy Note 10+[10],如下图所示。其中右边部分接收端的传感器是来自索尼的IMX516,单像素尺寸5μm,分辨率480x640(30万像素,24.8mm²)——华为Mate 30 Pro的前置ToF模组也应用了这个方案。L2Iesmc
L2Iesmc
三星Galaxy Note 10+的3D ToF解决方案来自索尼,整个模块包括了发射端与接收端;来源:System Plus ConsultingL2Iesmc
华为P30 Pro的后置ToF模块选择的则是180x240(4.7万像素,18.9mm²)的索尼IMX316传感器(以及Lumentum的VCSEL光源泛光照明器),单像素尺寸10μm。OPPO R17 Pro等国产手机也有应用这颗传感器的例子[11]。
微信扫一扫,一键转发
关注“国际电子商情” 微信公众号
国际电子商情讯,2025年2月以来,供应链端传出汽车芯片开始缺货的消息,以800万像素(8M)车载CIS芯片跃居汽车产业链最为紧缺的零部件。
国际电子商情讯,近日,低功耗蓝牙芯片行业领军企业Nordic Semiconductor(以下简称Nordic)宣布放弃对挪威UWB芯片公司Novelda的并购计划,此外该公司还将裁员约8%。
峰岹科技首席技术官毕超博士在11月5日的“2024全球CEO领袖峰会”上,围绕“具身机器人对电机控制芯片的挑战”的主题,分享了人形机器人用微型电机的当前面临的一些技术难点和解决方案。
纳芯微收购麦歌恩有了新进展。
国际电子商情26日讯 本周早些时候,美国商务部宣布,将为Polar Semiconductor提供1.23亿美元的补贴,以扩建其在明尼苏达州的工厂,并显著提升其生产电源和传感器芯片的能力。
美国国防部已经正式决定将禾赛科技——全球领先的电动汽车激光雷达(LiDAR)传感器制造商——从其所谓的“中国涉军企业”黑名单中剔除。这一决定源于美国国防部最终判定,禾赛科技并不符合被纳入该黑名单的法定条件。
2024年慕尼黑上海展、VisionChina机器视觉展在7月10日拉下帷幕,在展会期间《国际电子商情》小编拍摄了德州仪器、安森美、意法半导体、Teledyne DALSA等厂商演示方案的视频,下面哪些是你感兴趣的方案?
国际电子商情4日讯 汽车芯片大厂安森美日前已完成对SWIR Vision Systems的收购,后者为(基于胶体量子点)短波红外 (SWIR) 技术的领先提供商……
国际电子商情6日讯 据外媒报道,美国激光雷达制造商Luminar Technologies日前宣布,作为重组计划的一部分,该公司将在本年度对生产部门裁员约20%。
提及博世,大家的第一反应可能就是“博世是一家Tier1公司”。的确,汽车与智能交通技术是博世最大的业务板块,约占这家营收916亿欧元(2023年)的国际巨头总业务板块的65%。实际上,博世的业务布局呈现多元化的特点,除了聚焦汽车与交通板块之外,在工业技术、能源与建筑、消费电子领域也均有广泛布局。
目前在智能网联汽车领域,中国已制定发布国家和行业标准43项,初步建立起能够支撑驾驶辅助及自动驾驶通用功能的智能网联汽车标准体系,有力支撑道路测试示范、协同发展试点等工作开展。
此次合并预计将采取吸收式合并的形式,富士电机作为存续公司,Fuji Electric IT Center解散。
美通社消息,3月14日,“2025英飞凌消费、计算与通讯创新大会”(ICIC2025)在深圳举行。本届大会汇聚600多位业界精
近日,湖南省工信厅发布了《2025年湖南电子信息制造业重点项目名单》,涵盖先进计算、音视频、新一代半导体、人
3月15日,质鼎集团公众号消息,惠科东莞平板显示集群电子商务项目二期正式开工。
富士康、台积电、广达、华硕、联发科、友达光电等中国台湾20家电子企业2024年第四季度和全年财报汇总。
近年来,LED显示屏市场持续演进。回顾2024年,行业呈现出哪些发展态势?展望2025年及未来,市场又将面临哪些机遇与
近日,索尼正式发布新一代RGBLED背光技术系统,可实现4000尼特峰值亮度。索尼计划该系统将于2025年开始量产,并将
AI芯片是半导体最大的增长点,先进封装则是制造AI芯片的关键技术。此前英伟达H100成本约3000美元,而用先进封装
截止2024年底,17家欧美固态电池企业融资总额已突破42亿美元。
曾几何时,中国半导体几乎不断有大基金投资、大项目上马,以及美国制裁的新闻。长期处于聚光灯下,中国半导体成为
Dynabook在退出十年后宣布重返美国消费市场。
Canalys最新数据显示,受到消费需求激增8%的推动,2024年第四季度中国大陆的PC市场开始复苏,同比增长2%。
根据TrendForce集邦咨询最新调查,2024年第四季由于Apple(苹果)手机生产进入高峰,以及中国部分地方提供消费补贴
德州仪器近日推出了全球超小型 MCU,进一步扩展了品类齐全的 Arm® Cortex®-M0+ MSPM0 MCU 产品组合。
创新是企业持续发展最大的价值。
“闪迪(Sandisk)又回来了!”在3月12日的存储年度盛会CFMS MemoryS 2025上,闪迪公司全球产品副总裁Eric Spa
摩尔斯微电子推出合规的Wi-Fi HaLow片上系统(Soc),开启欧洲连接技术新纪元。超低功耗、远距离连接功能现已为
CFMS | MemoryS 2025已圆满落幕,期间包括三星电子、长江存储、铠侠、美光、闪迪、高通、Arm、慧荣科技、S
Hyperlux™ ID iToF 系列将深度测量距离提升至最远 30 米,提高工业环境中的生产效率和安全性
26TB大容量CMR HDD助力WD Red Pro与G-DRIVE/G-RAID系列专业级产品矩阵,赋能数据存储拓展与生产力跃升
全新一代MCU可以满足各种区域控制架构和电气化系统需求,助力汽车制造商向软件定义汽车(SDV)过渡。
将出色的高
聚洵半导体科技(上海)有限公司(Gainsil Semiconductor Technology)于2016年成立于上海张江科学城,是一家全球
领域新成果领域新成果4月必逛电子展!AI、人形机器人、低空飞行、汽车、新能源、半导体六大热门新赛道,来NEPCO
后量子加密技术帮助保护数字基础设施免受量子计算机在将来带来的潜在威胁。
英飞凌坚信低碳化和数字化是未来十年的关键驱动力,半导体在应对能源挑战和推动数字化转型中扮演着重要角色。
点击查看更多
北京科能广告有限公司深圳分公司 版权所有
分享到微信
分享到微博
分享到QQ空间
推荐使用浏览器内置分享
分享至朋友圈