向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

iPad Pro那颗3万像素LiDAR有何玄机?

iPad Pro那颗3万像素LiDAR有何玄机?

索尼以往就有为苹果产品单独定制CIS图像传感器的传统,似乎为苹果专门定制ToF传感器也不奇怪。但索尼的DepthSense是一种十分典型的iToF方法应用(更具体地说,是一种cwToF,即连续波ToF方法),而不是dToF...

zzMesmc

就实现来看,iToF(间接ToF)实际上是一种相比dToF更加易于实施的方法。如果我们采用ToF实施方法分类中,比较通用的一种,则ToF总体分成了iToF与dToF,而iToF则又可以再分成pToF(基于脉冲的ToF)与cwToF(连续波ToF)。zzMesmc

zzMesmc

pToF与dToF实际上有些类似,某些分类是将pToF与dToF归在同一类的,都叫基于脉冲的ToF;这两者的不同之处在于pToF是对多脉冲的实时测量,而dToF则是针对单个激光脉冲。手机产品中pToF实施比较有代表性的是vivo NEX双屏版,这款手机采用松下的CCD传感器。zzMesmc

pToF以及CCD传感器有自身的一些优势,例如CCD在高像素实现上暂时有优势,且感光度高,对室外强光有着更天然的适用性;而且如前文所述,pToF更不容易产生画面的运动模糊。但pToF对系统的时间抖动控制要求也比较高,因为发射的光脉冲宽度与接收端传感器的快门要求一致,此外温度校准也更复杂,以及可能要求外置的模拟前端芯片用于深度数据的数字化和输出。另外,CCD由于功耗和发热问题,可能并不怎么适用于手机。zzMesmc

zzMesmc

cwToF方法示意,来源:Time of Flight Cameras: Principles, Methods, and ApplicationszzMesmc

所以以英飞凌和索尼为代表的cwToF(连续波ToF)在移动消费市场是更占据主流地位的。cwToF方法在实施中,发射端会针对照明应用一个周期性的调制信号,最终在光返回到图像传感器时,针对反射光检测相位差,并算得距离。现在我们常说的iToF,很多时候也特指cwToF。zzMesmc

一般来说,cwToF方法实施起来会更为简单(但在精度要求更高时,cwToF信号调制实施难度也很有挑战性),而且是全CMOS成像系统,具备了更好的弹性、更快的读出速度,还能应用RoI(region-of-interest)输出这类功能。不过cwToF方法在技术上也有一些难点和阻碍,其一在于要获得相位差数据,就要求多调制频率下相关函数的四次采样。这样一来,如果再加上多帧处理,则后端数据处理的复杂性会明显比较高。zzMesmc

另外,cwToF的一些局限性主要在于:从上面这张图中的等式可知,如果要获得更长的测量距离(Depth),就需要更慢的调制频率(f)。但如此一来会同时限制距离精度,距离精度与背景光强度、信号强度、最大不模糊距离(maximum unambiguous range,上述等式中的c/2f)有关。对于一个固定的场景来说,由于反射信号强度随着距离增加指数级下降,就会有指数级的精度降低。另外为了满足人眼安全需求,cwToF必须采用较低的峰值输出功率,这样一来SBNR就会比较低;而且cwToF对于多径干扰这类问题的抵御能力更差。zzMesmc

不过相对而言,cwToF是一种在测量距离、精度、系统体积、成本等各方面都非常适用于手机、移动设备的方法。所以目前绝大部分手机和移动设备都选择了cwToF这种方案。而在iPad Pro 2020诞生之后,dToF可在消费领域应用的呼声似乎也明显变高了。zzMesmc

不过索尼以前的确没有过涉足dToF的消息。从索尼DepthSense技术的介绍来看,这是一种典型用于cwToF方法实现的传感器[12]。索尼用了一种名为CAPD(Current Assisted Photonic Demodulator)的像素结构,虽然这名字看起来倒是和APD(雪崩光电二极管)挺像的。zzMesmc

zzMesmc

这种像素结构应该是为了提高集光效率,提高相位差计算精度,而做的一种技术加强(如上图)。调制的光首先从VCSEL光源发射出来,碰到场景中的对象之后,反射回来,抵达接收端的图像传感器像素,光子转为电子,切分于交替的探测器结(p+与n+)之间。这两个结为180°异相,可完整捕捉到反射光。另外就是这种传感器,应用了索尼本身就很拿手的背照式CMOS方案,把布线、电路层级置于光电二极管之下,提升感光度。zzMesmc

所以就iPad Pro 2020的LiDAR模块中的传感器来说,如果的确是索尼提供的传感器,莫非索尼又隐藏了什么SPAD传感器黑科技尚未公开,而仅面向苹果提供定制,亦或在具体实施层面,仍有一些值得商榷的细节?这是值得探讨的,也欢迎内行人士为我们解惑。我们也静待更多信息的放出。zzMesmc

3D ToF在消费市场的逐步崛起

当年iPhone X应用结构光,实质上引发了3D成像与感知市场的一波崛起,甚至可以说ToF在消费市场3D感知上的应用都是由iPhone X带动的。当然,如前文所述,ToF在单点测距方向上的应用则早已有之,而且市场规模如今也已经相当之大,意法半导体在这方面的出货量早就破10亿了[1],现在的重点就在3D感知应用方向上。zzMesmc

近些年苹果在消费市场上呼风唤雨的能力仍在持续,iPad Pro开推ToF在3D成像与感知领域的应用,以及传言今年的iPhone 12也可能要上ToF模块,这对原本就在火热发展中的3D ToF市场就是一剂强心针;甚至有机会为dToF在消费市场上的普及铺路——毕竟市场中其他同类产品的解决方案皆以iToF为主。zzMesmc

zzMesmc

最后值得一提的是,本文只少许着重提到了ToF模块中接收端部分的图像传感器,然而实际上整个ToF模块至少还包括了发射端的激光照明单元、光学器件(包括diffuser、光学镜头、窄带滤光片等)、驱动电路、周边外围电路,以及相关3D深度数据处理的软件、算法等。而其中的每个环节都有不同的供应商,例如发射端在整个ToF模组也扮演着十分重要的角色,本文未曾涉及。zzMesmc

针对消费市场的ToF模组构成,ToF市场及技术,我们也特别撰写了一份报告,预计将在下个月发布在电子工程专辑网站上。前文提及的部分蜻蜓点水式的内容,包括ToF技术的方法分类,ToF在光学测距方案中所处的位置,它与结构光、立体视觉、聚焦合成、干涉度量法这些测距方案有何异同,以及ToF市场近两年的变化及发展情况等,欢迎届时关注。zzMesmc

参考来源:

[1] TechInsight’s Twitter - TwitterzzMesmc

https://twitter.com/techinsightsinc/status/1244050881705844737zzMesmc

[2] Softkinetic - WikipediazzMesmc

https://en.wikipedia.org/wiki/SoftkineticzzMesmc

[3] STMicroelectronics’ Time-of-Flight Sensors and the Starship Enterprise Show up in the iPhone 7 Series - TechInsightszzMesmc

https://www.techinsights.com/blog/stmicroelectronics-time-flight-sensors-and-starship-enterprise-show-iphone-7-serieszzMesmc

[4] Zhang Chao, CMOS SPAD Sensors for 3D Time-of-Flight Imaging, LiDAR and Ultra-High Speed Cameras, 2019zzMesmc

[5] LiDAR in a Chip, FlightSense™, Introduction to Time of Flight - STMicroelectronicszzMesmc

https://www.st.com/content/ccc/resource/sales_and_marketing/presentation/product_presentation/group0/e0/84/0c/fb/11/ec/49/1d/SensorsLive_LiDAR_Chip/files/SensorsLive_LiDAR_Chip.pdf/jcr:content/translations/en.SensorsLive_LiDAR_Chip.pdfzzMesmc

[6] Panasonic Develops Long-range TOF Image Sensor with High Ranging Accuracy - PanasoniczzMesmc

https://news.panasonic.com/global/press/data/2020/02/en200218-2/en200218-2.htmlzzMesmc

[7] Canon & EPFL Report Performance of the World’s Smallest 2.2um SPAD Pixel - f4 NEWSzzMesmc

http://www.f4news.com/2020/04/18/canon-epfl-report-performance-of-the-worlds-smallest-2-2um-spad-pixel/zzMesmc

[8] 12.9” iPad Pro 2020 Teardown: What does the LiDAR scanner look like? – iFixitzzMesmc

https://www.youtube.com/watch?v=xz6CExnGw9wzzMesmc

[9] Major Apple Patents Reveal work on next-gen LiDAR Systems using VCSELs for 3D Sensing Systems and Headset - Patently ApplezzMesmc

https://www.patentlyapple.com/patently-apple/2018/11/major-apple-patents-reveal-work-on-next-gen-lidar-systems-using-vcsels-for-3d-sensing-systems-and-headset.htmlzzMesmc

[10] 3D imaging and sensing: now it is rear 3D sensing turn to be the leading growing application - Yole DeveloppementzzMesmc

http://www.yole.fr/3D_Imaging_Sensing_ToF_Adoption.aspxzzMesmc

[11] Huawei Leads Imaging Chip Area Arms Race, Sony Wins Big with i-ToF, Emergence of Event-Driven Vision Sensors - TechInsightszzMesmc

https://www.techinsights.com/blog/imaging-sensing-end-year-highlightszzMesmc

[12] Better Time of Flight: Sony DepthSense 3D Sensor Explained - LUCIDzzMesmc

https://thinklucid.com/tech-briefs/sony-depthsense-how-it-works/zzMesmc

[13] STMicroelectronics Ships 1 Billionth Time-of-Flight Module - STMicroelectronicszzMesmc

https://www.st.com/content/st_com/en/about/media-center/press-item.html/t4210.htmlzzMesmc

原创
本文为国际电子商情原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 微信扫一扫,一键转发

  • 关注“国际电子商情” 微信公众号

  • Flash出货130亿颗,兆易创新三大核心业务成绩如何?

    在近日的“2020兆易创新全国巡回研讨会·深圳站”上,兆易创新各业务部的负责人系统介绍了其生态系统的产品组合,并分享了最新的产品,包括了全新GD25/GD55 B/T/X系列SPI NOR Flash、基于RISC-V/Cortex-M33内核的MCU和高性能光学指纹识别方案等。

  • 一文看懂ToF市场现状

    3D ToF市场的发展正呈现出飙高的趋势,不仅市场规模在未来5年内还将迅速扩张,而且供应链参与者近两年正持续着十分活跃的市场动作,还有企业正准备入市。与此同时,在技术方向上,ToF正面临一次重大决策。这些都是3D ToF市场迈向成熟之前的征兆。

  • 医疗应用成为印刷电子市场成长新动力

    在大面积图像传感器持续发展的同时,印刷电子市场版图也扩展至包括压电感测器、温度感测器、电容适应力感测器,以及能在新冠病毒疫情中发挥作用的生物感测器等应用...

  • ams宣布已成功对欧司朗的收购!

    国际电子商情获悉,ams半导体日前通过官方微信宣布,该公司已于7月9日成功完成对欧司朗的收购...

  • 台积电获索尼CIS“包厂”大单!

    国际电子商情从台媒获悉,代工龙头台积电在近期再获索尼CIS大单,将在南科14B厂打造专为索尼生产高端CIS的代工生产线,新订单让上方合作延伸至28nm...

  • 供不应求,CMOS传感器价格连7季度持平

    由于疫情,今年上半年全球智能手机市场销售锐减,但受益于主流手机厂家采用“多摄像头化”设计的机型接连推出,让CMOS图像传感器的供不应求甚至缺货现象在疫情期间持续...

近期热点

广告
广告

EE直播间

更多>>

在线研讨会

更多>>