广告

微型AI:聊聊TinyML市场的可能性

近一年TinyML这个词好像格外火:这和AI、IoT作为时下最热门的应用领域有很大的关系。虽说TinyML Foundation官网看起来像是个很松散的组织,Arm、瑞萨、Reality AI、莱迪思、英飞凌、谷歌、高通等都在其赞助商和合作伙伴之列,就足见TinyML的声势之大。究竟是什么在促成TinyML的发展?

恰巧最近做的几个有趣采访,都和边缘/端侧AI相关,包括瑞萨刚刚了收购Reality AI——这就是一家做边缘AI和TinyML的企业;还有国内的知存科技量产了首颗存内计算芯片,这类芯片目前的应用主场是端侧产品AI计算;去年EE Live直播间做过一场边缘AI相关的线上直播......(本文的“边缘(edge)”一词将窄化到终端(endpoint)设备)mK8esmc

把AI计算——或者有时可以窄化到神经网络的矩阵乘加运算,带到端侧设备上并不稀罕。智能手机就是个典型的端侧设备,现在的智能手机AP SoC芯片上普遍都配有专门的AI计算单元,苹果称其为NE(Neural Engine)、Arm和华为叫它NPU、联发科则将其叫做APU。mK8esmc

即便是IoT这种更小算力的端侧设备,其实也有AIoT这样的称谓。这里的A就是指AI——当然其含义可能比深度学习、神经网络更宽泛,但IoT端侧设备要带AI能力也是时代主旋律。2022年6月29日,全球领先的专业电子机构媒体AspenCore将与深圳市新一代信息通信产业集群联合主办【2022国际AIoT生态发展大会】,同期将举办工业互联网、智慧家庭、智慧机器人、智慧可穿戴、智慧两轮车等多场分论坛,多家企业将在论坛现场探讨AIOT领域的前景机遇。 【一键报名】现场与行业资深人士交流与互动!点击这里了解大会详情。mK8esmc

近一年TinyML这个词好像格外火:这和AI、IoT作为时下最热门的应用领域有很大的关系。虽说TinyML Foundation官网看起来像是个很松散的组织,Arm、瑞萨、Reality AI、莱迪思、英飞凌、谷歌、高通等都在其赞助商和合作伙伴之列,就足见TinyML的声势之大。mK8esmc

mK8esmc

TinyML设备出货量几年后25亿

ABI Research的数据是2021-2026年,IoT连接数有3倍增长,届时IoT连接数会达到236亿。当然并不是所有的IoT设备都会带上AI或机器学习能力,但这是TinyML的市场基础。mK8esmc

所谓的TinyML,看字面意思就知道是微型的(Tiny)机器学习(ML)。“微型”是相对于一般需求更高算力的AI计算而言的。比如前文提到的手机AI计算单元——智能手机AI算力所需的功耗和成本是IoT设备上承受不住的。比如智能家居设备中由电池驱动的智能温度传感器,或者工业制造场景中部署的在马达上检测振动异常的传感器+MCU设备。mK8esmc

IoT设备通常总是通过传感器不停地收集数据,比如说影像画面、温度湿度、存在感知等等。将大量数据集合以后,进行机器学习的模型训练,就有机会生成更有价值的信息:AI在智慧交通、智能城市、智能家居之类的应用大多就是这么回事。不过AI计算是个需要算力和成本的工作。比如云上的大规模AI模型训练(training),必然是基于大算力的GPU或者专用的AI芯片。mK8esmc

模型训练完成后,复杂的AI推理(inference)工作也不适用于大多数小算力的IoT设备,而需要在云或边缘数据中心进行。一般IoT设备上的16位/32位MCU对于承接AI计算显得相当无能为力。TinyML的提出,就是为了找寻AI计算在IoT设备上的成本、功耗均衡,让数据分析工作也能在算力并没有那么高、存储资源还不多的硬件,配合专门设计的软件(小规模AI推理工作)上执行。mK8esmc

从TinyML Foundation官网介绍来看,典型的TinyML IoT设备应该将系统功耗控制在mW级别,模型尺寸小到100kB以下。也就是说TinyML设备,要在超低功耗、性能受限的环境下做本地的AI工作。不过这样的机器学习模型主要是扮演过滤的角色,比如说将那些不必要的参数、低于阈值的数据排除在外;唯有有价值的数据才会促使IoT设备做出相应的动作——不仅是本地响应(比如说家用警报器发现问题时发出警报),也可以是将数据进一步发往网关或云。mK8esmc

TinyML并不是要替代更复杂的AI推理,而是把一小部分特定能力迁到端侧设备上。那么就省去是总是需要联网、做数据通讯的麻烦,不仅能够显著降低功耗,而且也更为实时、有更高的隐私和安全性。ABI Research去年发布过一份TinyML: The Next Big Opportunity in Tech白皮书。这家机构预测TinyML市场出货量会从2020年的1520万个设备,增长至2030年的25亿个IoT设备。mK8esmc

其潜在应用领域典型如家庭安防、智能家居自动化、宠物定位和追踪、健康类可穿戴设备;工业与生产中的资产追踪、制造缺陷发现、智能楼宇/建筑;交通领域的车流监控与交通高峰期的疏导、智能路灯;还有智能电网、智能仪表,以及物流和运输等。mK8esmc

mK8esmc

mK8esmc

来源:ABI ResearchmK8esmc

上面这两张图是ABI Research预测的2021-2030年,不同应用领域TinyML设备的出货量,以及TinyML芯片能够产生的营收(分成了ASIC、FPGA和MCU)。市场增长潜力看起来还是相当之大。mK8esmc

其实TinyML跟端侧AI的很多应用原本就是重合的,只不过TinyML给定了某种更严苛的算力和功耗限制。从某种角度来看,TinyML这个词或许更有浓重的市场宣传色彩。不过围绕TinyML展开的研究和努力是真实存在的,而且其发展动力可能还超乎想象。mK8esmc

聊聊TinyML芯片的可能性

我们见过不少边缘AI芯片或系统。为普罗大众所的,如英伟达Jetson Nano开发板——这是个能直接应用英伟达的AI和CUDA生态的硬件产品,基于英伟达GPU做AI开发。同类明星产品也不少,包括一些加入了专用AI计算单元的,像是瑞芯微RK3399 Pro、晶晨A311D、Intel Myriad X、谷歌edge TPU等。mK8esmc

mK8esmc

前两年的工业博览会上,我们看到瑞萨在展示一种e-AI(嵌入式AI)故障预判解决方案,这个demo演示的是工业现场的电机运行状态:有个加速度传感器采集电机的振动情况。本地有专门的AI计算加速单元,名为DRP(Dynamic Reconfigurable Processor)。在电机的振动参数有某些异常变化的情况下,就能预判电机可能要发生故障。mK8esmc

当然在数据采集和训练上,整个过程还是涉及到了云上的机器学习。而且不管是英伟达Jetson Nano,还是瑞萨DRP,跑起来的系统功耗应该都远超mW水平了。下面这张图是此前我们在采访瑞萨时,他们提供的一张AI性能和效率对比。瑞萨RZ/V2M的DRP加速器效率是相当不错的,只是这些系统严格意义上应该都不能算“TinyML”。mK8esmc

mK8esmc

但追求边缘AI应用,的确是IoT的大趋势。前年我们参加了瑞萨杯全国大学生电子设计竞赛,这一届比赛就在于鼓励参赛学生充分应用硬件的AI算力。mK8esmc

从目前TinyML及其合作伙伴的宣导来看,现在的TinyML“芯片”更多的还是在于处理器内核加上一些强化的并行计算资源:比如说Cortex-M3,用15KB代码、22KB数据,在检测到特定语音单词时,就能唤醒系统,跑语音识别模型。2021年Rapberry Pi Pico发布,基于RP2040 MCU,Cortex-M0+双核,能跑TensorFlow Lite Micro。RP2040是被视为TinyML的标版的,开发者可以跑机器学习模型来进行一些传感器数据分析,包括视频和图片识别、手势识别等。mK8esmc

电子工程专辑今年6月刊的封面故事《催生超低功耗边缘AI应用 tinyML赋予MCU产业新契机》一文在这方面有更为详尽的解读,相关Arm、RISC-V在TinyML芯片和生态上的参与度。比如Cortex-M55新增了Helium矢量处理技术,加强了DSP和ML方面的能力。不过Arm在官方的TinyML宣传文章里也提到了自家的Ethos系列microNPU,专用于加速嵌入式和IoT设备的机器学习推理运算。可见TinyML的专用AI加速单元必然是要被提上日程的。mK8esmc

另外有关芯片,特别想提一嘴的是存内计算(in-memory computing)芯片,或者把范围进一步泛化到模拟计算方法。存内计算还是个全新的领域,颠覆了传统的冯诺依曼架构体系:直接就在存储器内进行计算,最小化数据搬运过程。主流的存内计算技术是基于模拟电路的计算——加上少了数据通讯开销,所以能效大幅提升,功耗相比于一般的AI芯片几倍下降。mK8esmc

最近我们采访了知存科技,这家公司给出的数据显示以其刚刚量产的存内计算芯片,做40-100个词的语音检测,系统整体功耗能够控制在0.8mW量级——这就比一般的芯片低太多了,应用于电池驱动的可穿戴设备都毫无压力。所以在我们看来,这种新型结构的芯片在TinyML时代应当是最有发展潜力的。当然新架构的生态搭建,前期会需要一个漫长的积累过程。在这个方向上发力的企业,未来应该也会越来越多。mK8esmc

似乎从“模拟计算”的角度来看,在计算机科学的架构范式都可能产生颠覆的未来,TinyML的需求持续进化,可能对整个行业带来前所未有的革命。时代现如今就有不少点状式的发展趋势,比如各种神经拟态传感器和计算方式的发展。它们都有着相较于如今的计算机架构,更为显著的效率优势。mK8esmc

mK8esmc

未来的不可限量与影响

在我们看来,TinyML或许只是AI发展的某种具体形式。但TinyML现在作为一个明确的概念在市场上流传,还是有利于这类技术的向前推进。而且研究人员也的确在“Tiny”这件事情上持续努力。mK8esmc

举个例子,去年底MIT(麻省理工学院)有个团队搞了一种技术,尝试缩减内存用量,具体能够提升视频的图像识别性能。这主要就是针对MCU可怜的存储资源,令其做卷积神经网络计算时的优化技术,属于特别针对TinyML视觉系统的优化,有兴趣的读者可以前往关注。这类研究应当还会越来越多。mK8esmc

ABI Research在paper中明确提到了TinyML带来的一些关键价值。比如说更好的数据隐私性、更高的能效——这两点前文都已经提到;更小尺寸的芯片(尤其降低片内或板上的存储资源用量);功能安全与网络安全方面的提升(硬件级AI实施方案相比于软件,具备更高的安全性);对于网络不稳定环境有更好的免疫性——这原本就是边缘AI的一大优势;不同组件之间更好的互联互通。mK8esmc

基于TinyML的特性,未来相关IoT的构成及供应链都可能会有新的动向。比如说基于功耗、可靠性、延迟等更严苛的要求,连接协议的选择或许会更明确;基于AI计算特性,AI模型OTA更新会成为标配;IoT设备或上游供应商可能要把更多的工夫花在AI和TinyML专业知识上——涉及到的能力会更多样,不管是用开源工具、选择与三方AI解决方案企业合作,还是自己去积累专业能力;生态构建和拥抱开发者社区会变得更重要。mK8esmc

这些好像会对IoT价值链持续产生影响,对IoT产品和相关厂商提出了更高的要求(虽然很多其实还是和单纯的边缘AI与传统AIoT是重合的)。TinyML在不同层面的发展,可能会超出我们的想象;甚至包括对计算机科学架构革新的推进。mK8esmc

2022年6月29日,全球领先的专业电子机构媒体AspenCore将与深圳市新一代信息通信产业集群联合主办【2022国际AIoT生态发展大会】,同期将举办工业互联网、智慧家庭、智慧机器人、智慧可穿戴、智慧两轮车等多场分论坛,多家企业将在论坛现场探讨AIOT领域的前景机遇。 【一键报名】现场与行业资深人士交流与互动!点击这里了解大会详情。mK8esmc

责编:Elaine
本文为国际电子商情原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 微信扫一扫,一键转发

  • 关注“国际电子商情” 微信公众号

近期热点

广告
广告

EE直播间

更多>>

在线研讨会

更多>>