智能音箱、智能家居如今涉足AI领域是个热门话题,到市场上就体现在这类产品的出货量以及厂商的宣传口径上。比较有趣的是,虽然智能音箱的所谓“主控”芯片制造商总在宣传自身的AI属性,绝大部分芯片内部还是鲜有AI专核,或者说神经网络专用计算单元。大概这类边缘设备的AI算力需求,靠CPU或可能包含的GPU就可以达成...
不过随着边缘算力需求提升,智能语音芯片算力加强本身也是这两年智能家居、智能音箱发展的趋势。比如面向智能音箱的主SoC中,CPU部分就有算力越来越高的趋势。不过通用处理器在面向智能音频设备时,效率并不高,所以我们看到有厂商开始为芯片加DSP与AI专核(NPU)。b1Kesmc
这其中相对典型的全志科技近期推出的R329芯片及其智能语音解决方案,藉由这颗芯片及对应解决方案,我们大致也能窥见当前智能家居/智能音箱在AI这条路上的发展思路和方向,顺便看看在这类芯片真正有了AI专核以后,高算力的AI智能语音芯片是什么样子。b1Kesmc
b1Kesmc
全球智能音箱芯片市场的主要玩家包括了高通、Intel、苹果、全志科技(Allwinner)、瑞芯微(Rockchip)、晶晨半导体(Amlogic)等。我们并不清楚在全球范围内或者国内,“主控”芯片厂商在智能音箱设备中具体的市场份额——不过从既有智能音箱的主芯片来看,国内的竞争似乎也相当激烈。b1Kesmc
就全志来说,天猫精灵、小度在家、小度音箱Play、京东叮咚、小爱音箱Play、小爱音箱mini、腾讯听听、网易云音箱、索尼LF-S80D等这些相对较热的智能音箱都在用全志的主控芯片,这也让全志R328、R16、R58成为比较知名的智能音箱主控芯片。全志的R系列在定位上是面向边缘低功耗应用的芯片产品,不只是智能音箱产品:R40/R16另外相对知名的是在Banana Pi上有应用,R16也是石头科技扫地机系列产品的主控。b1Kesmc
R系列产品中的R328去年也得到了Aspencore的“2019全球电子成就奖”音频处理器产品奖。在去年3月份的中国家电消费电子博览会上,全志展示过其强噪音环境的识别能力。就产品编号来看,R329似乎是R328的迭代产品,不过全志科技发言人告诉我们,这两款产品是不同定位的。b1Kesmc
其中“R329是高阶定位,着力于大算力,3-8麦远场智能语音交互,可应用于带电池的超低功耗产品上,且接口丰富”,为当前市场中高端智能音箱提供更好的解决方案;而“R328偏向中端到入门级市场,2-3麦远场智能语音交互,成本更低”。b1Kesmc
全志科技表示,R329的两大主要特点就是高算力与低功耗。其中高算力的部分,也更多涉及到了DSP与NPU。我们就尝试从这两方面来看看R329的产品特色。在此之前首先来全局看一看R329的参数配置与特性:b1Kesmc
- 双核 Cortex-A531.5GHz 主频;b1Kesmc
- DSP:双核 HIFI 4,400MHz 频率;b1Kesmc
- NPU:周易 AIPU,800MHz, 0.256T;b1Kesmc
- 存储:片上SRAM;内置 128MB DDR3;b1Kesmc
- 扩展:集成多路音频ADC和DAC,3路I2S和8通道DMIC,同时集成LDOs。b1Kesmc
针对完整的智能音箱方案,全志也提供配套的WiFi与蓝牙芯片、音频ADC芯片等,满足不同客户需求。b1Kesmc
从这一串配置大致就能看出R329在定位上是预备做高算力的,而且主要针对的是不带屏幕的智能语音交互产品。通用处理器部分选择的是Arm Cortex-A53微架构:这部分在整个系统的职能通常是跑操作系统、应用、网络连接等。全志更早的R系列主流方案用的是A7微架构——这也是市面上不少竞品的选择,还有一些选择了A35。b1Kesmc
A53和A7都属于高能效比的架构方案,这两者在渲染管线上有着比较多的相似性,比如顺序8级管线。不过前者又有比较显著的同频性能提升,包括改用64位Armv8-A指令集架构与扩展,更完整的超标量支持。A53的双发射有着更强的灵活性,分支预测精度有改进;另外整数、浮点单元、Neon以及存储性能都有提升。b1Kesmc
后续的A35实际更多的着眼于效率,它在性能方面定位于A7同档,整体微架构与A53也很相似——前端有一些变化,在取指单元上做了重新设计,取指带宽对能效做了权衡,指令队列更小;Neon/浮点管线在面积效率上有变化。b1Kesmc
b1Kesmc
全志方面为我们提供了A53相较A35的性能提升数据,除了每个周期整数乘法与浮点单精度与双精度FLOPS性能,还有一些基准测试。这个数据也基本符合Arm早前官方给出的,基于不同场景A35性能大约是A53的80%左右。具体到R329芯片,相比R328“提供1.58倍整数算力,1.98倍浮点算力”——后者采用的是双核A7(1.2GHz),所以这个程度的提升也在预期中。b1Kesmc
从通用处理器选择A53就能看出R329的定位,不过在IP选择上更能凸显高算力的应该还在于DSP与AI专核。前文就已经提到通用处理器部分跑的是操作系统、应用、网络连接等;DSP负责信号处理算法、音效;还有AI专核,即NPU专门用于本地ASR(自动语音识别)、NLP(自然语言识别)和TTS(Textto Speech)——都是在本地执行的,也就是我们常说的边缘计算。b1Kesmc
R329的DSP部分是两个HIFI 4核心——这是CadenceTensilica HiFi DSP系列IP中的一个,在家族定位中也属于偏向高性能的DSP,在手机、车载、数字电视之类的产品上就有相对广泛的应用生态。HIFI 4实则本身就支持多通道基于对象的音频、数字助手前端处理和基于神经网络的ASR,虽然我们知道全志选择了将其中的部分特性交给NPU去完成。b1Kesmc
从全志发言人了解到这两个HIFI 4核的其中一个可用作“音频前处理,如降噪、回音消除、唤醒词识别”;一个则可用于“音频后处理,实现音频解码、音效增强、录音等”;配合片上的SRAM可实现“低功耗小模型双麦降噪算法与小模型深度学习唤醒词”。从这个描述可见R329的DSP也有典型的轻度AI计算属性。双核DSP的设计在全志的其他R系列产品中也相当少见,这种设计本身也是为了针对部分音频应用场景提供专门的计算单元,获得更好的能效比,与低功耗相关。有关低功耗的部分还将在后文提及。b1Kesmc
不过似乎在全志看来,仅通用处理器+DSP(以及片上SRAM)的设计,在实现更高算力方面仍然不够,所以R329还选配了一个专门的AI专用处理器:周易AIPU。周易AIPU是Arm中国研发的AI处理器IP。加AI专核在行业的同档竞品中似乎还是比较罕见的。b1Kesmc
b1Kesmc
Arm中国此前有提到过AIPU相比DSP的优势,加上现在更多的AI专核也有考虑支持可编程性的问题,以适应不同算法。Arm中国能够利用自身优势来构建AI软件生态,而DSP虽然也能做AI处理,但不同架构间始终没有形成规模生态,对软件开发而言并没有那么友好。另外当然也就是AI专核拥有一套AI和神经网络优化的指令集,在算力和效率上,运行一些专门的负载任务时也会更出色。b1Kesmc
Arm中国2018年11月发布的“周易”平台,主要包括两部分,一是AIPU,二是Tengine框架。AIPU最大的特点就是拥有一套AI和神经网络优化指令集,实现包括张量指令、实现定制硬件加速单元的特定AI指令,以及AI计算的标量指令等,另外也支持用户自定义硬件实现。b1Kesmc
支持包括TensorFlow等各种通用框架也是当代AI处理器的标配了,Arm中国的资料提到AIPU“支持用户一键式加载算法”,并且通过高效、灵活的张量处理单元(tensor execution cell)实现编程灵活性。b1Kesmc
有关AIPU比较具体的效率,全志也提供了一份算力与功耗对比的数据,如上图所示:这个程度的效率当然并不令人意外,毕竟AIPU是AI专核。不过在性能上相较600MHz的HIFI 4有25 倍的优势仍然能够表现出当代开发AI专用处理器的价值和趋势。需要注意的是,这里的对比限于单核性能与功耗。b1Kesmc
据了解,全志R329是第一款公开发布的采用周易AIPU的芯片,得到了Arm中国的大力支持,说明双方对未来NPU在智能音箱及人工智能其它领域的应用是非常看重的。所以也比较容易想见R329在面对竞品时有着算力上的更大优势。b1Kesmc
b1Kesmc
至于周易平台除了AIPU之外的Tengine框架,它实际并不依赖于AIPU,应该算是整个Arm AI生态的组成部分。它能够对现有Arm架构的芯片算力做提取,所以Tengine也支持Arm CPU、Mali GPU以及第三方AI单元,为AI应用开发提供一个抽象的运行时接口。全志针对R329自己也有为开发者提供全套软件工具链,很大程度应该也是在为周易生态添砖加瓦。b1Kesmc
在更具体的应用上,全志表示:“ASR、NLP、TTS等技术对专用AI处理器提出了迫切需求;传统算法也逐渐被AI算法替代,国内外均有发布,用深度学习做端到端的算法,相对于传统降噪、回声消除和关键词识别算法,效果更优,具有更高的识别率。”b1Kesmc
所以全志也告诉我们,在R329用上DSP+NPU+2MBSRAM时,让大模型双麦降噪算法跑在DSP上,大模型深度学习唤醒词跑在NPU上,能够实现低功耗特性。这应该是权衡算力与功耗之后,一种相对合理的搭配方式。b1Kesmc
DSP+NPU的搭配,本身就是为了提供更到位的运算效率,理论上自然能够在达成相同算力的情况下达成明显更低的功耗,前文Cortex-A7、HIFI 4 DSP以及AIPU的对比就提到专用核心不只是算力上的显著领先,还在于相同算力下的AI计算单元功耗仅有通用处理器的几十分之一。b1Kesmc
不过在实现低功耗的问题上,R329集成在片上的2MB SRAM也是相当重要的组成部分。这种在片上集成较大容量SRAM的设定,在全志以往的R系列产品及同档竞品中也并不多见——某些竞品也有片上SRAM,但同档的配置通常在256KB这样的水平上。b1Kesmc
较小的SRAM本身是无法运行低功耗降噪算法+唤醒模型的,还是需要搭配更慢的DDR。在 SRAM的配置下,算法模型大部分算力可以放到SRAM中运行。所以全志表示,R329的待机功耗为(1)内置硬件VAD(语音活动检测),做声音检测亦能实现30mW以下的待机;(2)DSP+RAM,实现小模型双麦降噪算法、小模型深度学习唤醒词,则为50mW待机功耗;(3)DSP+NPU+ SRAM,让大模型双麦降噪算法跑在DSP上,大规模深度学习唤醒词跑在NPU上,实现60mW待机功耗。所以R329本身适用于做带电池的方案。b1Kesmc
最后,相关I/O部分实则也是值得一提的。R329集成了2路音频DAC,可以直接外挂模拟功放实现立体声,1.1声道输出,通过I2S则可以实现5.1/7.1声道的音频输出;集成多路音频ADC——相比竞品有更强的音频接口扩展性,也就能够提供多麦拾音方案。b1Kesmc
未来我们再观察全志R329的市场表现,大致可以窥见智能语音解决方案的这种高算力是否会成为智能家居市场的趋势。在全志看来,这个答案还是比较肯定的。全志在接受我们采访时,就算力需求在时代变迁中的变化举了个例子:b1Kesmc
“比如刚开始通过MP3音频格式实现multiroom,客户对于这个功能很惊喜,但随着客户逐步习惯智能语音交互这一基本功能后,就提出智能音箱的音质也要跟传统音箱对标,音频的传输格式就从MP3大幅提升到了AAC,再叠加multiroom,这个功能对应的对AP的算力要求就会出现倍数增加,因为是音频功能的体验,还需要确保很高的实时同步性。”b1Kesmc
“消费者的要求越来越多,也越来越高,使得对于AP的规格和算力的要求也在同步提升,智能音箱在不断增加新的功能,比如multiroom、TWS、DLNA、BT MESH、更震撼的音效;客户逐步不再满足简单EQ和DRC的处理,虚拟低音、3D环绕立体声等高阶音效的需求不断提出。”这大概就是R329出现的契机。b1Kesmc
Strategy Analytics发布的研究报告指出,2019年全球智能音箱出货量总计1.25亿台,比2018年增长了60%。在阿里、百度、小米等推动下,中国智能音箱的出货量从2018年的2190万增长到了2019年的5200万,呈现井喷式增长。b1Kesmc
全志科技即是语音主控芯片市场的参与者,智能音箱是该公司重点投入的一个领域。2018年全志在智能音箱的R系列产品已经取得一定突破。2019年全志推出智能语音专用处理器 R328就有不错的市场成绩。R329即是基于R328的升级产品,定位于高算力、低功耗的AI语音专用芯片。b1Kesmc
全志发言人表示,2020年全志面向智能音箱会推出多款芯片。除R329之外,目前全志正在规划下一代无屏智能音箱集成WiFi/BT RTOS系统芯片,面向低成本产品市场迭代需求;而针对带屏音箱产品迭代,全志即将推出定位高性能的四核A53芯片R818。b1Kesmc
微信扫一扫,一键转发
关注“国际电子商情” 微信公众号
6月8日,由全球领先的专业电子机构媒体AspenCore与深圳市新一代信息通信产业集群联合主办的“2023国际AIoT生态发展大会”在深圳科兴科学园会议中心隆重举行。
国际电子商情讯 北京时间6月6日凌晨,2023年苹果全球开发者大会(WWDC)如期而至。万众期待的苹果Vision Pro压轴登场,堪称苹果近十年最重要的一款新产品,是整场发布会的焦点。
圆桌嘉宾(从左到右):芯原股份高级投资经理蒋丛逸,上海维享时空信息科技有限公司CEO范晓,深圳纳德光学有限公司创始人、CEO彭华军,芯原股份创始人、董事长兼总裁戴伟民,银牛微电子(无锡)有限责任公司CEO钱哲弘,深圳市亿境虚拟现实技术有限公司总经理石庆,万有引力(宁波)电子科技有限公司联合创始人王海青。
元宇宙、AR、VR、MR、XR是这一两年的大热关键词,沉浸式体验、沉浸式经济也随之兴起,应用层面从零售、餐饮、旅游、B2B产业、居家生活都应有尽有,光沉浸式内容就可以区分为使用者留在真实的环境中,故事情节会围绕使用者,即为俗称的AR应用,和使用者融入虚拟故事情节并与场景产生沉浸感,这就是VR应用。在不远的将来,相信无论是AR、VR还是MR、XR技术,一定会更快速发展,并且融入到普通百姓的日常生活当中,从而开启庞大的沉浸式经济。
VR/AR头显进一步在消费级市场渗透,还需进一步解决佩戴舒适度、设备功耗、设备成本等方面的问题。直到2023年第一季度,市场尚未出现一款现象级的头显产品,现在谈论元宇宙应用似乎为时尚早。
随着科技的进步,人工智能(AI)技术已经切入到IT系统中,并有了一些颇有成效的应用案例。日前,安克创新(Anker)和亚马逊云科技宣布成立联合创新实验室,该实验室使用了人工智能赋能业务创新。
国际电子商情22日讯 前两天,家居小家电厂商戴森官宣,新产品Dyson Zone空气净化耳机开启预售,价格定在6699元人民币,将于4月6日正式开售。
2023年度深圳计划安排重大项目830个,总投资约3.6万亿元,年度计划投资2813.5亿元,同比增长25.5%
TPCA指出,虽然在2022年第四季度受到富士康郑州工厂停摆影响,造成台湾PCB销售出现一定下滑,但台商PCB制造营收仍连续六个季度单季突破2千亿新台币的规模。受惠于汇率下降及前三季业绩强力拉动下,2022年全年台商PCB制造营收仍达9,033亿新台币(约为302.86亿美元),较上年8,178亿新台币增长10.5%(美元计价成长率为3.3%)。
到2025年,智能检测技术基本满足用户领域制造工艺需求,核心零部件、专用软件和整机装备供给能力显著提升,重点领域智能检测装备示范带动和规模应用成效明显,产业生态初步形成,基本满足智能制造发展需求。 。推动百个以上智能检测装备示范应用
长达三年的“抗疫”,令餐饮、出行、娱乐等多个传统消费领域遭受严重打击。直至2022年底疫情全面放开后,这些消费领域才得以缓慢回暖。
工信部及17部委于2023年1月19日发布了关于印发《“机器人+”应用行动实施方案》的通知。在该通知中,工信部及17部委列举了《“机器人+”应用行动实施方案》的主要目标、深化重点领域“机器人+”应用、增强“机器人+”应用基础支撑能力、强化“机器人+”应用组织保障等信息。
7月13日,兆驰股份发布2023上半年业绩预告。
7月13日消息,据sammobile报道,三星现已在韩国推出了98英寸8KNeoQLED电视,型号为QNC990,售价为4990万韩元(当前约2
近日,山东省人民政府办公厅印发《实施先进制造业“2023突破提升年”工作方案》(以下简称《工作方案》)。
受惠于生成式人工智能应用市场的成长,在各云端运算供应商与IC设计公司发展人工智能芯片的情况下,台积电相关订
7月12日,教育部部长怀进鹏在全国高校科技创新暨优秀科研成果奖表彰大会上表示,将针对核心技术“卡脖子”问题,
7月13日,华为在其2023创新和知识产权论坛上公布了三项专利许可收费标准,分别为手机、Wi-Fi和物联网。
美国零售联合会(NRF,National Retail Federation)发布按2022财年零售量排序的2023年度“美国零售百强”榜(20
一年的结束通常是回顾和反思的时候。
近日半导体行业动态频频,一批半导体项目先后签约、竣工、投产,涵盖了半导体设计、材料、制造、设备等多个领域
【招银研究|宏观点评】企业贷款边际修复——2023年6月金融数据点评
根据外媒报导,英特尔(Intel)已经证实,将停止对NUC(Next Unit of Compute,下一代计算单元)业务的直接投资,并转变策略
当地时间7月11日,欧洲议会通过了一项通过促进生产和创新确保欧盟芯片供应的计划,并制定了应对芯片短缺的紧急
2023年7月11日,矽典微发布新一代智能毫米波传感器SoC ICL1112、ICL1122两款芯片。提升了超低功耗检测和极远
传感解决方案释放AIoT和数字化全部潜力,实现“万物互联和AI无处不在”。
新能源转型浪潮下,整个汽车行业的供应链体系正在发生着意义深远的变化。
本次在中国举办3地巡回论坛,就是为了向国内RISC-V产业圈布道自身在RISC-V领域的能力图谱,并重磅宣布SiFive亲
报告显示,消费者期望了解车辆材料和零部件的来源和可持续性水平,并获得汽车制造过程中端到端的可见性。
集成电路(IC)作为电子信息产业的基石,是关系国家安全和国民经济命脉的战略性、基础性和先导性产业。而IC设计是
2023年7月4日,业内知名的数字前端EDA供应商思尔芯(S2C),发布了最新一代原型验证解决方案——芯神瞳逻辑系统S8-4
贸泽电子 (Mouser Electronics)宣布将于7月11日-13日重磅亮相2023慕尼黑上海电子展。届时,贸泽电子将携手国
WhisperExtractor依靠一项颠覆性技术,解决了希望实现语音用户互动或声音分类的电池供电设备的主要挑战之一,即
人类在面对重大自然灾害、事故、突发公共卫生事件时,应急通信保障必不可少,有这么一家公司,通过将无人机与小型
近日, 2023中国独角兽企业大会在苏州举办,亿铸科技荣登 “2022中国潜在独角兽企业榜“。
Cirrus Logic 助专业音频产品制造商轻松集成和定制其产品,音频体验不受转换器影响
点击查看更多
北京科能广告有限公司深圳分公司 版权所有
分享到微信
分享到微博
分享到QQ空间
推荐使用浏览器内置分享
分享至朋友圈