向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

安霸:AI赋能视觉感知,开启智能机器新纪元

如今,业内有许多围绕“AI赋能视觉应用”的观点,这些观点的输出方既有研究机构、行业媒体,也有AI视觉应用的从业者。而作为一家AI视觉感知芯片公司,安霸半导体是如何看待“AI对视觉领域的赋能”的?

近年来,AI大模型爆火带动了视觉领域的应用,其中的行业大事件莫过于——2023年4月6日,Meta AI发布SAM(Segment Anything Model,分割一切模型)——这是一个视觉分割领域的基础模型。该模型具有在下游分割任务应用的潜力,并可与其他视觉任务组合完成更复杂视觉任务。yM3esmc

在机器视觉应用领域,除了一些自动化程度高的标准化应用场景之外,也有非常多的长尾场景,这些琐碎场景的视觉应用,需张贴大量数据标签,其训练成本也十分高昂。有了通用的图像分割模型之后,那些非标准化的应用场景也能迎来新的发展机会。yM3esmc

如今,业内有许多围绕“AI赋能视觉应用”的观点,这些观点的输出方既有研究机构、行业媒体,也有AI视觉应用的从业者。而作为一家AI视觉感知芯片公司,安霸半导体是如何看待“AI对视觉领域的赋能”的?yM3esmc

AI给机器视觉带来新变化

当然,前面说的SAM无法一步到位处理完任务,但它的出现给业界树了一个新范式。以前面对不同的任务需求,开发者要从“零”开发不同的专有模型,而现在开发者可以在SAM基础上进行优化,让它更加符合自己的任务要求,这样可节省时间和资金。yM3esmc

“随着多模态大语言模型的问世,机器视觉市场迎来了新的机遇和变革,”安霸半导体技术(上海)有限公司软件研发总监汤坚评价道,“通过将语言与视觉相结合,多模态大语言模型不仅能够准确地理解和处理图像,还能够自主学习和理解视频等非语言模态的信息,更加高效地处理多源信息,从而实现更全面的信息分析和应用。”yM3esmc

汤坚还指出,AI的迅猛发展也让机器视觉应用得到了拓展,例如:yM3esmc

  • AI能够更快速地识别和分析图像信息,从而提高工厂生产效率,提供更加准确和丰富的视觉体验;
  • 机器视觉通过利用深度学习技术,可更加细致地分析图像中的细节,从而减少误判和漏判的情况,提升其在工业生产、品质检测等领域的应用价值;
  • AI助力机器视觉应用于医学图像诊断领域,可以提高医疗诊断和疾病筛查的准确性和效率;
  • 利用机器视觉技术开发的智能农业设备,能够自动识别植物并进行分类,可以提高农业生产的效率,以及农作物的品质和产量。
  • 而在机器人市场,AI视觉SoC给机器人带来环境感知、信息处理、分析决策等多种更复杂的能力。有了AI视觉SoC的加持,机器人将会变得越来越智能。

作为一家算法优先技术至上的企业,安霸在多个领域都展现了卓越的成绩,其应用领域包括了汽车视觉、安防摄像机、机器视觉、消费电子、机器人等细分行业。yM3esmc

其中,汽车行业是安霸的重点应用领域之一,最近几年公司在不断推出汽车视觉产品。比如,在去年4月的上海车展期间,安霸推出了基于CVflow 3.0 AI架构的AI视觉系统级芯片CV72AQ。该芯片支持摄像头、毫米波雷达和超声波雷达的融合,其CPU性能比上代CV22AQ提升了2倍,支持在各种神经网络下高效运行,在同等功耗的情况下,比上一代产品AI性能高6倍。yM3esmc

在机器人方面,安霸正致力于开发更加智能化、高效化的机器人技术平台。例如,在最近结束的2024 CES上,安霸发布了Cooper开发者平台,该平台集成了软/硬件,以及优化的AI模型,为安霸全系列AI芯片产品在机器人市场的应用提供支持。yM3esmc

除了在以上两个领域有突出表现之外,安霸在其他领域也取得了诸多新成绩。比如,在安防摄像机领域,多家国际大型品牌商基于安霸新一代AI芯片的产品陆续进入量产;在机器视觉领域,IDS的首款在实时视频流中实现AI感知叠加的工业相机,就融合了安霸AI和图像处理技术;在消费电子领域,Insta360的Go 3及Ace Pro也采用了安霸的技术。yM3esmc

AI视觉SoC系列拓展至机器人领域

目前,安霸正针对机器视觉市场积极投入。该公司正与不同应用领域的机器视觉公司携手,展开工业自动化和机器人方面的合作,并陆续推出基于AI视觉SoC芯片的新产品。前面提到的Cooper开发者平台,支持安霸CV全系列芯片和参考平台,减少了硬件差异带来的困扰。yM3esmc

简单来说,Cooper是一套灵活度高、模块化和预训练的软/硬件开发工具。其中,Cooper Metal硬件平台,涵盖AI SoC和底层硬件开发板集合解决方案;Cooper Foundry软件平台,涵盖Cooper Core核心组件、Cooper Foundation AI应用组件、Cooper Vision视觉感知组件和Cooper UX应用交互组件。yM3esmc

用户可基于Cooper开发者平台的统一工具包,使用不同的安霸AI SoC创建多芯片系统。安霸方面表示,Cooper开发者平台将不断扩充安霸的生态系统,增加硬件制造商来生产PCIe接口的AI加速卡和模块化核心系统,为Cooper Metal硬件平台添加更多新产品。yM3esmc

目前,安霸的AI视觉SoC覆盖了从中阶到高阶算力产品的不同市场需求,其最高阶AI芯片,既可用于量产智驾域控制器,也可运行多模态大模型,单次推理功耗显著低于当前市场上通用GPU解决方案;中高阶AI芯片上提供了已优化的生成式AI处理,可应用于要求低功耗的场景和产品,比如自带本地应用的智能盒子、送货机器人等。yM3esmc

值得注意的是,与传统的基于GPU/FPGA技术的SoC相比,安霸的AI视觉SoC系列具备诸多优势——yM3esmc

首先,其AI视觉SoC系列设计理念遵循“算法优先”,并针对CVflow架构进行了量身定制。通过片上缓存和稀疏化神经网络的优化方式,大幅降低算法运行过程中的内存带宽消耗,从而实现了在单位能耗下的最佳AI性能。在达到同等AI性能的场景下,安霸SoC通常比GPU和FPGA有更低的功耗,因而利于设计更灵巧,更敏捷的机器人。yM3esmc

其次,单芯片集成了高度灵活可编程的ISP流水线设计,即使在低光照条件下,也能提供出色的高清图像,实现更好的彩色夜视和全天候的AI感知。安霸的AI SoC支持硬件加速的传统双目立体视觉算法,以及采用神经网络技术的新一代双目立体视觉算法,为机器人系统的3D感知提供了坚实基础。除了可见光视觉,安霸SoC搭配Cooper SDK也支持多种非可见光传感器,包括ToF、结构光、热成像传感器等。yM3esmc

此外,AI视觉SoC系列单芯片还拥有高效的H.264/H.265视频编码器,为机器人的感知和决策系统提供了完整的单芯片解决方案,并且可实现对实时场景高质量记录和回灌,利于做AI数据积累和算法模拟。这不仅大幅降低了机器人系统的整体硬件成本,还降低了软件的复杂性。yM3esmc

“协同开发模式和“可信计算架构

在汤坚看来,安霸除了产品和方案的优势之外,其他优势还体现在与合作伙伴的合作方式,以及公司对数据安全的处理方面。yM3esmc

前面我们提到融合了安霸AI和图像处理技术的IDS工业相机,采用了安霸技术的Insta360 Go 3和Ace Pro,以及基于安霸新一代AI芯片的安防摄像机等产品。针对这些产品,安霸与合作伙伴采取怎样的合作形式?yM3esmc

据汤坚透露,安霸与合作伙伴采用“协同开发”的方式合作。具体来看,安霸负责优化底层硬件加速模块、AI工具链、图像处理和完整SDK,以及对安霸参考设计主要功能的支持。而合作伙伴则负责开发和优化AI视觉算法。yM3esmc

例如,在智能门禁系统中,安霸的SoC芯片与合作伙伴的人脸识别和活体检测技术相结合,能够实现安全可靠的人脸识别和门禁控制。同样地,在智能产线系统中,安霸的SoC芯片与合作伙伴的物体识别和分拣技术相结合,能够实现高速可靠的产品检测和分类,减少误判和漏判。yM3esmc

“目前,安霸正针对机器视觉市场积极投入。我们与不同应用领域的机器视觉公司携手,展开工业自动化和机器人方面的合作,并陆续推出基于AI视觉SoC芯片的新产品。”安霸SoC的特有架构非常适合以超低功耗同时运行视频处理和AI计算,它可将视频上下文学习和场景理解应用于各种设备,从而涵盖安防设施、自主机器人以及众多工业应用。yM3esmc

在机器视觉领域,安霸也随时与客户保持深度沟通和交流,时刻了解他们对数据安全的需求和关注点。汤坚介绍说,公司在处理数据安全方面打造了一套完整的解决方案,名为“安霸可信计算架构”(代号为磐石),包含芯片信息安全设计,底层软件设计,系统优化加强,信息安全部署工具,文档和API等。该系统对数据的传输范围和方式进行保护,重要数据得到加密保护,隐私数据不离开终端设备,上传到云端的数据都会先进行脱敏和加密处理。yM3esmc

在硬件设计方面,安霸的AI视觉SoC通过特殊硬件的存储和加密单元,实现系统的安全启动、安全运行和安全升级。基于安霸可信计算架构的AI视觉SoC已经在国内外多个市场的头部客户完成产品量产验证,符合相关的信息安全法规。yM3esmc

小结

如果说,传统的视觉SoC是机器人的“眼睛”,给机器人带来环境感知能力。那么AI视觉SoC则是机器人的“眼睛和大脑”。有了AI视觉SoC的加持,机器人将会变得越来越智能。我们相信,像安霸这类发力AI视觉感知芯片的企业会越来越多,同时,AI视觉SoC也将能撬动海量的应用空间。yM3esmc

责编:Clover.li
本文为国际电子商情原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫,一键转发

  • 关注“国际电子商情” 微信公众号

推荐文章

可能感兴趣的话题