广告

利用本性、借力培育打造令人惊叹的AI SoC

将高级AI功能集成到SoC中经常会暴露SoC架构的软肋。 SoC的DNA(其“本性”)强壮程度不会超过其设计环境(其“养成”)所赋能。了解如何选择合适的工具和流程,特别是正确的IP,可以帮助你培育表现出色的AI SoC。探索Synopsys的 DesignWare IP,可助你实现令人惊艳的AI。

在过去十年中,设计人员开发了各种硅技术,能够以足够快的速度运行先进的深度学习数学,以探索和实现人工智能(AI)应用,如目标识别、语音和面部识别等。机器视觉应用目前通常比人类更精确,它是推动新的片上系统(SoC)投资以满足日常应用AI开发的关键功能之一。1waesmc

在视觉应用中使用卷积神经网络(CNN)和其它深度学习算法已经产生了这样的影响——即SoC内的AI能力正变得普及。 Semico的《2018年人工智能报告》对此进行了有效总结:“......某种程度的AI功能几乎在各类硅片中都很强大、且发展势头强劲。”1waesmc

除视觉应用外,深度学习还用于解决复杂问题,例如蜂窝基础设施的5G实施,以及通过称为自组织网络(SON)来配置、优化和修复自身的能力来简化5G操作任务。 5G网络将增加新的复杂层,包括波束成形、毫米波(mmWave)中的附加频谱、载波聚合和更高带宽,所有这些都需要机器学习算法在分布式系统中适当地优化和处理数据。1waesmc

行业巨头和数百家初创公司都致力于将AI功能推广到各行各业的大量新的SoC和芯片组——从云服务器农场到每家厨房的家庭助理。 SoC设计师正在使用更多来自生物学的例子而不仅仅是他们旨在复制的神经网络;他们拥抱——利用设备的基本构建模块(本性或DNA),以及AI设计的培育(环境方面的设计工具、服务和专业知识等)——这两种概念,以期超越竞争对手并不断改进产品。1waesmc

培育AI SoC的功夫已在硅设计之外

在SoC中添加AI功能突显了当今用于AI的SoC架构的弱点。在为非AI应用构建的SoC上实现视觉、语音识别和其它深度学习/机器学习算法时,SoC的资源会捉襟见肘。选择和整合IP清楚地确定了AI SoC的基线效率,它构成了AI SoC的“DNA”或本征特性。 (参见:《AI SoC的DNA》)。例如,引入自定义处理器或处理器阵列可以加速AI应用中所需的大规模矩阵乘法运算。1waesmc

然而,培育设计这一元素会影响各部分在硬件中如何协同工作,或者如何优化IP以实现更有效和优化的AI SoC。优化、测试和基准测度(benchmark)SoC性能的设计流程需要工具、服务和/或专业知识来优化AI系统。通过定制和优化在设计流程中培育设计可最终决定该SoC在市场中的成功。1waesmc

随着AI SoC的复杂性不断增加,使用工具、服务和专业知识来降低功耗、提升性能和削减成本变得益发重要。设计师需要各种培育方法来加速其设计流程和芯片成功。1waesmc

AI设计的三大挑战

依靠传统的设计流程不会产生每家公司都追求的高性能、市场领先的AI方案。设计师必须考虑各种半导体方案。 Semico的《2018年市场报告》指出,“用于培训和推理的架构在不断完善,以达到可提供恰当性能水平的最佳配置。”1waesmc

数据中心架构包括GPU、FPGA、ASIC、CPU、加速器和高性能计算(HPC)方案,而移动市场则是各种片上处理方案的盛宴,如ISP、DSP、多核应用处理器、音频和传感器处理子系统等。可通过专有SDK有效利用这些异构方案,以包纳AI和深度学习功能。此外,基于预期的自主驾驶能力,汽车市场诉求差异很大。例如,正如可预期的那样,Level 5自主驾驶SoC所支持的带宽和计算能力比Level 2+自主驾驶SoC所能支持的要高超得多。这些AI设计中的三个一致性挑战包括:1waesmc

  • 添加专门的可高效地多地执行必要的数学运算(如矩阵乘法和点积)的处理功能
  • 用于处理深度学习所需的诸如权重和激活等唯一系数的高效内存访问
  • 用于芯片到芯片、芯片到云、传感器数据和加速器到主机连接的可靠、经过验证的实时接口

ssssss.jpg1waesmc

机器学习算法面临的最大障碍之一是传统SoC架构的内存访问和处理能力不尽如人意。例如,流行的冯·诺伊曼架构就面临着对AI不够有效的诟病,导致大家竞相搭建更好的机器(即SoC系统设计)。1waesmc

那些有幸设计第二代和第三代面向AI的SoC的玩家已经添加了更高效的AI硬件加速器和/或选择为现有ISP和DSP添加功能以应对神经网络挑战。1waesmc

然而,简单地添加有效的矩阵乘法加速器或高带宽存储器接口虽被证明有帮助,但尚不足以成为AI的市场领导者,这一局面强化了在系统设计期间专门针对AI进行优化的概念。1waesmc

机器学习和深度学习适用于各种各样的应用,因此设计师在定义特定硬件实现的目标方面存在很大差异。此外,机器学习数学进展迅速,使架构灵活性成为一项强力诉求。对于垂直整合的公司,他们可能能够将其设计范围缩小到特定用途、增加优化,但也可以灵活地容纳其它不断发展的算法。1waesmc

最后,正如发布在Linley旗下的《微处理器报告(Microprocessor Report)》 期刊的《AI基准测试仍不成熟》一文所讨论的那样,人工智能算法和芯片的基准测试仍处于起步阶段:1waesmc

“几款流行的基准测试程序可评估CPU和图形性能,但即使AI工作负载变得越来越常见,比较AI性能仍是个挑战。许多芯片供应商仅引用每秒浮点运算的峰值执行率,或者仅针对整数设计的每秒运算。但与CPU类似,由于软件、内存或设计其它部分的瓶颈,深度学习加速器(DLAs)的运行速度通常远低于峰值理论性能。大家都同意应在运行实际应用时测量性能,但在运行哪些应用以及如何运行方面各执己见。”(2019年1月)1waesmc

有趣的新基准开始面对特定市场。例如,MLPerf目前正在研究训练AI SoC的有效性,并计划进行拓展。虽然这是解决基准测试挑战的良好开端,但训练AI SoC仅是影响系统结果的众多不同市场、算法、框架和压缩技术的一小部分。1waesmc

另一家组织AI-Benchmark专注于对手机中的AI功能进行基准测试。手机使用少量芯片组,其中一些是早期版本,除了传统处理器之外不包括任何AI加速,采用的做法是针对AI的软件开发套件(SDK)实现。这些基准测试表明,利用现有的非AI优化的处理方案无法提供所需的吞吐量。1waesmc

所选择的处理器或处理器阵列通常具有每秒操作的最大额定值或特定处理技术的特定最高频率。处理器性能还取决于每条指令的能力。另一方面,接口IP(PCIe®、MIPI、DDR)和基础IP(逻辑库、内存编译器)具有最大的理论内存带宽和数据吞吐量水平;在接口IP的情况下,通常由标准组织定义。1waesmc

但是,系统的真正性能不是这些部分的简单总和;它取决于能够将处理器、存储器接口和数据管道正确连接在一起的能力。整个系统的性能由每个集成部件的能力以及如何优化这些部件来决定。1waesmc

虽然设计师已经在AI SoC的处理器、SDK、数学和其它相关设计方面取得了快速进步,但这些变化使得进行逐项对比变得困难。1waesmc

压缩在边缘的作用

压缩将是边缘AI的关键组件,例如在进行实时面部识别的相机中、执行自主驾驶的汽车或运行超级图像分辨率的数字视频等应用。就使用压缩来说,市场似乎还只是蜻蜓点水。理解算法的类型以及某种压缩级别所赋能的准确度水平是困难的,且还需要试错迭代。1waesmc

人工智能驱动协同设计

虽然多年来人们一直在讨论硬件/软件协同设计的功用,但人工智能可能会放大实际实现的重要性。共同设计AI芯片的概念不限于硬件和软件。存储器和处理器也需要专门为AI设计。1waesmc

例如,在确定系统中每个英特尔至强主处理器内有多少个Google TPU(谷歌专为机器学习定制的一款芯片)时,共同设计显而易见,且在其单板计算机的配置和软件程序手册中对此进行了概述。1waesmc

对同一AI算法使用不同的AI框架是协同设计可以提高效率的另一个例子。每个框架的输出可能需要不同的存储容量。在硬件设计之前了解存储容量使设计师能优化芯片的功耗、大小和性能。1waesmc

用于AI的存储和处理方面的共同设计势在必行。例如,深度学习算法需要存储权重、激活(activation)和其它组件。有趣的是,每次都可以重新计算深度学习算法的激活,以减少内存存储。即使必须考虑额外的处理资源或额外的处理时间,内存节省和降低功耗的好处也可能超过所付代价。类似地,存储器内计算技术可能在AI SoC中扮演未来的角色。1waesmc

这些共同设计的例子是由人工智能的新投资拉动的,这种趋势将继续需要新的和额外的专业知识。1waesmc

ddddddddddd.jpg1waesmc

AI实现专家可以优化协同设计系统架构所需的权衡。专家不仅事先了解在先前的设计中任务是如何完成的,而且他们也非常了解能更好地实现成功设计的适当的工具和服务。在AI设计流程中,设计师在采用模拟器、原型设计和架构探索,以便能够快速实施最佳设计实践。1waesmc

例如,让我们以一个必须在非常有限的功率预算下执行非常困难任务的芯片组为例。 SoC内的管道带宽必须足够宽,以便在不利用大量资源的情况下将数据从处理器移动到存储器或其它系统组件。管道越细,可以添加的处理器和内存就越多。管道越粗,可用的处理和内存越少,这直接影响AI性能。这些权衡可以在模拟器、原型设计环境和架构探索工具中建模,从而为AI设计提供关键的市场优势。1waesmc

培育AI SoC设计

SoC的开发流程不断变化,但本质上包括各标准阶段,如:系统规范和架构设计;逻辑和功能电路设计;物理设计、验证和分析;制造、封装和测试;以及硅后(post silicon)验证。新的AI功能可在各阶段增加复杂性。集成的IP明确规定了某些理论上的最大能力,但设计是如何培育的决定着实现能够在多大程度上逼近理论最大值。1waesmc

系统与架构设计

由于已经发现传统架构对于AI SoC来说效率低下,因此系统规范需要越来越多的架构探索来优化设计。因为认为传统架构效率不高,架构服务就更重要。1waesmc

fffffffffff.jpg1waesmc

此外,因利用经验丰富的设计团队进行优化和定制,AI SoC与“代”俱进,一代更比一代强。 深度学习算法包括许多存储的权重,理想情况下它们存储在片上SRAM中以降低功耗和减少处理工作量,借助定制来优化SRAM编译器的功率和密度是个明显趋势。1waesmc

AI在安全漏洞方面提出了新的挑战。 AI的数据往往是私有的,所开发的算法非常昂贵,并且就最终结果的准确性而言,仅破坏一个比特的代价就可能是灾难性的。 实施完整的本征可信( Root of Trust)子系统或安全区域可能很有价值,但会需要额外的沟通,以确保基于SoC流程早期开发的已定义威胁配置文件可保护特定的漏洞。1waesmc

gggggggggg.jpg1waesmc

电路设计

机器学习数学可要求标量、向量和大规模矩阵乘法,以及可以设计用于优化特定算法的专用处理器。定制处理器是新型AI SoC方案最受欢迎的IP成果之一。设计自定义处理器的工具对于确保——栅级优化得到充分利用和重用以及跟上支持自定义处理器所需的生态系统的发展——这两者,都变得具有内在价值。例如,RISC-V已经普及;但它只定义了一个指令集,该指令集多次需要额外的特殊指令来处理机器学习,以及必要的编译器和用于优化的特定设计实例。设计、支持和软件实施的成本必须由内部设计团队长期规划和支持。拥有管理此要求的工具和支持可为成功实现带来巨大利益。1waesmc

开发AI SoC需要市场上一些最具创新性的IP。例子包括快速采用HBM2e、PCIe5、CCIX等新技术以及最新的MIPI技术。为培育这些标准技术的设计实现,设计师需要可支持早期软件开发和性能验证的先进的仿真和原型设计方案。还是由于设计的不成熟和复杂性,这些工具被频繁地多地用于AI。1waesmc

物理设计、验证和分析

预先构建的AI SoC验证环境只能由具有AI SoC开发经验的人员使用。因此,设计服务和设计第二代和后世代芯片组的公司在上市时间方面具有早于先行者的固有优势。设计师可以依靠服务作为有效的方式来利用AI SoC专业知识,加快产品上市速度,从而松绑内部设计团队,使其专注于设计的差异化特征。1waesmc

接口IP的硬化服务是另一种优化工具,可支持更低功耗和更小体积的实现。硬化的IP为SoC腾出了空间,以容纳更好的AI性能所需的宝贵的片上SRAM和处理器组件。1waesmc

最后,通过专业知识和已建立的工具链,可轻松快速地对不同的AI图进行基准测试。为基准测试活动手工编写这些图表可能是项艰巨的任务,但为了解SoC设计是否能提供所需的价值所必须。依靠具有可有效快速地对这些图表进行基准测试工具的处理器可加快系统设计,确保其满足要求。1waesmc

测试和封装

AI SoC正在使用一些最先进的FinFET工艺节点来提高性能、降低功耗、并增加片上存储器和计算能力。但从可测试性的角度看,最新的工艺节点会增加测试模式的数量,并增加了出现软缺陷的概率。测试集成、维修和诊断功能可帮助设计师克服可测试性障碍。 Synopsys的DesignWare STAR存储系统(DesignWare STAR Memory System)和STAR层级系统(STAR Hierarchical System)等工具可有效满足AI测试需求。1waesmc

HBM2和未来HBM2e等新技术需要特殊的封装专业知识和能力,因此需要特殊的凸点规划(bump planning)和与AI SoC开发相关的其它封装专业知识。1waesmc

结论

随着AI功能进入新市场,所选的用于集成的IP提供了AI SoC的关键组件。但除了IP外,设计师在利用AI专业知识、服务和工具方面找到了显著优势,以确保按时交付设计、为最终客户提供高水平的质量和价值,以满足新的创新应用需求。1waesmc

原创
本文为国际电子商情原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫,一键转发

  • 关注“国际电子商情” 微信公众号

  • 元宇宙议题拉货,明年VR/AR设备出货量可望达到1202万台

    国际电子商情24日讯 市调机构预估,随着元宇宙将推动更多厂商投入虚拟世界的建设,社群交流、游戏娱乐、内容创作、虚拟经济以及工业应用等领域都会是近年发展的重心。

  • 全球首款台积电4nm芯片,联发科天玑9000做了哪些升级?

    北京时间11月19日,联发科发布了其最新旗舰5G移动平台天玑9000,这是业界首款采用台积电4nm制程的智能手机芯片,比据传高通11月30日将发布的基于三星4nm工艺的新一代骁龙旗舰处理器足足早了11天。天玑9000对联发科来说,具备极其重要的意义。

  • 半导体并购热退烧?单笔交易均值约17亿美元

    国际电子商情讯 市调机构在近期更新报告预测,半导体行业的“并购潮”在今年Q1创下了历史新高后有所降温,可能不会出现像去年的Nvidia收购ARM、AMD收购Xilinx那样动辄百亿美元规模的“大宗交易”...

  • 对智能化供应链的考验

    尽管新冠疫情引发了一些混乱的局面,但同时也促使了供应链创新的迅速发展。虽然这次疫情破坏的深度、广度和范围是我们前所未遇的,然而,大多数供应链业内人员都未雨绸缪,尽量减低风险,准备在2021年大展拳脚。

  • 当车载摄像头用上AI,传统CIS还能担“重任”吗?

    机器学习自2012年起热门至今,AI如今的发展也如火如荼。机器学习是计算机视觉可应用的一种解决方式。而当车载摄像头用上AI时,对CIS技术要求也随之改变,传统CIS还能担当“重任”吗...

  • 转型不易?传华为拟将云端业务一分为二...

    国际电子商情8日消息,日媒最新报道声称,一份华为近期发出内部文件显示,这家中国电信巨头计划解散仅成立了14个月的核心云端和人工智能(Cloud&AI BG)业务,考虑将相关人力和资源合并到其他业务部门...

  • AI时代,全局曝光CIS芯片助力机器视觉应用

    “在人工智能(AI)时代,我们做的很多决策、处理,都通过机器来实现。这些CPU、GPU是怎么看待世界的?该如何让它们感觉到关键的信息?实际上,这是图像传感器应该做的事情。”在ASPENCORE 3月18日举办的2021年中国IC领袖峰会上,思特威(上海)电子科技股份有限公司副总经理欧阳坚针对图像传感器在机器视觉领域的应用做了精彩分享。

  • 国产“芯”力量!30家AI芯片厂商调研报告

    Aspencore旗下《国际电子商情》姊妹媒体《电子工程专辑》分析师团队对中国本土的AI芯片设计公司进行了第一手调查和网络汇编整理,从众多AI芯片设计厂商中挑选30家,从核心技术、代表产品、典型应用场景等多个维度进行了分析。无论云端训练和推理、边缘计算还是终端AI,AI都需要高能效的算力支持,而AI芯片无疑是输送算力的硬件保障...

  • 18亿元人民币!燧原科技宣布完成C轮融资

    国际电子商情5日讯,燧原科技今日宣布完成C轮融资18亿元人民币,由中信产业基金、中金资本旗下基金、春华资本领投,腾讯、武岳峰资本、红点创投中国基金等多家新老股东跟投。

  • CES 2018值得关注的四大趋势

    CES 2018将更加强调人工智能、连接能力以及软件平台的无所不在。然而,业界能成功打造一款实现融合硬件/AI体验的共同平台吗?预计这场平台之争将在今年1月的拉斯韦加斯CES 2018开打……

  • ADI:这些创新将影响我们2018年的生活

    作为ADI公司总裁兼首席执行官的好处之一,就是能走遍全球,在不同地区与来自各行各业的客户见面,聆听他们对所面临的技术、业务和市场挑战的看法。我们的客户生产各种各样的电子设备,它们影响着我们在交通、医疗健康、通信等现代生活的方方面面。我们的讨论往往聚焦于当前该如何巧妙地在现实与数字世界之间架起桥梁,并探讨他们希望在未来实现的创新。我根据这些对话和其他研究总结出以下五个将在2018年对商业与社会产生最大影响的科技宏观趋势 。

  • 从音频到智能语音,看炬芯AI创新之路

    人工智能,可以说是今年最热的一个关键词,并推动着很多产品和产业的创新。而提到人工智能,目前主要的还是语音识别和图像识别,这两点也一直是上游芯片原厂和方案商想要突破和创新的技术关卡。

近期热点

广告
广告

EE直播间

更多>>

在线研讨会

更多>>