将高级AI功能集成到SoC中经常会暴露SoC架构的软肋。 SoC的DNA(其“本性”)强壮程度不会超过其设计环境(其“养成”)所赋能。了解如何选择合适的工具和流程,特别是正确的IP,可以帮助你培育表现出色的AI SoC。探索Synopsys的 DesignWare IP,可助你实现令人惊艳的AI。
在过去十年中,设计人员开发了各种硅技术,能够以足够快的速度运行先进的深度学习数学,以探索和实现人工智能(AI)应用,如目标识别、语音和面部识别等。机器视觉应用目前通常比人类更精确,它是推动新的片上系统(SoC)投资以满足日常应用AI开发的关键功能之一。UrQesmc
在视觉应用中使用卷积神经网络(CNN)和其它深度学习算法已经产生了这样的影响——即SoC内的AI能力正变得普及。 Semico的《2018年人工智能报告》对此进行了有效总结:“......某种程度的AI功能几乎在各类硅片中都很强大、且发展势头强劲。”UrQesmc
除视觉应用外,深度学习还用于解决复杂问题,例如蜂窝基础设施的5G实施,以及通过称为自组织网络(SON)来配置、优化和修复自身的能力来简化5G操作任务。 5G网络将增加新的复杂层,包括波束成形、毫米波(mmWave)中的附加频谱、载波聚合和更高带宽,所有这些都需要机器学习算法在分布式系统中适当地优化和处理数据。UrQesmc
行业巨头和数百家初创公司都致力于将AI功能推广到各行各业的大量新的SoC和芯片组——从云服务器农场到每家厨房的家庭助理。 SoC设计师正在使用更多来自生物学的例子而不仅仅是他们旨在复制的神经网络;他们拥抱——利用设备的基本构建模块(本性或DNA),以及AI设计的培育(环境方面的设计工具、服务和专业知识等)——这两种概念,以期超越竞争对手并不断改进产品。UrQesmc
在SoC中添加AI功能突显了当今用于AI的SoC架构的弱点。在为非AI应用构建的SoC上实现视觉、语音识别和其它深度学习/机器学习算法时,SoC的资源会捉襟见肘。选择和整合IP清楚地确定了AI SoC的基线效率,它构成了AI SoC的“DNA”或本征特性。 (参见:《AI SoC的DNA》)。例如,引入自定义处理器或处理器阵列可以加速AI应用中所需的大规模矩阵乘法运算。UrQesmc
然而,培育设计这一元素会影响各部分在硬件中如何协同工作,或者如何优化IP以实现更有效和优化的AI SoC。优化、测试和基准测度(benchmark)SoC性能的设计流程需要工具、服务和/或专业知识来优化AI系统。通过定制和优化在设计流程中培育设计可最终决定该SoC在市场中的成功。UrQesmc
随着AI SoC的复杂性不断增加,使用工具、服务和专业知识来降低功耗、提升性能和削减成本变得益发重要。设计师需要各种培育方法来加速其设计流程和芯片成功。UrQesmc
依靠传统的设计流程不会产生每家公司都追求的高性能、市场领先的AI方案。设计师必须考虑各种半导体方案。 Semico的《2018年市场报告》指出,“用于培训和推理的架构在不断完善,以达到可提供恰当性能水平的最佳配置。”UrQesmc
数据中心架构包括GPU、FPGA、ASIC、CPU、加速器和高性能计算(HPC)方案,而移动市场则是各种片上处理方案的盛宴,如ISP、DSP、多核应用处理器、音频和传感器处理子系统等。可通过专有SDK有效利用这些异构方案,以包纳AI和深度学习功能。此外,基于预期的自主驾驶能力,汽车市场诉求差异很大。例如,正如可预期的那样,Level 5自主驾驶SoC所支持的带宽和计算能力比Level 2+自主驾驶SoC所能支持的要高超得多。这些AI设计中的三个一致性挑战包括:UrQesmc
UrQesmc
机器学习算法面临的最大障碍之一是传统SoC架构的内存访问和处理能力不尽如人意。例如,流行的冯·诺伊曼架构就面临着对AI不够有效的诟病,导致大家竞相搭建更好的机器(即SoC系统设计)。UrQesmc
那些有幸设计第二代和第三代面向AI的SoC的玩家已经添加了更高效的AI硬件加速器和/或选择为现有ISP和DSP添加功能以应对神经网络挑战。UrQesmc
然而,简单地添加有效的矩阵乘法加速器或高带宽存储器接口虽被证明有帮助,但尚不足以成为AI的市场领导者,这一局面强化了在系统设计期间专门针对AI进行优化的概念。UrQesmc
机器学习和深度学习适用于各种各样的应用,因此设计师在定义特定硬件实现的目标方面存在很大差异。此外,机器学习数学进展迅速,使架构灵活性成为一项强力诉求。对于垂直整合的公司,他们可能能够将其设计范围缩小到特定用途、增加优化,但也可以灵活地容纳其它不断发展的算法。UrQesmc
最后,正如发布在Linley旗下的《微处理器报告(Microprocessor Report)》 期刊的《AI基准测试仍不成熟》一文所讨论的那样,人工智能算法和芯片的基准测试仍处于起步阶段:UrQesmc
“几款流行的基准测试程序可评估CPU和图形性能,但即使AI工作负载变得越来越常见,比较AI性能仍是个挑战。许多芯片供应商仅引用每秒浮点运算的峰值执行率,或者仅针对整数设计的每秒运算。但与CPU类似,由于软件、内存或设计其它部分的瓶颈,深度学习加速器(DLAs)的运行速度通常远低于峰值理论性能。大家都同意应在运行实际应用时测量性能,但在运行哪些应用以及如何运行方面各执己见。”(2019年1月)UrQesmc
有趣的新基准开始面对特定市场。例如,MLPerf目前正在研究训练AI SoC的有效性,并计划进行拓展。虽然这是解决基准测试挑战的良好开端,但训练AI SoC仅是影响系统结果的众多不同市场、算法、框架和压缩技术的一小部分。UrQesmc
另一家组织AI-Benchmark专注于对手机中的AI功能进行基准测试。手机使用少量芯片组,其中一些是早期版本,除了传统处理器之外不包括任何AI加速,采用的做法是针对AI的软件开发套件(SDK)实现。这些基准测试表明,利用现有的非AI优化的处理方案无法提供所需的吞吐量。UrQesmc
所选择的处理器或处理器阵列通常具有每秒操作的最大额定值或特定处理技术的特定最高频率。处理器性能还取决于每条指令的能力。另一方面,接口IP(PCIe®、MIPI、DDR)和基础IP(逻辑库、内存编译器)具有最大的理论内存带宽和数据吞吐量水平;在接口IP的情况下,通常由标准组织定义。UrQesmc
但是,系统的真正性能不是这些部分的简单总和;它取决于能够将处理器、存储器接口和数据管道正确连接在一起的能力。整个系统的性能由每个集成部件的能力以及如何优化这些部件来决定。UrQesmc
虽然设计师已经在AI SoC的处理器、SDK、数学和其它相关设计方面取得了快速进步,但这些变化使得进行逐项对比变得困难。UrQesmc
压缩将是边缘AI的关键组件,例如在进行实时面部识别的相机中、执行自主驾驶的汽车或运行超级图像分辨率的数字视频等应用。就使用压缩来说,市场似乎还只是蜻蜓点水。理解算法的类型以及某种压缩级别所赋能的准确度水平是困难的,且还需要试错迭代。UrQesmc
虽然多年来人们一直在讨论硬件/软件协同设计的功用,但人工智能可能会放大实际实现的重要性。共同设计AI芯片的概念不限于硬件和软件。存储器和处理器也需要专门为AI设计。UrQesmc
例如,在确定系统中每个英特尔至强主处理器内有多少个Google TPU(谷歌专为机器学习定制的一款芯片)时,共同设计显而易见,且在其单板计算机的配置和软件程序手册中对此进行了概述。UrQesmc
对同一AI算法使用不同的AI框架是协同设计可以提高效率的另一个例子。每个框架的输出可能需要不同的存储容量。在硬件设计之前了解存储容量使设计师能优化芯片的功耗、大小和性能。UrQesmc
用于AI的存储和处理方面的共同设计势在必行。例如,深度学习算法需要存储权重、激活(activation)和其它组件。有趣的是,每次都可以重新计算深度学习算法的激活,以减少内存存储。即使必须考虑额外的处理资源或额外的处理时间,内存节省和降低功耗的好处也可能超过所付代价。类似地,存储器内计算技术可能在AI SoC中扮演未来的角色。UrQesmc
这些共同设计的例子是由人工智能的新投资拉动的,这种趋势将继续需要新的和额外的专业知识。UrQesmc
UrQesmc
AI实现专家可以优化协同设计系统架构所需的权衡。专家不仅事先了解在先前的设计中任务是如何完成的,而且他们也非常了解能更好地实现成功设计的适当的工具和服务。在AI设计流程中,设计师在采用模拟器、原型设计和架构探索,以便能够快速实施最佳设计实践。UrQesmc
例如,让我们以一个必须在非常有限的功率预算下执行非常困难任务的芯片组为例。 SoC内的管道带宽必须足够宽,以便在不利用大量资源的情况下将数据从处理器移动到存储器或其它系统组件。管道越细,可以添加的处理器和内存就越多。管道越粗,可用的处理和内存越少,这直接影响AI性能。这些权衡可以在模拟器、原型设计环境和架构探索工具中建模,从而为AI设计提供关键的市场优势。UrQesmc
SoC的开发流程不断变化,但本质上包括各标准阶段,如:系统规范和架构设计;逻辑和功能电路设计;物理设计、验证和分析;制造、封装和测试;以及硅后(post silicon)验证。新的AI功能可在各阶段增加复杂性。集成的IP明确规定了某些理论上的最大能力,但设计是如何培育的决定着实现能够在多大程度上逼近理论最大值。UrQesmc
由于已经发现传统架构对于AI SoC来说效率低下,因此系统规范需要越来越多的架构探索来优化设计。因为认为传统架构效率不高,架构服务就更重要。UrQesmc
UrQesmc
此外,因利用经验丰富的设计团队进行优化和定制,AI SoC与“代”俱进,一代更比一代强。 深度学习算法包括许多存储的权重,理想情况下它们存储在片上SRAM中以降低功耗和减少处理工作量,借助定制来优化SRAM编译器的功率和密度是个明显趋势。UrQesmc
AI在安全漏洞方面提出了新的挑战。 AI的数据往往是私有的,所开发的算法非常昂贵,并且就最终结果的准确性而言,仅破坏一个比特的代价就可能是灾难性的。 实施完整的本征可信( Root of Trust)子系统或安全区域可能很有价值,但会需要额外的沟通,以确保基于SoC流程早期开发的已定义威胁配置文件可保护特定的漏洞。UrQesmc
UrQesmc
机器学习数学可要求标量、向量和大规模矩阵乘法,以及可以设计用于优化特定算法的专用处理器。定制处理器是新型AI SoC方案最受欢迎的IP成果之一。设计自定义处理器的工具对于确保——栅级优化得到充分利用和重用以及跟上支持自定义处理器所需的生态系统的发展——这两者,都变得具有内在价值。例如,RISC-V已经普及;但它只定义了一个指令集,该指令集多次需要额外的特殊指令来处理机器学习,以及必要的编译器和用于优化的特定设计实例。设计、支持和软件实施的成本必须由内部设计团队长期规划和支持。拥有管理此要求的工具和支持可为成功实现带来巨大利益。UrQesmc
开发AI SoC需要市场上一些最具创新性的IP。例子包括快速采用HBM2e、PCIe5、CCIX等新技术以及最新的MIPI技术。为培育这些标准技术的设计实现,设计师需要可支持早期软件开发和性能验证的先进的仿真和原型设计方案。还是由于设计的不成熟和复杂性,这些工具被频繁地多地用于AI。UrQesmc
预先构建的AI SoC验证环境只能由具有AI SoC开发经验的人员使用。因此,设计服务和设计第二代和后世代芯片组的公司在上市时间方面具有早于先行者的固有优势。设计师可以依靠服务作为有效的方式来利用AI SoC专业知识,加快产品上市速度,从而松绑内部设计团队,使其专注于设计的差异化特征。UrQesmc
接口IP的硬化服务是另一种优化工具,可支持更低功耗和更小体积的实现。硬化的IP为SoC腾出了空间,以容纳更好的AI性能所需的宝贵的片上SRAM和处理器组件。UrQesmc
最后,通过专业知识和已建立的工具链,可轻松快速地对不同的AI图进行基准测试。为基准测试活动手工编写这些图表可能是项艰巨的任务,但为了解SoC设计是否能提供所需的价值所必须。依靠具有可有效快速地对这些图表进行基准测试工具的处理器可加快系统设计,确保其满足要求。UrQesmc
AI SoC正在使用一些最先进的FinFET工艺节点来提高性能、降低功耗、并增加片上存储器和计算能力。但从可测试性的角度看,最新的工艺节点会增加测试模式的数量,并增加了出现软缺陷的概率。测试集成、维修和诊断功能可帮助设计师克服可测试性障碍。 Synopsys的DesignWare STAR存储系统(DesignWare STAR Memory System)和STAR层级系统(STAR Hierarchical System)等工具可有效满足AI测试需求。UrQesmc
HBM2和未来HBM2e等新技术需要特殊的封装专业知识和能力,因此需要特殊的凸点规划(bump planning)和与AI SoC开发相关的其它封装专业知识。UrQesmc
随着AI功能进入新市场,所选的用于集成的IP提供了AI SoC的关键组件。但除了IP外,设计师在利用AI专业知识、服务和工具方面找到了显著优势,以确保按时交付设计、为最终客户提供高水平的质量和价值,以满足新的创新应用需求。UrQesmc
微信扫一扫,一键转发
关注“国际电子商情” 微信公众号
总体体现了意在促进人工智能产业发展创新的“呵护式”监管思路。
国际电子商情13日讯 当地时间周三(7月12日),美国科技大亨埃隆·马斯克(Elon Musk)在社交媒体上宣布,他领导的团队正式成立xAI公司。目前xAI的官网还很简单,除了几段文字和团队成员介绍,暂时没有太多信息。xAI定于周五在线上举办活动,该团队将在线回答提问。
物联网与人工智能技术的融合迭代衍生出智能物联网(AIoT)新业态,其终极目标是形成智能化生态体系,并在其中实现不同智能终端设备之间、不同系统平台之间,以及不同应用场景之间的
深圳市人工智能产业规模的增长,主要得益于企业规模的增长和企业数量的增加。
国际电子商情16日讯 今日,华为首次正式官宣昇思AI框架&大模型创新中心启动暨伙伴入驻仪式。同时宣布昇思MindSpore社区理事会成立。华为昇思MindSpore提供全场景深度学习框架,联合上下游企业共同打造国产化AI生态圈。
活动上AMD 董事长兼首席执行官苏姿丰( Lisa Su)称,MI300X是AMD真正为生成式人工智能设计的产品,比起英伟达的H100芯片,MI300X提供了2.4倍多的内存和1.6倍多的内存带宽,生成式AI和大语言模型需要电脑的算力和内存大幅提高。
2022-2023年的拐点已经到来…
国际电子商情9日讯 ChatGPT 的流行催生了一系列初创公司,拉开了主要技术提供商争夺市场份额的竞赛序幕。
从显卡王者到AI新贵,英伟达凭什么赌赢了大趋势?一个关键原因在于其广受人工智能领域追捧的芯片产品,目前是一卡难求……
聚焦通用大模型、智能算力芯片、智能传感器、智能机器人、智能网联汽车等领域。
美东时间 5月24日周三美股盘后,NVIDIA发布了一季度财报。财报显示,第一季度收入 71.9 亿美元,环比增长 19%,数据中心收入达到 创纪录的42.8 亿美元,2024 财年第二季度收入预期为 110 亿美元。
国际电子商情19日讯 华为招聘今(15)日发布了一则消息,宣布面向全球招募"天才少年",提供5倍薪酬。
7月13日,兆驰股份发布2023上半年业绩预告。
7月13日消息,据sammobile报道,三星现已在韩国推出了98英寸8KNeoQLED电视,型号为QNC990,售价为4990万韩元(当前约2
近日,山东省人民政府办公厅印发《实施先进制造业“2023突破提升年”工作方案》(以下简称《工作方案》)。
受惠于生成式人工智能应用市场的成长,在各云端运算供应商与IC设计公司发展人工智能芯片的情况下,台积电相关订
7月12日,教育部部长怀进鹏在全国高校科技创新暨优秀科研成果奖表彰大会上表示,将针对核心技术“卡脖子”问题,
7月13日,华为在其2023创新和知识产权论坛上公布了三项专利许可收费标准,分别为手机、Wi-Fi和物联网。
美国零售联合会(NRF,National Retail Federation)发布按2022财年零售量排序的2023年度“美国零售百强”榜(20
一年的结束通常是回顾和反思的时候。
近日半导体行业动态频频,一批半导体项目先后签约、竣工、投产,涵盖了半导体设计、材料、制造、设备等多个领域
【招银研究|宏观点评】企业贷款边际修复——2023年6月金融数据点评
根据外媒报导,英特尔(Intel)已经证实,将停止对NUC(Next Unit of Compute,下一代计算单元)业务的直接投资,并转变策略
当地时间7月11日,欧洲议会通过了一项通过促进生产和创新确保欧盟芯片供应的计划,并制定了应对芯片短缺的紧急
2023年7月11日,矽典微发布新一代智能毫米波传感器SoC ICL1112、ICL1122两款芯片。提升了超低功耗检测和极远
传感解决方案释放AIoT和数字化全部潜力,实现“万物互联和AI无处不在”。
新能源转型浪潮下,整个汽车行业的供应链体系正在发生着意义深远的变化。
本次在中国举办3地巡回论坛,就是为了向国内RISC-V产业圈布道自身在RISC-V领域的能力图谱,并重磅宣布SiFive亲
报告显示,消费者期望了解车辆材料和零部件的来源和可持续性水平,并获得汽车制造过程中端到端的可见性。
集成电路(IC)作为电子信息产业的基石,是关系国家安全和国民经济命脉的战略性、基础性和先导性产业。而IC设计是
2023年7月4日,业内知名的数字前端EDA供应商思尔芯(S2C),发布了最新一代原型验证解决方案——芯神瞳逻辑系统S8-4
贸泽电子 (Mouser Electronics)宣布将于7月11日-13日重磅亮相2023慕尼黑上海电子展。届时,贸泽电子将携手国
WhisperExtractor依靠一项颠覆性技术,解决了希望实现语音用户互动或声音分类的电池供电设备的主要挑战之一,即
人类在面对重大自然灾害、事故、突发公共卫生事件时,应急通信保障必不可少,有这么一家公司,通过将无人机与小型
近日, 2023中国独角兽企业大会在苏州举办,亿铸科技荣登 “2022中国潜在独角兽企业榜“。
Cirrus Logic 助专业音频产品制造商轻松集成和定制其产品,音频体验不受转换器影响
点击查看更多
北京科能广告有限公司深圳分公司 版权所有
分享到微信
分享到微博
分享到QQ空间
推荐使用浏览器内置分享
分享至朋友圈