广告

8位芯片突破AI技术瓶颈

8位芯片突破AI技术瓶颈

IBM研究人员开发出使用8位浮点数成功训练DNN的数字AI芯片,同时可在深度学习模型上保持原有的准确性,而其模拟AI芯片也采用了8位精度的内存乘法与相变内存……

9LResmc

随着在美国旧金山举行的国际电子组件会议(IEDM)以及在加拿大蒙特利尔举行的神经信息处理系统大会(NeurlPS)双双启动,对于任何希望迎头赶上人工智能(AI)研发进展步伐的人来说,最近正是把握庞大机会的最佳时刻。9LResmc

例如,IBM研究人员介绍其打造数字和模拟AI芯片的新AI途径。IBM声称其数字AI芯片首次展现“使用8位浮点数成功训练深度神经网络(DNN),同时在一系列深度学习模型和数据集上完整保持准确性(accuracy)。”9LResmc

另外,IBM研究人员在IEDM还展示了一款模拟AI芯片,采用了8位精度(precision)的内存(in-memory)乘法以及相变内存。9LResmc

IBM Research-Almaden副总裁兼实验室主任Jeffrey Welser在接受《EE Times》访问时指出,“我们确实认为目前进行中的这些工作——例如试图降低精度以提高性能提升并降低功率——对于持续推进AI非常重要。”9LResmc

这一点至关重要。Weiser解释说,因为这个世界正从“狭义AI”(narrow AI)转变为“广义AI”(broad AI),例如我们从“用AI在因特网上辨识猫”进展到“分析医学影像,或者我们希望能够将文本和成像信息整合在一起,以提出解决方案”。9LResmc

他补充说:“所有这些更广泛的问题需要更大的神经网络、更大的数据集和多模态数据集……为此,我们需要改变架构和硬件来实现这一切。”9LResmc

Weiser认为IBM发表的两篇论文可看出“一连串有趣的进展”,有助于使业界走向“广义AI”的未来。9LResmc

市场研究公司Linley Group总裁兼首席分析师Linley Gwennap说:“机器学习继续迅速发展。现有硬件无法有效处理研究人员建构的最大神经网络,因此他们正在寻找各种新方法来提高性能和效率。”9LResmc

Gwennap补充说,这些新的发展将会对于硬件供货商带来巨大压力,因为芯片公司“必须灵活、快速地在这个混乱的市场中生存”。9LResmc

AI的GPU时代结束

IBM大胆预测GPU在AI领域的主导地位即将结束。9LResmc

Welser说:“GPU能够为绘图处理进行大量的平行矩阵乘法运算。这种矩阵乘法恰巧与神经网络所需的完全相同。”在他看来,“这有点巧合,但它非常重要。因为没有那些‘GPU’,我们永远无法达到我们目前已在AI实现的性能。”但是,Welser补充说,“随着我们更能掌握关于如何实现AI的更多知识,目前也正着手寻找方法设计一种更高效的硬件。”9LResmc

降低精度

提高效率的途径之一是降低AI处理所需的精度。9LResmc

Welser解释说:“几年前我们开始意识到一个大方向是,虽然习惯于非常精确的计算——以32位计算浮点作为标准,甚至64位,才能为真正准确的计算类型倍增精度,但这一点在AI中并不一定非常重要。”9LResmc

他强调,在AI中,“对于神经网络在意的是当你展示一个影像或单词时,它是否能得到正确的答案。当我们问它是猫还是狗时,它回答说是一只猫。如果答案正确,你并不一定会注意到其间进行的所有计算过程。”9LResmc

理想情况下,AI应该模仿人眼。Welser说:“如果你从一扇起雾的窗子看出去,你看到一个人走在街上。这是一个低度定位的影象……但是你可能经常会说:‘喔,那是我妈走过来了!’所以,只要你得到正确的答案,视觉影像是否“正确精准其实是无关紧要的。”9LResmc

他解释说,这就解释了AI处理中精度逐渐较低的趋势。9LResmc

Welser继续说道:“对于32位计算,我必须在32位上进行计算。如果我们可以在16位上进行,那基本上只需要一半的计算能力,或者可能是芯片面积的一半甚至更少。如果你可以再降低至8位或4位,那就更好了。”他说,“所以,这让我在面积、功率、性能和吞吐量方面获得了巨大的胜利——我们能够以多快的速度完成这一切。”9LResmc

8285c331-4edb-4141-ac1d-a3080cddc51b.jpg9LResmc

(来源:IBM Research)9LResmc

然而,Welser坦承,“很长一段时间,我们认为我们必须持续使用32位精度进行AI培训,当时别无他法。”9LResmc

2015年,IBM Research发表了针对传统CMOS技术的新型数据流相关文章,推出为AI模型训练与推论而降低精度的途径。IBM展示以16位精度的训练模型,其准确度约相当于32位训练模型,而不至于牺牲准确度。9LResmc

从那时起,IBM观察到:“降低精度的方法很快地被采纳为业界标准,16位训练和8位推论如今已经司空见惯,并促使新创公司和创投业者(VC)投资大量涌入,投入打造降低精度的AI芯片。”尽管存在这样一种新兴趋势,但由于人们需要保持模型的高准确度,因此,小于16位的“训练”几乎不可能实现。9LResmc

如何实现?

Welser说IBM开发一连串让研究人员可应用于AI处理的方法,实现了这一目的。例如,他说:“我们确实有一部份以8位来做,有些部份采用16位进行累积,而其他部份则以不同组件实现,所以不至于失去精度。”9LResmc

换句话说,比起普遍将8位计算应用于整个操作,IBM团队的研究成果更加复杂,但研究人员找到了各种方法组合,分别应用于流程的不同部份。9LResmc

Welser证实,“没错,这完全正确。例如,我们现在可以使用8位进行所有的权重更新过程,但仍然使用16位进行一些加法和累积步骤过程。事实证明这非常重要,因为16位加法比16位乘法更容易,所以实际上以16位的方式执行它是有帮助的。”9LResmc

也许更重要的是,正如Welser所指出的,IBM的研究成果关键在于“提出一种数据流架构,让数据以非常流畅的方式流经芯片,而且以这种方式运行最终也不至于造成瓶颈。”9LResmc

最后,“我们证明您可以有效地使用8位浮点,以取得较过去人们使用16位或32位相同的准确度。”9LResmc

8位操作的障碍?

Linley Group的Gwennap表示,最新的GPU和AI芯片支持使用IEEE定义格式的16位浮点(FP16)。9LResmc

然而,他补充说,“尽管如此,大多数开发人员还在使用FP32训练神经网络。”他说,“8位FP的问题在于缺乏标准格式,只有几种可能的指数组合和有意义的尾数。在标准(IEEE或某些非正式协议)建立之前,芯片制造商将发现难以在硬件中有效实施。”9LResmc

那么在商业世界多久才开始使用8位精度进行训练?Welser说目前还不得而知,因为“我们现在看到第一次使用16位技术的情况越来越多,但是产业界大部份还是着眼于32位……”9LResmc

然而,他强调说他并未看到任何降低精度的实际障碍,“只要我们能够显示出相同输出的结果。”他指出,从用户的角度来看,“如果芯片速度更快、耗功更低,价格更便宜,而且也能得到同样的答案,就没什么好计较的了。”9LResmc

当然,在其下的软件基础设施修改必发挥作用。9LResmc

Welser证实,“你必须拥有能够降低精度的软件或算法,使其得以正确执行。」由于现在所有的软件架构都是为使用GPU和32位而建构的,「所有的一切都必须为接受16位或8位而进行修改。”9LResmc

在用户存取实际硬件之前,业界可能持续使用已知的内容。9LResmc

8位精度的内存乘法

IBM在IEDM展示该公司所谓的8位精度内存乘法以及设计中的相变内存(PCM)。9LResmc

333e856d-caa8-45d3-8a26-927ea2685a65.jpg9LResmc

在IEDM上,IBM科学家发表了一项关于新型内存内运算(in-memory computing;IMC)装置的研究,它比起当今的商业技术达到了更低100-1000倍的运算能耗级。该组件非常适用于边缘AI应用,例如自动驾驶、医疗保健监控和安全性(来源:IBM Research)9LResmc

工程界已经意识到,降低能耗的关键是尽量减少运算架构中出现数据必须从内存移至处理器进行运算的机会。这种移动需要耗负大量的时间和精力。9LResmc

对于更高效AI处理的需求促使许多人致力于研究内存内运算。Mythic在追逐这一点的AI芯片新创公司中脱颖而出,但其后还可能出现更多竞争对手。9LResmc

在Welser看来,模拟技术“很自然地适于边缘AI”。正如从运算发展史的观察,模拟运算需要低功耗,证明它具有高能效。但它也不准确。Welser说:“这就是为什么数字运算最终胜过模拟运算。”9LResmc

但是,Tirias Research首席分析师Kevin Krewell表示,模拟正在回归中,因为内存内运算与模拟运算可以相互搭配。他解释说:“内存数组保持神经网络权重,模拟组件则执行总和和触发。”9LResmc

Krewell补充说,“挑战在于保持模拟的正确校准,以及过程和温度变化的准确性。此外,内存和模拟组件也不像数字组件那样扩展。”9LResmc

权重是内存的阻值

同样地,Welser解释说,模拟运算中神经网络使用的权重是“存在于内存内部的阻值”。它们不必移入和移出,都是固定的。Welser说:“换句话说,由于采用内存内运算架构,内存单元兼作处理器,有效地实现了储存和运算的双重任务。”9LResmc

然而,Welser所说的挑战是:“我们将要使用的是什么阻值状态?它能使我们在训练时将其设置为各种不同的阻值吗?它必须够准确才可用。”9LResmc

Welser解释说,虽然数字AI硬件会降低精度,但模拟至今一直受到内部精度相对较低的限制,从而影响了模型精度。9LResmc

在开发接近8位精度的能力时,IBM使用了相变内存(PCM)。Welser说,PCM长久以来一直用于模拟内存。在此情况下,“我们使用PCM来回储存更多不同的阻值。更重要的是,我们正使用一种新颖的架构。”9LResmc

IBM的论文详细介绍在纯量乘法运算中实现8位精度的技术。该公司声称,这导致“以往的模拟芯片准确度提高了大约一倍,而且也比同类精度的数字架构功耗更低33倍”。9LResmc

Gwennap坦言IBM已经在PCM上研究一段时间了,但他称之为“仅仅是一项研究计划”。9LResmc

Gwennap认为这种PCM途径的最大挑战在于可制造性。“模拟特性因不同的晶体管以及产在线的不同芯片而异,这就是为什么大多数产业都使用较不易受这种变化影响的数字电路。”9LResmc

《EE Times》向Linley Group和IBM分别询问了商用AI芯片(如Mythic)使用内存内运算架构的情况。Gwennap说:“Mythic似乎最接近于将这项技术投入生产,但即使如此也还需要至少一年的时间。”9LResmc

IBM承认,“Mythic采用了一种专注于使用内存内运算的有趣方法。”然而,IBM也指出,Mythic的芯片“仅适用于推论应用”。9LResmc

根据IBM发言人,IBM的不同之处是:“我们相信完整的AI解决方案需要加速推论和训练。我们正在开发可用于推论和训练的非挥发性内存组件,并使其发展得更成熟。”9LResmc

本文为国际电子商情原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Junko Yoshida
ASPENCORE全球联席总编辑,首席国际特派记者。曾任把口记者(beat reporter)和EE Times主编的Junko Yoshida现在把更多时间用来报道全球电子行业,尤其关注中国。 她的关注重点一直是新兴技术和商业模式,新一代消费电子产品往往诞生于此。 她现在正在增加对中国半导体制造商的报道,撰写关于晶圆厂和无晶圆厂制造商的规划。 此外,她还为EE Times的Designlines栏目提供汽车、物联网和无线/网络服务相关内容。 自1990年以来,她一直在为EE Times提供内容。
  • 微信扫一扫,一键转发

  • 关注“国际电子商情” 微信公众号

  • 【独家盘点】马来西亚54家半导体工厂(附表)

    2021年6月底,马来西亚政府宣布无限期“封国”,业内人士担忧半导体市场会受到重大影响。一些激进的观点认为,马来西亚此举将促使下半年芯片、被动器件“大涨”,而“封国”与“涨价”之间是否存在必然联系呢?

  • 【盘点】2021年Q3厂商涨价信息一览

    进入Q3季度,新一轮半导体芯片原厂调价及交期变动的消息传出。《国际电子商情》整理了近期厂商发出的涨价情况信息(详见文末表格)...

  • AIoT产业乘风起,智慧社区开启万亿级市场!

    2020年突如其来的疫情打乱了原有的产业秩序,给各行各业带来难以估量的冲击,甚至有过激者谈“疫”色变。但挑战与机遇并存,防疫期间贡献颇大的AIoT产业,例如AI安防、线上医疗、智慧社区等,也从2021年开始得到更多的政策扶持和资本目光,发展前景广阔。

  • 半年利润暴增9倍!国产半导体企业业绩在缺芯行情中预增

    2021年上半年,随着全球疫情常态化,各国经济开始复苏,消费电子需求增长,工业、汽车需求回暖,但半导体行业产能紧张、严重缺货的情况不降反增,导致下游终端市场“涨声”不绝,全球半导体市场保持持续高景气。对于上游企业来说,这波“超级行情”直接带动了公司业绩的增长;尤其是国产半导体企业,今年上半年迎来业绩预增潮。

  • 高盛分析师:芯片价格大幅上涨局面今年结束

    最近高盛的分析师预计,全球芯片供应将在今年年底前后增加,同时芯片价格大幅上涨的局面也将在今年内结束,不过整体来看全球芯片市场吃紧局面将持续到2023年之前,期间的价格趋势仍将强于疫情爆发前的水平。

  • 日增超5000例!马来西亚宣布无限期封锁,恐加剧缺芯危机..

    由于疫情严峻,且近一周日增病例均超5000例,马来西亚已决定无限期延长全国封锁措施。业者担忧,此次无限期封锁恐加剧封测产能短缺的情况,加重芯片短缺市况,还可能对全球电子产业链带去冲击。

近期热点

广告
广告

EE直播间

更多>>

在线研讨会

更多>>