对于“未来的演算法能与现有半导体晶片或正在开发之新运算架构契合”这件事,我们能抱持多大的信心?随着演算法的进展速度超越硬体技术进展进步,甚至是最先进的深度学习模型都可以被布署于只要5美元的Raspberry Pi开发板。
在1980年代的处理器上执行目前最先进的演算法,与在目前最先进的处理器上执行1980年代之演算法,哪一种可以算得更快?答案令人惊讶,通常是在旧处理器上执行新演算法能算得更快。虽然摩尔定律(Moore's Law)因为是电子产业快速发展的驱动力而备受关注,但它只是驱动力的其中之一,我们经常忘记演算法的进展速度其实在很多情况下都胜过摩尔定律。upxesmc
根据德国柏林工业大学教授、知名数学家Martin Grötschel的观察,在1988年需要花费82年才能算出解答的一个线性程式设计问题,在2003年只需要1分钟就能解决;在这段时间,硬体的速度快了1,000倍,演算法的进步则达到4万3,000倍。upxesmc
美国麻省理工学院(MIT)教授Dimitris Bertsimas的类似研究结果显示,在1991年至2013年间,混合整数求解器(mixed integer solvers)演算法速度快了58万倍,同时间顶尖超级电脑的硬体速度只有进步32万倍。据说类似的结果也发生在其他类型的约束最佳化(constrained optimization)问题和质因数分解(prime number factorization)问题中。upxesmc
这对人工智慧(AI)意味着什么?upxesmc
过去五年来,AI无论在学界、业界或是新创领域都呈现爆炸性发展,最大的转折点可能是发生在2012年,当时一个来自加拿大多伦多大学(University of Toronto)的团队AlexNet,利用深度学习方法一举赢得了年度电脑视觉影像辨识大赛ImageNet Large Scale Visual Recognition Challenge (ILSVRC)冠军,自此深度学习就成为实现AI的关键方程式。upxesmc
电脑视觉的演进已蔓延至自然语言处理和其他AI领域。智慧喇叭、即时电脑翻译、机器人对冲基金(robotic hedge funds),以及web参考引擎(web reference engines)…等等新产物,已经不会再让我们感到惊讶。upxesmc
AI也成为了交通运输产业的驱动力(这也是Autotech Ventures的投资标的之一);我们已经观察到,先进驾驶辅助系统(ADAS)、自动驾驶、车队检测(fleet inspection)、制造品质控制,以及车载人机介面等等应用领域具备庞大的发展潜力。到目前为止,我们已经投资了几家在诸如ADAS、自动驾驶、视觉检测与边缘运算等应用领域开发AI解决方案的新创公司,在分析这些商机时,演算法和硬体之间的交互作用是我们进行投资决策时的关键考虑因素之一。upxesmc
基于深度学习的AI在其转折点之后,出现了对绘图处理器(GPU)的强劲需求。由于具备很强的平行运算能力,GPU对于深度学习演算法所采用的逻辑碰巧能展现惊人效率;GPU大厂Nvidia在市场竞争中脱颖而出,其股价从2013年到2018年上涨了20倍。upxesmc
当然,Nvidia竞争对手们正在努力追赶;高通(Qualcomm)、Arm和其他公司将注意力集中在AI晶片设计上,英特尔(Intel)则收购了AI晶片新创公司Nervana Systems。Google、Facebook、苹果(Apple)和亚马逊(Amazon)纷纷投入了为自家资料中心及其他计画开发自有AI处理器,也有一些新创公司(例如Graphcore、Mythic、Wave Computing、Cerebras和SambaNova)看准商机,试图设计更好的图灵机(Turing machine)系统。像D-wave Systems和IBM等其他一些公司也在积极探索后图灵时代的架构。大多数晶片开发的目标是赶上或超过Nvidia。然而,据我们所知,大多数处理器都是针对今日的AI演算法进行设计。upxesmc
尽管需要庞大的前期开发成本,我们仍将经历各种AI晶片设计的「寒武纪大爆发」。AI前景如此诱人,让产业玩家愿意投入巨资开发硬体,在以往是要让硬体与基础数学演算法匹配,但对于让现有半导体晶片或正在开发的新运算架构能与未来的演算法契合,我们有多大的信心?upxesmc
有鉴于演算法的演进速度和幅度变化是如此之快,许多AI晶片设计可能还没上市就过时了;我们推测明日的AI演算法可能会需要完全不同的运算架构、记忆体资源,以及资料传输能力等等条件。upxesmc
尽管深度学习框架已经出现很长一段时间,直到最近才真正被付诸实现,这要感谢摩尔定律所预测的硬体技术进展。最初的数学不一定是为工程实践而设计的,因为早期研究人员无法想像今日花1,000美元就能获得的运算能力有多么大。现今许多AI实作都是使用原始的数学模型,朝着准确、简单且更深层的方向发展,或者添加更多资料;但这样只会很快消耗GPU的运算容量。只有一小部分研究人员专注于改善基础数学和演算法框架的难题。upxesmc
还是有很多机会认识并利用这些新颖的数学进展,我们所观察到的方法包括精简冗余数学运算(redundant mathematical operations)而减少运算时间,将卷积压缩到较小的矩阵而减少记忆体需求,或者对加权矩阵进行二值化(binarize)而简化数学运算。这些是演算法演进的第一次尝试,其发展之快已经开始超越硬体进展。upxesmc
举例来说,从美国加州大学柏克莱分校(UC Berkeley)研究专案独立的DeepScale ,就是将应用于ADAS和自动驾驶的AI,「塞进」车用晶片(不是GPU),与仅采用演算法的物体检测模型相比较,他们的神经网路模型的运算速度要快30倍,同时在功耗和记忆体占用方面也有很大的提升,足以在这几年问世的现有硬体上执行。upxesmc
另一个演算法大跃进的案例来自美国的非营利研究机构艾伦人工智慧研究所(Allen Institute of Artificial Intelligence),该机构研究人员采用一种利用神经网路二值化的创新数学方法,已经证明可以大幅提高速度,同时降低功耗和记忆体要求;如此甚至能让最先进的深度学习模型布署于售价仅5美元的Raspberry Pi平台上。研究人员最近将这种演算法和处理工具独立为一家公司XNOR.ai,旨在于边缘装置布署AI,并进一步推动AI演算法的进步。upxesmc
有趣的是,新的二值化框架从根本上改变了最佳处理逻辑的类型,它们不再需要解决神经网路所需的32位元浮点卷积,而只需要进行位元计数运算( bit counting operations)——这将改变GPU领域的权力平衡。此外如果这些演算法与专门设计的晶片相匹配,则可以进一步降低运算资源需求。upxesmc
演算法的进步不会停止;有时需要数年甚至数十年才能发明(或者说是发现)新的演算法。这些突破无法以与摩尔定律推动的运算进展相同之方式来预测。它们本质上是非确定性的;但是当它们发生时,整个局势变化通常会让现有的主导者变成脆弱的猎物。upxesmc
畅销书《黑天鹅效应:如何及早发现最不可能发生但总是发生的事》(The Black Swan: The Impact of the Highly Improbable)的作者在书中阐明,最佳决策在很大程度上取决于分析过程是不可预测或不确定;换句话说,我们是在处理「已知的未知」(known unknowns)还是「未知的未知」(unknown unknowns)?演算法创新基本上是未知的未知,因为它们的发现时间不确定以及影响不可预测,押注于这类发展需要持续的关注。upxesmc
然而,在应用数学领域,尤其是AI应用领域,在最近二十年内出现了数次颠覆性的演算法发现,它们与GPU一起,将AI从一个不起眼的研究领域带到了商业化最前线。upxesmc
我们意识到这些运算领域「黑天鹅」的潜力,它们将使现有晶片架构成为过去,或者在一夜之间让它们的市场地位重新洗牌。对我们来说,这些「黑天鹅」最后可能会实现更安全的自动驾驶车辆,以及许多其他未知的应用案例。upxesmc
本文同步刊登于EDN电子技术设计2018年10月平面杂志;责编:Judith Chengupxesmc
(参考原文:Algorithms Outpace Moore's Law for AI,Alexei Andreev and Jeff Peters;本文作者为Autotech Ventures高层主管,该公司为专注与智慧交通相关技术的风险投资业者)upxesmc
微信扫一扫,一键转发
关注“国际电子商情” 微信公众号
国际电子商情23日讯 韩国科技巨头SK海力士日前发布的2024财年及第四季度财务报告显示,公司营业收入达66.1930万亿韩元,营业利润23.4673万亿韩元,净利润19.7969万亿韩元,营业利润率达35%,净利润率30%,均创下历史新高。这一成绩不仅超越2018年存储器市场繁荣期,还凸显了SK海力士在AI半导体存储器领域的强大竞争力。
国际电子商情讯 美东时间2025年1月20日,美国总统唐纳德·特朗普在其就职首日签署了一系列行政令,废除了前总统拜登政府的78项政策,其中包括对人工智能的监管政策。这一举动不仅引发了广泛的政治讨论,也对高科技行业和半导体产业产生了深远影响……
CSIA:共同捍卫人工智能这个全人类的智慧结晶。
国际电子商情17日讯 1月16日,中国汽车工业协会(中汽协)发布声明,坚决反对拜登政府发布的禁止使用中国智能网联汽车软硬件的规则。
在当前全球科技竞争愈发激烈的背景下,美国政府对AI芯片实施的出口管制政策成为了业界焦点。国际电子商情16日获悉,台积电董事长魏哲家在今(16)日法说会上对此政策的影响进行了回应……
国际电子商情16日讯 在全球NAND闪存市场供过于求的背景下,闪存价格已经连续四个月下跌。为此,SK海力士日前也宣布加入减产行列,这家韩国存储芯片制造商计划在2025年上半年将其NAND闪存产量减少10%……
当地时间1月15日,美国商务部BIS修订了《出口管制条例》,并把25家中国实体新增至实体清单。最新被列入实体清单的中国企业,涵盖了AI大模型公司、AI芯片设计企业以及光刻机相关企业等领域。
国际电子商情15日讯 日本政府正积极采取措施以提升其在全球芯片设计领域的竞争力,计划投入1600亿日元(约合74.37亿元人民币)支持本土芯片设计产业。这一举措标志着日本从生产环节向设计研发上游的转型,旨在缩小与中国和美国在该领域的差距……
寒武纪股市“非理性繁荣”?
2024年,中国企业纷纷抢购半导体,导致集成电路进口量显著增长。这种购买热潮的背后,是对中美科技竞争加剧的担忧,以及对美国政府可能实施更严格贸易限制、限制中国获取高端芯片的预期。
国际电子商情14日讯 在拜登政府即将离任之际,美国总统拜登通过白宫官网正式公布了针对人工智能(AI)的临时最终出口管制规则,并启动了为期120天的公众意见征询期。
国际电子商情13日讯 据媒体报道,在全球NAND闪存市场供过于求的背景下,三星电子决定将其最大的NAND生产基地——位于中国西安工厂在现有的基础上减产10%……
根据TrendForce集邦咨询最新研究报告指出,NANDFlash产业2025年持续面临需求疲弱、供给过剩的双重压力。
据TrendForce集邦咨询调查,1月21日嘉义地区芮氏规模6.4地震对邻近的晶圆代工厂、面板厂影响情况,TSMC(台积电)及
从拉各斯到内罗毕,从开罗到约翰内斯堡,线下零售渠道依然是非洲智能手机市场的中坚力量,在绝大多数地区贡献了超
荷兰特文特大学科学家开发出一种新工艺,能在室温下制造出晶体结构高度有序的半导体材料。
TrendForce集邦咨询公布了1月下旬面板报价,2025年1月下旬,电视面板价格上涨;显示器、笔记本面板价格持稳。
国家大基金队伍之一大基金三期再次出手,巨资布局人工智能(AI)。
根据TrendForce集邦咨询调查1月21日嘉义地区芮氏规模6.4地震对邻近的晶圆代工厂、面板厂影响情况,TSMC(台积电
根据Trend根据TrendForce集邦咨询最新《2025红外线感测应用市场与品牌策略》报告,目前激光雷达(LiDAR)在车用市
1月14日,美国射频厂商MACOM宣布拟投资3.45亿美元(折合人民币约25.28亿元),对其位于马萨诸塞州和北卡罗来纳州的
全球晶圆代工龙头台积电最新财报亮眼。
继美光和三星两大半导体厂商发生人事变动之后,近日,英特尔前首席架构师跳槽至高通的消息再次引发业界高度关注
根据TrendForce集邦咨询最新研究,美国2024年12月非农就业人数和制造业采购经理人指数(PMI)皆优于市场预期,美国
英飞凌位于曼谷南部沙没巴干府的新后道厂破土动工,该厂将扩大公司在亚洲的生产布局。
2024年,集成电路行业在变革与机遇中持续发展。面对全球经济的新常态、技术创新的加速以及市场需求的不断变化
雅加达,印尼- 2025年1月14日 - 全球技术解决方案供应商艾睿电子(Arrow Electronics)与印尼初创协会合作(STARFIN
无畏挑战 共创未来祥龙回首留胜景,金蛇起舞贺新程。在2025年元旦新年之际,深圳市凯新达科技有限公司(以下简
最新Wi-Fi HaLow片上系统(SoC)为物联网的性能、效率、安全性与多功能性设立新标准;
配套USB网关,轻松实现Wi-
随着与三安光电的碳化硅合资工厂落地重庆,2024年6月,意法半导体与重庆市彭水自治县同步启动了可持续发展合作
凯新达科技 自由之旅 征途同行
NVIDIA Jetson Orin™ Nano Super 开发者套件是一款尺寸小巧且性能强大的超级计算机,重新定义了小型边
德州仪器今日推出了全新的集成式汽车芯片,能够帮助各个价位车辆的驾乘人员,实现更安全、更具沉浸感的驾驶体验
广州飞虹半导体科技有限公司成立于广州越秀区,诚信经营20多年。主要研发、生产、经营:场效应管、三极管等半
近日,半导体存储品牌企业江波龙与工业和信息化部电子第五研究所(中国赛宝实验室,以下简称“电子五所”)在江波龙
深圳迈巨微电子有限公司深耕锂电池管理芯片领域,围绕电池健康和安全,电池电量计算二个核心技术能力,提供完善的
点击查看更多
北京科能广告有限公司深圳分公司 版权所有
分享到微信
分享到微博
分享到QQ空间
推荐使用浏览器内置分享
分享至朋友圈