『全球CEO峰会』重磅演讲者：Graphcore CEO：Nigel Toon的英国情结

11月7日-8日，在深圳与全球“连接”。TmSesmc

随着摩尔定律的放缓，前沿技术不再是人们关注的唯一焦点，创新正朝着创造差异化的方向转变，而“连接”，让一切可能变得可控。TmSesmc

ASPENCORE 第二届“全球CEO 峰会”仍选址在全球创新指数最强的深圳举办（点击查看峰会介绍与报名 ），峰会将邀请世界各地行业领袖和创新巨擘汇集深圳，探讨新一轮技术冲击下最热门的技术话题，搜罗差异化的创新点，准确定义下一代电子产品。TmSesmc

这是个绝佳的机会在宏观上探索影响未来的电子技术，把脉机遇与趋势，因为这次，我们请到的都是星-级-演-讲-嘉-宾！TmSesmc

本文将为您介绍的是Nigel Toon。TmSesmc

半导体领域近些年的共识在于，芯片设计与制造的成本，随工艺迭代正呈现出指数级蹿升。尤其对于最新制造工艺而言，单是晶圆厂成本的增加，就已经可以抵消行业年复合增长率。所以风投前些年对半导体行业的投入就显得尤为谨慎。行业唯有Intel、英伟达这样具备深耕资历，而且财力雄厚的企业才能持续。TmSesmc

近两年彻底改变这一现状的技术是AI——即便人工智能实际上惠及到了信息技术的整个垂直领域，半导体却是最大的受惠方。前一阵我们在采访Mentor IC EDA执行副总裁Joseph Sawicki时，他就提到：“比如在移动领域，半导体行业可以拿下AI创造总体20%的价值。”机器学习、深度学习得以为半导体行业再度吸引资金。来自PitchBook的数据显示，仅是2017年，风投资金往AI芯片初创企业砸下的钱就达到了1.13亿美元，是2015年的3倍之数。TmSesmc

ImageNet项目在全球火热以后，所有开发者都知道图像识别的效率提升要靠AI。而硬件则理应依赖于GPU——这让英伟达立时找到了新的业务增长点，所以英伟达成为AI行业的第一个真正受益对象。GPU具备高度并行的数据操作效率。不过在应对高维度、高复杂性的数据结构时，GPU的效率还是不够的。TmSesmc

美国卡耐基梅隆大学（Carnegie Mellon University）曾经有一度要求园区内部的研究人员控制芯片用度，因为AI研究已经对学校的供电系统造成了影响。学校的一名教授Franz Franchetti当时就表示，学校正在寻找新的供电方案来缓解问题。这实则已经表明，AI对系统能效比的要求已经超越GPU所能达到的水平。TmSesmc

这也是谷歌TPU这类专用计算芯片问世的原因。而包括Graphcore、Mythic、Wave Computing、Cerebras、深鉴科技、寒武纪、地平线这些企业也开始大量涌现，专为AI应用场景量身定制芯片。TmSesmc

其中尤以2016年，Nigel Toon和Simon Knowles共同成立的英国公司Graphcore最为瞩目。这是一家真正的独角兽企业，去年12月份的公司估值达到了17亿美元。这家公司在诞生初期，就吸引了一大批投资者，目前已经获得超过3亿美元的融资，投资方背景包括了BMW、微软、三星、戴尔、红杉资本。这也是Aspencore邀请Nigel Toon进行峰会演讲、参与峰会讨论的重要原因。TmSesmc

去年12月份，Graphcore获得2亿美元D轮融资，由风投公司Atomico和Sofina领投，这一轮融资的投资方列表中就出现了BMW和微软，而包括Dell Technologies Capital、三星、C4 Ventures这类机构是从A轮就跟投到D轮的（2016年10月获得A轮融资3200万美元；2017年7月B轮融资3000万美元——Atomico领投，这轮融资包含了OpenAI的一些个人投资者，以及DeepMind联合创始人Demis Hassabis；2017年11月C轮融资5000万美元——红杉资本领投）。TmSesmc

我们无从了解Graphcore当前的运营状况，不过Nigel Toon表示预期2019年公司能够达到的营收是5000万美元。TmSesmc

TmSesmc

Graphcore CEO Nigel Toon（右）与CTO Simon Knowles（左），图片来源：EE TimesTmSesmc

含着金汤匙出生的Graphcore

按照Toon本人的说法，这些资金主要用于招募顶级工程师人才；就今年来看，是在北京开设办公室。目前，Graphcore在伦敦、台湾、北京、Palo Alto、Oslo等地均设有办公室，与此同时，公司的员工人数要扩充到现在的3倍。很显然，Graphcore是有全球化发展目标的，也是同类初创企业中最早迈出这一步的。不过Graphcore现如今的这些成就，并非Nigel Toon的一蹴而就：可以说Graphcore是真正含着金汤匙出生的企业。TmSesmc

Nigel Toon出生于Watford，他的父亲曾在圣安德鲁斯大学担任讲师；Toon毕业于英国的赫瑞瓦特大学（Heriot-Watt University），当时Toon就读的是电子与电气工程专业。大学期间他就很喜欢用空闲时间改造家用计算机，供室友玩游戏。TmSesmc

上世纪90年代Toon加入美国科技企业Altera，并在Altera担任欧洲业务的副总裁与总经理。2002年，Toon和Knowles（现任Graphcore CTO）在英国Bristol共同创办了Icera——这家公司致力于打造3G modem芯片，2011年英伟达以3.7亿美元的价格收购了Icera。TmSesmc

实际上，Graphcore现有的大量技术人才都来自于Icera（以及前Arm、英伟达等名企的员工）。所以在技术储备上，Graphcore具备半导体行业的经验。Knowles表示：“在卖掉Icera之后不久，我和Nigel在一家酒吧里，就想：我们是不是应该再干一票？”TmSesmc

我们能够挖掘到的有关Nigel Toon的花边新闻并不多，不过他在半导体行业内的能力储备依然可以从各类支离破碎的资讯中理出头绪。TmSesmc

在2009年的时候，picoChip（提供无线飞基站，以及多核DSP技术半导体解决方案）曾聘用Toon担任公司总裁和CEO职务。2012年，picoChip被Mindspeed公司收购（后续Mindspeed无线业务被Intel收购），虽然这桩交易在当时的飞基站市场并不算理想。TmSesmc

在Nigel Toon的履历中，还有两段比较知名的是，他曾在XMOS公司（提供视频与音乐处理与控制IC）担任董事会主席；并且在2016年，Imagination Technologies聘用Toon为董事会的非执行董事；2017年，嵌入式监控与传感器制造商Moortec聘用Toon为董事会顾问。TmSesmc

TmSesmc

在“含着金汤匙出生”的资源储备里，Graphcore的真正技术核心实际上是前文就提到的首席技术官Simon Knowles。Toon评论Knowles的“大脑大概有地球那么大”。Knowles于80年代毕业于剑桥，很早就开始在英国政府研究实验室研究早期的神经网络，随后创办的Element 14在2000年以6.4亿美元的价格出售给了博通。TmSesmc

在接受彭博社采访时，Knowles提到当年剑桥大学的信息工程教授Steve Young针对计算机对话系统（limits of computational dialogue systems）做了一次演讲（Steve Young就是后来把语音识别服务卖给苹果的教授，而该服务应用到了Siri中）。Knowles针对这个演讲问了Steve Young很多问题，主要是相关数据精度的，因为精度对能效起到决定性作用。TmSesmc

几天以后，Steve Young告诉Knowles，他正好有学生在研究这方面的问题，他们的研究每次运算采用64bit数据。Knowles认为，用更低的精度，8bit就能达成相同的功能；与此同时可针对更多数据做计算。这实际上是Graphcore诞生的契机，也是Knowles决定革新芯片计算架构的开始。Graphcore前期融资工作最早便从2013年开始，即便我们知道这家公司至少也已经是2016年以后的事情了。TmSesmc

不过实际前期找投资的过程也并不容易，当时绝大部分风投机构对于AI芯片的构想还是持怀疑态度的，或者说整个风投环境那会儿都不大看好半导体初创企业。有趣的是，让这件事真正产生转机的，是2016年谷歌推出了自家的AI芯片TPU，投资方突然就对这个领域产生了兴趣。TmSesmc
Knowles表示：“一夜之间，他们说出的每一件事，都是我们前些年尝试去告诉人们的。”他甚至还特地发了一封邮件给谷歌AI业务的负责人Jeff Dean，内容是：“同志，谢谢你！（Thanks, mate.）”这其实是一个时代的开始，也是到目前整个AI芯片市场甚至要成为红海市场的开始。TmSesmc

Nigel Toon的英国情结

在Graphcore的早期天使投资人名单中，有一个相当显眼的名字Hermann Hauser——此人是Amadeus Capital Partners 投资基金的创始人；他更有名的一个身份是Arm的联合创始人，在行业内被称作英国半导体之父。TmSesmc

Hauser给予Graphcore的评价有多高呢？“这在计算机历史上只发生过三次。”Hauser说，第一次是70年代的CPU，第二次是90年代的GPU，“Graphcore是第三次。他们的芯片是这个世界伟大新架构的一种。”TmSesmc

2016年恰好也是日本SoftBank公司收购英国Arm的一年，这一年Graphcore正式诞生了，Nigel Toon 那会儿年满52岁，Simon Knowles 54岁。Toon曾有一度在接受英国每日电讯报采访时提过，Graphcore是以Arm为对手的。这个目标听起来似乎有点儿大，不过这与Nigel Toon的英国情结有关。TmSesmc

虽然Graphcore的办公室开始着力在全球各地生根，但公司总部始终设在英国的Bristol——也就是当年Toon创建Icera所在地（XMOS也是位处Bristol的公司）。Toon表示：“我有超过5年时间在美国硅谷工作，但我从来没有真正生活在那儿（I have spent over five years of my working life in Silicon Valley without ever living there），很难想象我的生命有多长时间都浪费在了飞机上。”TmSesmc

“我很喜欢这里（Bristol）有时很凉的天气，我们这儿的啤酒也是温暖的。对年轻人来说，这是个相当宜居的地方。这儿不大，也不是很小。”TmSesmc

TmSesmc

甚至在英国脱欧问题上，他都在做准备，虽然他也在为将来可能无法获得欧洲的科技人才担忧：“我们需要在全球市场上竞争，获得最好的人才；我们需要这样一个环境：我们要吸引那些人，把他们带到英国来。”TmSesmc

在Nigel Toon看来，英国相当缺乏半导体乃至科技企业的土壤，市场缺乏好的分析师；伦敦证券交易所也难见科技企业，就只有Sophos、Micro Focus和Sage这些规模还算大，过去这些年的表现也并不显眼。“英国市场没有投资者基础，也没有分析师基础。你会期望有分析师能够进行业务分析，提供一些好的比较信息，研究业务实际情况如何。这些在英国是相当缺乏的。投资者们无从挖掘信息，不知道投资是好还是不好。”TmSesmc

“我觉得Arm是有问题的。苹果的销量在提升，Arm的股价也随之提升，但Arm却完全没有意识到他其实还有200多个客户。”在Toon看来，Arm对市场理解上的缺失，导致2016年公司以240亿欧元出售给了SoftBank。早在2011年，英伟达收购Icera的时候，他就曾抱怨过英国投资市场资源和信息的匮乏。所以，在恰当的时机他也需要考虑美国和高盛这样的投资方。TmSesmc

英国市场缺乏高增长、暂时低营收的科技创投环境。在Toon看来，投资方也很少着力在10年跨度的方向上。Arm卖身之后，在硬件领域，英国缺乏真正的科技领导者。不过Toon却认为在风投市场，英国也因此有着“相当的深度（good amount of depth）”。所以Toon坚持将Graphcore的核心放在英国Bristol，即便其目标是扩张全球。TmSesmc

就连Graphcore这一代IPU硬件产品代号都叫Colossus——这是全球首个电子可编程计算机的名字，是二战期间英国政府为破解德军加密信息而制的。在每次Graphcore获得阶段性胜利，比如说拿到融资的时候，公司内部就会开香槟以示庆祝——而香槟品牌还是当年丘吉尔最爱的Pol Roger（宝禄爵）。Toon说，这代表了他们的骄傲，将来他们可能会给英国构建第一个能够和苹果或者阿里巴巴媲美的大规模企业。TmSesmc

架构变革的IPU

在摩尔定律放缓的年代，除了Intel、台积电这样本身就着手先进制造工艺的企业，几乎所有的半导体公司都在说架构变革。以往我们也从很多层面谈过架构变革，当代公认的架构变革实际上就是AI、神经网络、深度学习，甚至再往未来发展、具备算法自我演进能力的软件定义芯片。TmSesmc

实际上，除了摩尔定律以外，登纳德缩放比例定律（Dennard Scaling）也在失效。后面这个定律，讲的是晶体管密度变大，功耗需求则会保持不变。但显然这和既有事实已经不符了，晶体管越多，芯片变得越来越烫，能量要求越高。这个时候是要求某种针对效率的全新电路设计的。这其实也是我们不止一次撰文提到，专用计算芯片越来越占有一席之地的原因，因为针对某个应用场景的优化带来了比通用计算高得多的能效比。AI芯片即是其中一种。TmSesmc

我们很难直接下定论说，Graphcore就是带来这种架构变革的第一人，但至少Graphcore也是第一批去着手这么做，而且卓有成效的企业。Toon与Knowles所处的时间节点恰好是这种变革的迭代期，他们期望构建一种全新类型的处理器，以不同的方式来构思计算机负载。Graphcore将他们对当代通用计算架构做变革的产品叫IPU（Intelligence Processing Units），在消耗能量低于GPU的情况下，就充分发挥处理能力。TmSesmc

TmSesmc

TmSesmc

或许对2019年的我们而言，这已经变得比较稀松平常了：CPU通过手机数据块来处理问题，然后对针对这些信息来跑算法或者执行逻辑操作，可并行的核心数量可能是4个。GPU的核心（或执行单元）数目会更多，能够同时执行更多任务。就AI系统来说，计算机会从不同位置并行拉来大量数据，然后进行快速、更高并行数的处理——这种流程专注于nodes节点和networks网络，而不是if-then这样的指令。TmSesmc

这其中体现出的一部分架构“变革”，比如说对传统芯片而言，存储单独于处理单元之外是种常规设计；这就导致数据的搬运工作产生了很高的能耗。Graphcore进一步整合了芯片逻辑和存储部分，如上图所示的片上分布SRAM， IPU自然达到100倍的吞吐，以及更低的功耗。TmSesmc

去年Graphcore推出的16nm ”Colossus” IPU，一片就包含240亿个晶体管，超过1200个低精度浮点运算核心以及所有机器学习所需的控制操作和超越函数，125 teraFLOPS算力。每个核心可以跑至多6个线程，所以针对一个4U架子（8张C2 PCIe卡，每个C2卡包含两个IPU），就能有10万个独立线程并行。Graphcore宣称，其数据处理和处理架构，在效率方面至多可以达到现如今性能最强的GPU的100倍。TmSesmc

TmSesmc

 TmSesmc

 TmSesmc

TmSesmc

ResNet-50 ImageNet traning测试，每秒16000张图片，8个C2加速卡，就能对战54个英伟达Volta V100（Graphcore每个C2加速卡包含两个Colossus IPU芯片）TmSesmc

IPU的几个特点，第一是被称作graphs型的计算（computation on graphs，包括了高度并行、稀疏化（sparse）、高维度模型、分布式片上存储）；第二，低精度，宽动态范围算法（混合精度，16.32，和更低）；第三，静态图形结构（编译器可分解任务、分配存储，调度messages，块同步并行、无序化、address-less通讯）；最后是Entropy Generative（比如产生统一分布整数、Generation of vectors of approximately Gaussian distributed floats等）。TmSesmc

EETimes前不久曾就技术问题专门采访过Nigel Toon（Graphcore CEO Touts 'Most Complex Processor' Ever），更多细节内容亦可从中了解。TmSesmc

 TmSesmc

TmSesmc

TmSesmc

图片来源：Graphcore.aiTmSesmc

Graphcore几个月前曾经在NeurIPS展会上，展示过一个名为Rackscale IPU-Pod的参考设计，如上图所示，这是个相对弹性的方案——可以支持大规模计算。一个单独的42U机架IPU-Pod提供超过16 PetaFLOPS混合精度算力，如果一套32个IPU-Pods（至多4096个IPU处理器）则可以将算力弹性扩展到超过0.5 ExaFLOPS。这对同硬件的training和inferencing都是相当惊人的吞吐。TmSesmc

这次，Nigel Toon要在全球CEO峰会上带来的议题为 Exascale Compute with IPUs，大约就与此相关。TmSesmc

这部分最后值得一提的是，Toon曾经多次提到，IPU是“通用机器智能处理器”，尤其为机器智能（machine intelligence）设计。“我们架构的一大优势在于，适用于现如今很多的机器学习方案，比如CNN（卷积神经网络），同时针对包括强化学习（reinforcement learning）等不同机器学习方案特别提供了优化。”“那些可能还没有训练过的算法也能跑在我们的架构上，就和旧算法一样。其他芯片对新算法可能就没有这么友好了。”TmSesmc

Toon认为，当代许多针对某些特定操作和负载优化的ASIC不会成为AI的未来。这实际上代表了AI的一种流派：即这类芯片未来是否也会朝着“通用”的方向发展。这跟当年GPU的发展之路似乎有诸多相似之处，GPU最早经历过10年的ASIC时代；但从2006年以后，却迈入了GPGPU时代，CUDA编程现在也没什么大不了。TmSesmc

实际上，以Graphcore、华为、Wave Computing为代表的AI芯片制造商，普遍已经有了弱编程特性；而谷歌TPU、Intel Nervana、地平线征途则属于相对专用的加速器，主要加速的就是卷积神经网络。我们无法断言哪一种会成为未来，不过走“通用”之路的这些产品仍存在编程难度大，以及软件生态还处在萌芽阶段的问题——虽然我们可能更看好AI芯片的通用之路。TmSesmc

TmSesmc

 TmSesmc

 TmSesmc

TmSesmc

图片来源：GraphcoreTmSesmc

Graphcore针对机器智能设计的软件工具链叫Poplar。Toon表示：“Poplar建立在计算图形抽象（computational graph abstraction）的基础上。其graph comipler的IR（intermediate representation中间层）是个大型的定向图。”Graph图像共享作为内部的representation，整个知识模型的representation最后都会分解为高度并行的工作负载，然后在IPU处理器之间进行调度和执行。“（这里 graph代表的是知识模型和应用，所有机器学习模型都用graph的形式来表达）TmSesmc

Poplar当前支持TensorFlow、PyTorch、OONX和Keras，未来还会提供更多支持。“从这些高层级的框架获取输出，喂进Poplar软件层，产生高层级的graph，并将这些graph映射到跑在IPU处理器上的一张完整计算graph上。”TmSesmc

用通俗地话来说，作为软件栈后端，Poplar采用多层级的优化，在IPU核心之间部署任务，确保任务的执行速度和效率。与此同时，针对新型的应用创新，Graphcore也为开发者提供C++层级的IPU编程，高层级支持也算是当前硬件编程的一个方向。TmSesmc
TmSesmc

去年11月，Nigel Toon确认IPU产品（前面提到的C2 PCIe加速卡）已经开始向Dell出货，面向的是数据中心设备，每台Dell-Graphcore IPU设备插8张C2卡，实现超过2 petaFLOPS算力。Toon在描述Graphcore的市场策略时提到，原本对企业市场就很感兴趣，但企业客户在垂直市场分布于不同的领域，对初创企业而言很难接触到。所以第一步就是建立起与Dell的紧密关系，然后就能触及到这一市场了，由此可以不同的形式接触到Dell的客户。TmSesmc

BMW的投资人设想Graphcore的芯片或许还能应用到汽车上。Hauser预计，每辆无人驾驶汽车都需要两个IPU硬件。这些都会成为Graphcore的未来市场。TmSesmc

但实际上，如前文所述，AI芯片领域的厮杀正越来越激烈。不仅初创企业间在博弈，加入这一战场的企业也越来越多；谷歌、特斯拉这类更下一个层级的系统设计厂商自己就愿意花钱为自己造AI芯片；另外，Intel和英伟达这些传统巨头现在也都在专用AI芯片领域发力。这会是一场近1-2年就能看出战役结果的厮杀。TmSesmc

 TmSesmc

TmSesmc

在11月7日的全球CEO峰会上，Nigel Toon将以Exascale Compute with IPUs为题探讨AI芯片技术的成长和发展。针对这一话题，您也可即刻报名与Nigel Toon进行面对面探讨。TmSesmc

 TmSesmc