Graphcore IPU：上千个处理器同时工作，且多核之间保持高效通信！

在11月7日由ASPENCORE主办的“全球CEO峰会”上，Graphcore联合创始人兼CEO Nigel Toon跟《国际电子商情》分享了相关发展策略。3OTesmc

Graphcore是一家怎样的公司？

很多人对Graphcore这家公司感到陌生，它是一家于2016年创办的人工智能芯片设计初创公司，总部位于英国。其处理器芯片直接对标英特尔、英伟达之类的芯片制造巨头，为智能驾驶、云服务等应用提供更灵活、更易用、更高技术水准的产品支持。3OTesmc

人工智能因其设计的复杂性和高门槛的应用，一般都伴随着资本的助力，Graphcore也不例外。2016年10月，Graphcore获得第一笔金额为3200万美元的A轮融资；2017年7月获得由欧洲VC Atomico领投的价值3000万美元的B系融资，同一年还获得5000万美元的C系列融资；2018年12月，再获得Atomico和投资控股公司Sofina共同领投的2亿美元的D轮融资。3OTesmc

截至目前，Graphcore共获得3.25亿美元的投资，公司市值达到17亿美元。2019年10月21日，胡润研究院发布《2019胡润全球独角兽榜》，Graphcore排名第138位，是西方半导体产业界唯一的“独角兽”企业。3OTesmc

3OTesmc

Graphcore所有的投资者，都对其旗舰智能处理器单元（IPU）的潜力很感兴趣。Nigel Toon强调了红杉资本对Graphcore的投资。他表示：“红杉资本除了投资Graphcore，还投资了业界很多知名的厂商，红杉投资人得知Graphcore做的事情非常有趣且极具创新性，所以找到我们谈投资事宜。”3OTesmc

3OTesmc

Graphcore联合创始人兼CEO Nigel Toon3OTesmc

IPU处理器有何不同？

从CPU、GPU到FPGA再到ASIC，人工智能芯片技术针对不同的应用场景，都会对算力、算法等要求不断升级。Graphcore的IPU处理器是完全不同于前面几类处理器类型的全新架构的AI处理器产品。3OTesmc

3OTesmc

Graphcore的IPU处理器3OTesmc

Graphcore 的IPU特点可概括为：（1）同时支持 Training 和 Inference；（2）采用同构多核（many-core）架构，超过1000个独立的处理器；（3）支持 all-to-all的核间通信，采用Bulk Synchronous Parallel的同步计算模型；（5）采用大量片上SRAM，不需要外部DRAM。3OTesmc

据介绍，IPU处理器是迄今为止最复杂的处理器芯片，它在一个16纳米芯片上有几乎240亿个晶体管，每个芯片提供125 teraFLOPS运算能力。一个标准4U机箱中可以插入8张卡，卡间通过IPU-Link互连。8张卡上的IPU可以看做一个处理器工作，提供 1.6PetaFLOPS的运算能力。3OTesmc

3OTesmc

与CPU和GPU不同，IPU是专门为AI/Machine Learning设计的处理器。IPU强大的并行处理能力，实现了快速训练模型和实时操控，这使得Graphcore能够在自然语言处理以及理解自动驾驶方面取得重大进展，这是区别于其他处理器的一个重要因素。3OTesmc

“我们接触过的所有创新者都说使用GPU正在阻碍他们创新。如果仔细看一下他们正在研究的模型类型，你会发现他们主要研究卷积神经网络。因为递归神经网络和其他类型的结构，并不能很好地映射到GPU，加上没有足够良好的硬件平台，其研究领域受到限制。而这正是我们将IPU推向市场的原因。”Nigel Toon说。3OTesmc

Graphcore IPU为机器智能提供了更高效的处理平台。“目前，应用端有越来越多的需求出现，但诸如CPU、GPU等很难有技术突破。而IPU的特色在于，速度非常快，可以支撑很多不同的神经系统，可以做出新的技术突破。”Nigel Toon强调说，有一点非常明确，IPU是一个处理器，基于这样一个处理器和一些算法，Graphcore可以通过软件来实现，保证了足够的灵活性。3OTesmc

除了CPU和GPU，FPGA被认可是现阶段较好的实现AI功能的处理器产品，特别是其并行计算能力，适用于云端加速应用。3OTesmc

“大家常常对CPU解决不了的问题，试图用FPGA来解决，其实FPGA用的大量场景不在AI领域，而是在网络和存储加速里面。另外，针对AI应用，FPGA无法支持训练，另外易用性差，只可以做一些inference场景。而IPU很明确，专为机器智能或AI应用场景设计，可同时做训练和推理。” Graphcore销售副总裁卢涛补充表示，“IPU是一个处理器，针对IPU我们开发了一套叫做 Poplar 的软件，对程序员来说，在 IPU 上进行开发就是写一个TensorFlow或者Pytorch 的程序，可能就几十行代码，易用性非常好。”3OTesmc

相比竞品，IPU有哪些优势？

在巨大市场前景的推动以及巨额资本的加持之下，目前市场上出现了很多人工智能芯片公司，其中不乏独角兽企业。3OTesmc

Nigel Toon表示：“我们的做法是完全不同的。如果你看一下目前市面上比较广泛应用的训练芯片，你就会发现，他们都是比较类似于GPU的图形处理单元，他们做出来的芯片在创新的部分微乎其微。但是Graphcore很不一样，我们有在更大层面上进行创新，而不是小的改进。IPU 同时有上千个处理器在工作，单个IPU的存储带宽能达到45TB，比性能最快的HBM提升了50倍以上，且在相同算力的基础上能耗降了一半。”3OTesmc

据了解，借助Graphcore的IPU，一个完整的机器学习模型可以在处理器内部生成。而且IPU处理器具有数百兆字节的RAM，可在处理器上以1.6 GHz的速率全速运行，另外其中的延迟已被线程隐藏。Nigel Toon解释说，一个4U机箱中有16个IPU，它将使用户拥有无可比拟的内存带宽，其上运行了成千上万的线程，而且同时运行，这是Graphcore得以加速机器智能工作的部分原因。3OTesmc

Nigel Toon表示，Graphcore的IPU相比友商竞品，有三个核心区别：3OTesmc

• 一是处理器的“核”的架构不同，IPU 是 MIMD 的架构；
• 二是Graphcore的knowledge model在处理器之内；
• 三是IPU能解决大规模并行计算处理器核之间的通信效率，这是个非常难的事情。在这一点上，Graphcore有大量的创新，关于多核之间如何通信，如何让软件工程师和程序员处理起来比较简单。

“我们有一个BSP的算法，是硬件和我们的软件一起协同工作的，这样对软件公司来说，虽然处理器有1000多个核，7000多个线程，但是不需要太担心通信问题，可以让软件工程师非常方便地使用，而且处理器核之间的通信效率非常高。”Nigel Toon强调说。3OTesmc

Nigel Toon强调IPU是一个专门针对AI通用且灵活的处理器。工程师可以通过编程以惊人的效率来做很多不同的事情。如果应用于云计算环境，这项技术可以非常轻松地解决问题，它功能多样，易于编程，可提供极为有效的结果，这绝对是一项致胜的技术。3OTesmc

综上可见，Graphcore的IPU是截至目前市面上功能最为强大且最易用的AI处理器芯片。被誉为英国半导体之父同时也是Arm联合创始人的Hermann Hauser先前曾经这样评价过Graphcore：“这在计算机历史上只发生过三次，第一次是70年代的CPU，第二次是90年代的GPU，而Graphcore就是第三次革命。他们的芯片是这个世界伟大新架构的一种。”3OTesmc

云服务是重要的应用市场

任何强大的技术必须市场化才能够体现其价值，Graphcore的IPU主要应用方向为云计算服务器，未来也会用于自动驾驶汽车。3OTesmc

对于Graphcore的发展规划及IPU产品的市场化策略，Nigel Toon做了一些阐述：“首先，公司由年初的170人增长到了现在的400人，人员上已经两倍多了；其次，到现在为止，我们共融资了3.25亿美金，还有2亿多美金在银行里；再次，我们在跟很多大的重要客户合作，这会支撑我们下一步的巨大增长。”3OTesmc

近几年，中国市场成长为全球最大的半导体应用市场。如何看待中国市场的发展？Nigel Toon表示，中国在Graphcore的整个版图里面是具有策略性的重要市场，我们在中国的运营上会跟传统的外资公司有些不一样。首先，我们在中国不是只有销售和市场，而是会大力投资在技术能力的建设上，因为需要跟本地合作的不仅是客户，还有大量研究者和创新者，如何让IPU在本地应用得更好，中间会有很多定制化开发的工作，所以在本地会有非常重的工程技术方面的投入。”3OTesmc

在中国有两类厂商会是Graphcore的合作伙伴：3OTesmc

一类是服务器厂商。用户购买的产品更多是一台AI计算机，所以服务器厂商会是Graphcore第一类的合作伙伴。而且这个合作进展会非常快，估计再有几个月客户就会上架IPU的服务器产品。3OTesmc

另一类是云服务和云计算厂商。在新的时代，IT产品最后提供给最终用户的中间链条里，很重要的就是云服务和云计算厂商，所以Graphcore会在全球（不限于中国和美国）跟一些云服务器厂商合作。3OTesmc

11月13日，Graphcore就宣布了与微软的合作内容，并正式发布Microsoft Azure上Graphcore智能处理单元（IPU）的预览版。这是公有云领导供应商首次提供GrapchoreIPU，这些IPU从构建之初便旨在支持下一代机器学习。这一合作，证明了IPU硬件和Poplar软件栈的成熟性。3OTesmc

之前，Graphcore与Dell建立了密切的合作关系。Dell是Graphcore的投资者，透过与他们合作，Graphcore顺利地进入企业应用市场，并透过多种不同形式将其技术提供给客户。3OTesmc