大模型快速落地，国产芯片厂商在做什么？

“2022-2023年的拐点是什么？是AI大模型的出现让获取知识的边际成本开始变成固定成本。”奇绩创坛创始人兼CEO陆奇在4月的一次演讲中称，“一定要记住，任何改变社会、改变产业的，永远是结构性改变。这个结构性改变往往是一类大型成本，从边际成本变成固定成本。”526esmc

而ChatGPT能在历史上第一次两个月内拥有1亿活跃用户，挡都挡不住，为什么？因为它封装了世界上所有知识；有足够强的学习和推理能力；涉及的领域足够宽，知识足够深，又足够好用。526esmc

加在一起，AI新范式的临界点到了，拐点已经到来。526esmc

算力缺口巨大

既然叫大模型，显而易见，“大”必然是其最大的特点之一。有多大呢？安谋科技产品总监杨磊表示，如果把具备一千多亿个参数规模的GPT3.5模型存下来，需要100GB的存储空间，这当然要比普通芯片内部1MB SRAM的片上存储规模大出许多。526esmc

“但这样就到头了吗？显然还没有，因为大家觉得‘暴力出奇迹’，比如新的模型已经达到了三千亿个参数，而且还在暴力地往上涨，暂时还看不到尽头在哪里。”他说。526esmc

另一方面，传统的AI算法，比如美颜、人脸识别、刷脸等，都属于卷积神经网络(CNN)架构。但基于Tranformer架构的GPT模型，其核心计算是大型矩阵图版，从底层计算类型角度来讲与传统CNN算法并不一样，适用于传统CNN或语音处理的NPU，不一定擅长高效地计算AIGC类模型。526esmc

天数智芯产品线总裁邹翾认为，对头部企业来说，早期的GPT3大模型大概需要1万张英伟达GPU，但GPT4达到了100万亿的参数规模，可能就需要3-5万张最先进的GPU才能完成。对于这一领域出现的众多跟随者来说，势必要在算力上不能输于头部企业，甚至还要进行更多的算力基础设施投资才能实现追赶。526esmc

“关于大模型参数规模不断上调，其实我个人还有点不一样的看法。”在邹翾看来，原因之一是现在业界还没有把大模型的性能潜力全部挖掘出来，现在的大模型只是一个起点，头部企业希望能够率先抓住那些没有被发现的能力制高点，于是不断调高通用大模型的参数以开发新功能；原因之二是随着大模型的不断迭代，最终不可能有那么多的算力投资都真正产生效益，他个人判断未来1-2年内，当前许多重复性的投资会看到一个收敛稳定的阈值。526esmc

全功能GPU成AI大模型应用关键

面对未来大规模的计算工作量需求，如今各大芯片厂商都在布局大型计算机体系结构。摩尔线程创始人兼CEO张建中指出，对于提升性能来说，效率和管理能力比单个芯片的计算能力更为重要——就像特斯拉的电池并不是由一个大型电池组成，而是由许多小电池组合而成的一样，GPU也将是如此，没有人能制造一个巨大的GPU来运行算法，但是却可以通过组合多个GPU来完成任务，并且提高效率和管理能力。因此，我们不必仅仅追求规模的扩大(scale up)，而是要追求规模的扩展(scale out)。526esmc

“这也正是我们的优势，GPU里面有成千上万个核心。将多个GPU组合在一起的原理也是类似的，其中涉及到空间、存储、网络和调度等各方面的能力，这些正是GPU的核心所在。”张建中说，现在很多的创新型应用如AIGC、数字人、元宇宙里的3D图象/图形生成、自动驾驶、机器人、数字孪生等，都是与“AI+图形+元宇宙”场景相关的。所有的AI应用最后落地给到用户的时候，最终呈现出的是多模态化应用场景，一定是图像、图形，而不只是文字。所以，全功能GPU将成为关键。526esmc

他进一步解释称，为什么很多用户会喜欢用全功能？因为我们不能限制用户今天只能干这件事，如果换一个代码就不能用，那用户肯定不愿意投。另一方面，如果GPU放在云端大的计算集群里，好几亿的投资只能换来一个应用，成本太贵，但如果可以做100甚至1000个应用，分摊下来成本自然就低了。所以从规模效应讲，通用性比专用性更有价值。526esmc

换句话说，全功能GPU虽然价格贵一些，但是它可以处理多种应用，利用率高。相比较而言，ASIC芯片干一件事的效率非常高，但是做完就处于闲置状态。对于超算中心来说，90%的利用率都不存在，这是极其浪费成本的做法，超算算一次差不多要10亿，如果是100%的利用率，成本平摊后将大幅降低成本。因此，重复利用率、整个资源率对于大型基建基础设施来讲非常重要。526esmc

邹翾则认为，通用GPU的优势源于“通用”、“易用”和“好用”。目前来看，国内企业与美国顶级厂商的产品性能之间的确存在差距，尤其在旗舰级产品性能方面，品牌知名度也不够。但好在国内产品是可用的，实现了国产通用GPU产品从0到1的突破。526esmc

例如，日前天数智芯就宣布其天垓100加速卡算力集群，基于北京智源人工智能研究院70亿参数的Aquila语言基础模型，使用代码数据进行继续训练，稳定运行19天，模型收敛效果符合预期，证明天数智芯有支持百亿级参数大模型训练的能力。526esmc

在谈及通用GPU落地前景时，邹翾希望“能用5-10年左右的时间追赶上国际同类主流产品的性能”，并且在人工智能、元宇宙、科学计算、天气预报、分子动力学、股票量化交易、投资等多个赛道取得成绩。526esmc

边缘侧部署Transformer为什么难？

近几年Transformer大有取代卷积神经网络(CNN)之势，因为它可以获取全局特征，有一定的知识迁移性，能够很好地适应各种场景，不仅在COCO榜单上处于霸榜状态，很多以CNN为主的框架也已经切换到了Transformer。526esmc

目前来看，Transformer大模型在云端主要还是通过GPU部署，在边缘侧、端侧硬件支撑方面，则更多依赖NPU实现对神经网络的加速。“这倒不是指CPU不能运行Transformer模型，只是它的运行速度无法满足实际应用落地需求。”爱芯元智联合创始人、副总裁刘建伟表示，之所以要强调速度，一是神经网络速度快，意味着终端设备可以运行更多类型的智能网络，更智能；二是即便不需要跑那么多类型的网络，那么某种程度上就可以把神经网络规模做大，提高精度。526esmc

另一方面，尽管CNN和Transformer都属于神经网络，但Transformer的计算访存比比CNN低，精度和灵活度高，而此前市面上的一些NPU主要针对CNN网络做了一些过拟合的设计，导致在部署Transformer网络时遇到了功耗、效率等诸多问题，现在需要找到合适的新算力平台，并在算法侧找到能降低大参数模型带宽的新途径。526esmc

其实，Transformer大模型方向在2019年就有人提出，当时在思路和训练方法上与传统CNN也并无太大差别，只知道“上限更高”。但近两年，Transformer被广泛应用到计算机视觉的物体分类领域(例如ViT、SwinT等)，以及用在目标检测领域的DETR(DEtection TRansformer)，而且随着自然语言处理(NLP)领域的突飞猛进，大模型通过无监督或是自监督的方式进行训练，正成为AI领域新的趋势。526esmc

为此，考虑到如何在端侧、边缘侧高效部署Transformer正成为用户选择平台的核心考量。作为人工智能视觉感知芯片研发及基础算力平台公司，爱芯元智在今年3月正式推出的第三代高算力、高能效比的SoC芯片AX650N，为行业探索Transformer在端侧、边缘侧落地方面做出了有益的尝试。526esmc

杨磊表示，未来AIGC或大模型的场景肯定会潜移默化地影响到我们生活的方方面面，但从目前的实际状况来看，动辄千亿/万亿规模的模型参数、上亿美元的生产工具部署成本、以及相对偏窄的带宽，都给大模型落地IoT领域造成了实际困难。今后，结合一些特定的场景和应用，对大模型进行精简，使其能在手机、PC、边缘设备和汽车等端侧IoT场景上实现，会成为未来的发展方向。526esmc

中外用户的需求差异

邹翾同时讨论了中国客户和海外客户在需求和使用习惯上的差异，认为中国市场上大多数客户仍然以快为主，“拿来主义”之风仍然比较盛行，在软件和应用模式方面缺乏独立创新。“对于硬件企业来说，一个难点在于如果用户不愿意自己尝试做一些原生性的创新，那我们就很难在体系支撑角度去提供创新，因为我企业的需求首先是要看客户需要什么。”526esmc

但中国在应用场景上有着自己独特的优势，很多国内头部企业也正在思考如何让大模型更好的使用起来，创造出类似“新四大发明”的独特应用，实现原生技术的通用性。因此，底层技术与市场差异化的融合将成为关键，需要更多工程师、更多的创新、甚至是国家的机制引领，来共同推动全国产化进程。526esmc

张建中表示，生成式AI领域有许多成功的机会，并且在许多行业领域都有专业支持。因此，不可能只有一个模型能够统一所有需求，而是需要多个模型。这就是为什么国外有那么多创业公司从事这个领域。而且国外的模型不一定适用于中国市场，在国内，生成式AI创业的空间和机会都非常广阔。526esmc

“对于我们来讲，当然是更好的机会。不管做训练、推理，大家都用更多算力，如果是只有一家来供应的话，供应的量将有限。再者，许多创业公司对金钱成本的控制都有需求，如果我们能够提供好的方案且具有性价比的话，这个就是我们的机会。”张建中补充说，摩尔线程之所以要做摩笔马良和智娱魔方这种偏向应用层的产品，就是为了给客户打样，启发用户利用摩尔线程的全功能GPU可以做哪些比较有意义事情。526esmc

“我们的模型是在自己的平台上训练的，不需要依靠任何人，就可以完成这些事情，所以我们既然能做，那么我们相信客户也可以做。”526esmc