地平线张永谦：AI在边缘侧落地背后的思考

“边缘侧智能设备大规模爆发的趋势，使数据成为如今AI芯片领域最大的挑战。”2019年11月7日，在由ASPENCORE《电子工程专辑》、《国际电子商情》和《电子技术设计》主办的“2019全球双峰会”上，地平线副总裁&AIOT芯片方案产品线总经理张永谦以“边缘AI芯片赋能行业，共建普惠AI时代”为题，介绍了地平线机器人在边缘AI芯片以及解决方案，以及地平线对AI在边缘侧落地背后的思考。r16esmc

数据显示，目前在边缘侧，99%的数据都是没有被经过智能化处理或者是结构化处理的，而这些没有被利用起来的数据就成为了垃圾数据。如果把这一部分数据送到云端进行智能处理，则需要付出非常大的代价，这其中不仅包括传输带宽，还有云端为处理这么多海量数据所付出的代价。r16esmc

此外，5G大潮已开始在中国落地，5G对于单位面积之内的设备的接入数量，包括接入带宽比4G高了一个量级，这也进一步加剧了边缘侧数据和比较有限也比较难以实现的骨干网处理能力之间的矛盾。r16esmc

因此，能够处理上述矛盾，且具有非常好的隐私保护性的边缘计算便成了大势所趋。r16esmc

在边缘侧如何快速智能处理大量数据？

在边缘侧做快速智能处理大量数据，是当下主攻AI芯片和计算芯片领域的玩家们集中攻坚的难题。而边缘侧的AI芯片也已成为市场非常抢手的产品，仅仅在国内范围内，对外宣称做AI芯片的公司就已达到50-100家的规模。r16esmc

张永谦表示:“地平线从成立之初到现在，对于AI芯片的看法与传统芯片公司的看法是非常不一样的，我们的理念首先是软硬结合。传统的半导体讲的几个参数无疑就是PPA：功耗、性能和成本。智能时代，光靠这几个参数是不够的，还需要更多的参数综合的能量什么是好的AI芯片。”r16esmc

据了解，目前市场上常见的基本都是在大力宣传单位面积下的功耗，以及芯片能所提供的峰值的计算能力，如一个芯片宣称是1T或者是4T。但张永谦认为，这样还不够：“就像一个处理器一样，它大部分处理的时候，处理单元是空闲的，这个只是空耗和性能的浪费”。r16esmc

张永谦表示:“我们要看第二个重要指标，就是在峰值算力典型场景的计算情况下的有效利用。有效利用率之后还不够，因为现在要面对的是AI场景，这个场景其实是非常复杂的，还要再看在有效的计算能力输出的情况下，你能达到对复杂场景处理的效果。把这几个参数相乘，才能衡量边缘侧AI芯片最客观的指标。”r16esmc

地平线不止一次地在公开场合表示，未来人工智能的竞争一定是“软硬结合”，要想真正的做好软件，一定要做好硬件。地平线的芯片在设计之初，也是先有软件，再有硬件。r16esmc

据张永谦介绍，地平线的一款处理器，在没有做任何优化的情况下，对720P图像做AI处理，它的计算资源利用率可以达到33.9%，每秒处理9.36帧，比通用GPU处理器的利用率高不少，即便如此，地平线仍在进一步探索。r16esmc

r16esmc

中间的彩色条是处理单元，上下是存储单元r16esmc

左图显示，在没有经过软硬结合优化前，计算单元是被不停的打断，需要频繁的读取外部的存储，频繁往里输数据。右图则是经过软硬结合的优化之后，计算的有效利用率被大大提高了，计算单元利用率可以达到85%，帧率处理速度达到了24帧/秒，在大大降低跟外部存储交换频率的同时，效率得到了大大的提升，地平线这就是地平线的“软硬结合”。r16esmc

张永谦表示：“也正是因为这一点，过去40年人类的快速发展重要退守就是摩尔定律，但是摩尔定律更多是强调着硬件创新，是工艺。我们的理念是在传统摩尔定律即将走到尽头的时候，通过软硬结合的方式可以继续推动摩尔定律，在下一个20年仍然快速的发展。”r16esmc

AI芯片企业如何应对AIoT碎片化挑战？

AIoT覆盖范围包括百行百业，因此它的场景呈现大量碎片化的特征，无论是世界五百强还是中国的五十强这种行业巨无霸企业，都很难应对这种大量碎片化的高难度挑战，那么AI芯片企业要如何面对这种小市场量、大量碎片化的挑战呢？张永谦从五个层面进行了分析：r16esmc

1、AI产品形态种类非常多。有摄像头、带屏设备、机器人、智能家电、边缘侧计算设备。这么多AI产品形态如何的产品化，并实现很好的AI能力?非常不容易。r16esmc

2、图像和场景的效果繁杂。线下AI面临的挑战是每个场景不可复制的，今天解决方案也好、场景也好，在这里可以很好的输出结果，但是换了一个天气、换了一个场景，很可能就不灵了。怎么样把方案做到更加普世化?这是非常大的挑战。r16esmc

3、怎么样快速的开发上层智能应用，真正把AI能力服务落地。r16esmc

4、如何快速把硬件做出来。地平线在落地的过程中发现，原来做硬件的厂商以及做软件服务的厂商，甚至是做系统集成的公司都在进入这个行业，并迫切希望把智能化的产品做出来，再跟原有的能力结合。在这种四面八方的企业都抢食蛋糕的场景下，怎么样快速把硬件做出来，这是很多创业公司甚至是老牌公司巨大的挑战。r16esmc

5、如何做到完整的系统集成。地平线推出旭日1.0时，主推的是AI芯片及基础算法，但后来发现发展遇到瓶颈，怎么解决呢?张永谦表示：“我们把解决方案做得更加重。首先是怎么应对多样化的产品形态。我们经过思考，挑选了其中3种可能是在未来2-3年最先落地、量最大的产品，最先是智能RPC、带屏近距离交互产品和可以克服前端不确定性的边缘计算核，我们选择了这三种智能产品的形态作为开发解决方案的入手点。选取了之后再就是软件架构，并编成统一的框架，方便我们做解决方案的开发，也能让开户在不同的产品形态上快速的迁移，同时支持端和边缘。”r16esmc

面对以上五大挑战，地平线提出了“底层赋能”的理念，在底层赋能的上面是下了非常多的功夫，对外不仅宣称是AI芯片公司，更本质是算法+芯片，软硬结合的底层，包括解决方案服务客户。r16esmc

而在面对非常多的行业落地的应用、项目等机会的诱惑下，地平线也坚持一个理念，张永谦表示：“我们不做行业应用，并不和所赋能的合作伙伴、客户竞争，就是把底层的东西做得更好，然后更好的赋能他们，让AI特别是边缘侧的AI实现落地，最后实现普惠AI的效果。”r16esmc

结语：AI芯片+算法基础，加速边缘侧AI落地

2015年7月14日，中国第一家AI芯片公司地平线成立，率先提供软硬结合BPU架构。也是全球第一家在台积电实现了流片的AI芯片公司。r16esmc

2017年底，地平线发布了中国第一款AI芯片，它有两个系列，一个是面向自动驾驶的征程系列，另一个是面向AIot的旭日系列。r16esmc

2018年4月征程芯片登陆美国顶尖Robotaxi车队，到2018年年底，旭日一代落地首年，全球出货量达到6位数。r16esmc

今年8月30日地平线发布了第一款车规级芯片——征程二代，张永谦在ASPENCORE 2019 全球CEO峰会现场透露，明年和后年会地平线将陆续发布J2A和J3，真正意义上车规级的智能驾驶芯片。r16esmc

10月29日，地平线推出采用28纳米工艺的旭日二代边缘AI芯片及一站式全场景芯片解决方案，瞄准AIoT智能应用市场。张永谦在ASPENCORE 2019 全球CEO峰会现场表示，地平线将于明年发布第三代旭日产品。r16esmc

除了设计AI芯片之外，地平线也在花非常大的资源和力气来做工具链，张永谦表示：“工具链就是让有能力的客户有自己的数据，可以在地平线已经提供的一套标准的、软硬结合的AI芯片的框架上，包括提供的基础算法模型上，他们可以针对自己看重的差异化的场景、垂直化的场景，用自己的数据训练自己的模型，就是把地平线提供的东西和差异化的内容结合在一起，这样的效率更高。”r16esmc

此外，张永谦表示，地平线在AI芯片+算法基础上做了更进一步的努力，针对典型行业的典型场景做了大量的解决方案，通过这个方式大大加速了边缘侧AI落地。r16esmc