联发科这次也在会上提到“联发科与ARM的深度合作以及经验共创下,我们催生出新的GPU架构”;“我们这三年来一直在讲移动光追,也很开心我们即将看到开花结果”...这些信号都表明,基于Immortalis-G715的天玑芯片不远了。
遥想90年代,手机这类移动设备的图形算力还弱得可怜,连智能手机操作系统UI的图形加速技术起步其实都比很多人预想得要晚。而到现如今,移动GPU支撑的手机游戏已经成长为年产值数千亿的产业。yQ6esmc
基于Arm Mali GPU的历史跑分(GFXBench T-Rex),2011年Android机皇三星Galaxy S2图形性能差不多相当于去年谷歌Pixel 6手机的5%。这中间也不过10年时间。可能时间再往前拉一点,数据会更夸张——苹果当年就说iPhone 6(2014年)的图形性能达到了初代iPhone的84倍(2007年)。而联发科、Arm、Imagination这两年都已经开始宣传移动GPU的光追了,真是今时不同往日。yQ6esmc
yQ6esmc
这两年联发科召开天玑旗舰技术沟通会,都会将GPU和图形相关技术当做重点去做分享。好像在天玑9000上市之后,联发科在手机AP SoC市场的话语权就已经被改写了——天玑9000刚刚发布之际,我就说这是联发科暌违多年、尝试重回旗舰与高端手机市场的开端。今年天玑芯片对高通骁龙系列的压力似乎也是前所未见的。话语权的进一步拿捏,也就让联发科的技术路线在行业内更为举足轻重;而联发科的技术分享,可能也让我们有机会把握新一年手机技术的走向。yQ6esmc
而且似乎一般联发科召开这种技术沟通会不多久,很快就会见到手机SoC新品问世——这就让这种“沟通会”更像是下一代天玑旗舰芯片的技术预分享。那本文就主要来谈谈联发科这次分享的手机GPU技术路线,来窥见未来几个月可能会发布的天玑旗舰芯片GPU部分大致有哪些技术点。yQ6esmc
“光线追踪”这个词在移动市场大概已经预热有3年了——虽然光追在PC和工作站领域逐步开始普及,但专门的光追加速单元在手机、平板之类的移动设备上还非常罕见。除了像Imagination这样的IP供应商时有谈起,“率先落地”的应该暂时也只有三星Exynos 2200了——用的是AMD RDNA 2架构——但恐怕其中光追加速单元暂时也没什么用,毕竟今年也还没怎么看到光追手机游戏的影子。yQ6esmc
这两年联发科也频繁提到光追,包括去年提到生态方面与Arm、腾讯游戏等上下游合作伙伴之间的合作。虽然我那个时候都仍然不清楚在芯片设计的硬件实现层面,联发科究竟打算怎么做,但联发科的技术发言人彼时就提到虽然在那之前的天玑芯片都没有增加光追单元,但“这两代就已经在为光追做准备,包括渲染指令运算、缓存机制,现在是融入在了IP里面的”。yQ6esmc
实际上天玑9000就已经开始支持基于软件的光线追踪了,所以天玑9000发布会上也多少听到联发科提到了光线追踪——但基本是蜻蜓点水式的。在光追游戏的“预备”和试水上,联发科于天玑9000发布之际“推出光追SDK产品,我们的客户也基于天玑系列产品,开发了一系列光追交互壁纸”。yQ6esmc
这次的技术沟通会上,联发科再度提到“从GPU内容开发的进展来看,基于移动光追的需求可能会有更大更广的覆盖”。“从前年到去年,我们持续跟游戏引擎合作的这些移动光追方案,目前都变成了手游开发者的标杆”。与此同时,“基于VR/AR的需求,移动光追技术也已经陆续在萌芽。”所以“光追技术已经不是专属于高端游戏需求”...“已经越来越贴近用户需求”,“没有那么遥远”。yQ6esmc
今年年中ARM 正式对外发布了新的GPU产品线Immortalis,以及首款支持光追硬件加速的GPU IP,Immortalis-G715(以及包括更低端型号)。在ARM发布G715当天,联发科就在推特上快速转发了Arm的发布信息、表示祝贺,ARM还特别回复了联发科。与此同时,ARM的Immortalis-G715的产品介绍页面特别列出了联发科的“合作伙伴证言”。这可能表明双方在光追硬件加速的实现上,已经合作良久了。yQ6esmc
联发科这次也在会上提到“联发科与ARM的深度合作以及经验共创下,我们催生出新的GPU架构”;“我们这三年来一直在讲移动光追,也很开心我们即将看到开花结果”...这些信号都表明,基于Immortalis-G715的天玑芯片不远了。yQ6esmc
有关Immortalis-G715的第四代Valhall架构,此前ARM的发布会上多少已经提及。此处只关注其中的光追部分——这的确应该是ARM的GPU IP首度加入专用的光追加速单元。yQ6esmc
有关光追的基础知识就不作科普了,像英伟达于PC端做光追的思路,就是给GPU增加RT core——这代Ada Lovelace架构就是每4个SM配1个RT core。这种RT core光追核心的内部有用于BVH(Bounding Volume Hierarchy)盒子遍历,以及光线与三角形相交测试的专用硬件加速单元。yQ6esmc
yQ6esmc
Imagination于移动端的Photon架构方案中RAC(Ray Acceleration Cluster)也有对应的光追加速单元。一个较大的差异在于,因为光追对算力需求大,像手机这类功耗敏感型设备不可能比照PC的方案。Imagination在RAC集群中增加了分析光线相干性——或者说将光线分组的Packet Coherency Gather。yQ6esmc
ARM和联发科的方案与上述两者都有差异。Immortalis-G715自然也要开始用硬件加速单元,名为RTU(Ray Tracing Unit)——这对芯片设计企业而言似乎还是个可选项。而且值得一提的是,RTU是直接放进每个shader核心里面的,而不是像别家那样是个外部的加速器。yQ6esmc
yQ6esmc
RTU内部也包含了包围盒与三角形相交测试加速单元。据ARM所说,这个RTU只占到shader核心不到4%的部分,但却达成了相比于没有光线追踪加速,超过300%的光追性能增长——其实这个值就加速计算的维度来看并不多惊艳。yQ6esmc
从RTU的占地面积,以及它不作BVH结构处理加速,就能看出Immortalis先期的光追支持没有那么激进。这可能与Arm和联发科走更低功耗、更小面积之路有关。yQ6esmc
另外基于每个shader核心都带RTU这一点,则更低阶定位的Immortalis-G615也能支持光追——应了联发科所说,不是高端游戏专属,而是越来越趋向于大众化的技术——只不过受限于G615所能堆的核心数目,光追性能自然也会显著弱于G715。yQ6esmc
这种方案特性也能反映联发科在沟通会上反复强调的联发科对于GPU图形计算更专注在“能效导向”,“在能效导向的维度里,为了满足移动平台,需要考虑长效续航的需求,贴近终端用户的体验需求。在满足能效导向需求以后,才会去尝试堆叠出性能的部分。”yQ6esmc
可能更多同学比较关注的并不是谁家的光追硬件实现如何,而是移动光追游戏什么时候来,以及堆像RTU这样的单元究竟有什么用。原本这两个问题大概需要等到Immortalis-715上线以后,生态被培养起来,我们才会了解。不过这次联发科提到的光追技术布局和要达成的最终效果,大概能够稍稍解答这两个问题。yQ6esmc
首先是主流的移动光追游戏什么时候来的问题。我当然不知道确切的时间,无非也就是明年或后年。但这个问题更本质之处在于手机游戏的光追生态建设情况如何。联发科表示早在2020年12月就“提前布局Ray Query技术方案,启动生态合作”。yQ6esmc
在Vulkan世界里,要做光追有两种选择,分别是用ray tracing pipeline和ray queries。后者可在任意shader阶段用于执行光线遍历并返回结果。网上能找到一些有关ray tracing pipeline和ray queries的比较。似乎SIGGRAPH 2019上,还有专家特别谈到过ray tracing pipeline的诸多问题,有兴趣的同学可以去找一找。yQ6esmc
yQ6esmc
联发科表示:“我们采用Ray Query方案来缩小和开发者切入的困难点。这些经验可以反馈给硬件实作者,也就是GPU IP厂商,加速他们的光追硬件开发和驱动开发。今年初Khronos也发布了Vulkan 1.3标准——基于新标准的发布,联发科的自研方案也可以无痛切换到行业标准上继续推进。”这也是大范围生态培养的基础。yQ6esmc
另外联发科也提到了Immortalis-G715硬件级光追。除了RTU以外,也包括GPU本身其他架构层面带来的性能提升,包括浮点算力的提升、三角形输出能力提升3倍、带宽需求优化。这些也都是实践移动光追游戏,以及其他更复杂游戏场景的基础。yQ6esmc
再有就是生态布局上,“与评测工具联合推进光追生态”;以及“协助开发者和硬件厂商定位合理的性能目标”。不过这个部分联发科谈得并不多。其实移动光追生态能做起来的基础,关键仍然在于游戏开发者。想必到新一代手机AP SoC发布之际,像联发科这种企业应当也会找对应的游戏开发者来站台。yQ6esmc
yQ6esmc
那么第二个问题:光追加速硬件单元究竟有什么用。尤其是像Immortalis-G715这种应用RTU方案所能达成的效果。联发科虽然没有说Immortalis-G715的光追硬件加速能带来什么,但他们也提到了自家布局移动光追期望达到的3个基础功能——差不多就等于回答了这第二个问题。yQ6esmc
这3个基础功能分别是光追软阴影、光追反射效果、全局光照。全局光照是去年联发科在沟通会上提到的一个重点,当时主要是说开放世界游戏需求全局光照的优化方案,因为这类游戏场景与角色间互动很多,动态光源需求也多,而且部分游戏还有时间系统——则场景变化就很丰富,需要很细致的光照计算。这次谈得主要是间接光源对画面暗部处理加强,增加场景的真实感。yQ6esmc
另外两个属于光追可达成的固有特性。有关阴影的呈现,“用光追得到的反射效果会更为真实”,这一点我前年就撰文探讨过。Imagination和英伟达早两年做光追效果宣传时都提到纯光栅管线计算,常规可获得的阴影都不够真实。其实要达成阴影边缘模糊效果(penumbra),依靠纯光栅也有可行的方案,但需要引入额外的特性或技术,不仅算力开销不小,而且得到的阴影还未必是正确的。光线追踪在解决这类问题上有天然的优势。yQ6esmc
光追反射效果也大致相似,光追“可以比较真实地计算出这些物体相对应反射的角度和位置。”前两年好像大家更喜欢拿来形容光追带来反射效果真实性的,是处在画面外的部分也可以反映到画面中高反光材质的反射。当然目前还不清楚移动光追前期在这方面可达成的实际效果,但总的来说也都是让光影效果更贴近真实。yQ6esmc
光线追踪当然只是GPU和移动图形技术加强的一部分,超分、补帧这种属于计算机视觉领域的技术现在也在GPU上大放异彩。主要是因为随硬件图形算力的增长,游戏开发者又大幅提升了画面刷新率、分辨率以及内容复杂度的下限。yQ6esmc
计算机科学领域一个亘古不变的事实就是无论硬件厂商提供多少性能,软件开发者能立刻将这些资源吃干抹净。联发科也说现在游戏“内容复杂度是不可控的”,也就“多了对高画质的需求”,“所以在移动GPU能效和算力上,会增加很多压力”。yQ6esmc
yQ6esmc
上面这张PPT给出了答案。为应对手机游戏内容复杂度的增长,联发科多层面布局移动GPU增效方案。自底层硬件绝对性能提升,到平台软件优化、算法布局,以及在图形渲染以外,借助AI、CV之类的技术来生成像素与帧,提升体验。yQ6esmc
所以(1)首先是“芯片性能每年的提升与能效的进化”,CPU和GPU“每年维持10-15%的进步”。yQ6esmc
(2)其次是“生态”,“我们看到64位生态的推进”——这个说的应该就是自Arm Cortex-X2/A710/A510及之后CPU逐渐放弃32位支持,更全方位地转向64位。这一点可能也预示着未来的天玑芯片对于Cortex-X3/A715的采用。ARM在前几个月的发布会上就着重谈到了“移动计算生态全面进入64位时代”,其中就包括游戏。联发科给的数据是,“搭配64位游戏引擎升级,帧率平均提升16%”。yQ6esmc
生态相关的部分也包括“Vulkan的推广”。联发科解释说,“Vulkan本身就是为了达到内容本质上的降载目标”,深耕Vulkan生态是联发科如今的一大策略——联发科在此表达的应该是从芯片制造商的角度对Vulkan标准做出更快的响应和支持。据说联发科的天玑生态实验室“深度联调提升Vulkan性能”,让热门游戏Vulkan性能平均提升10%。yQ6esmc
(3)系统调度、驱动优化。“比如温控稳帧算法,就是这个类型的增效技术”。这两年手机OEM厂商对此宣传还是比较积极地。yQ6esmc
(4)自适应调度,或者说自适应框架的应用。“越来越多的软件框架能够达到系统平衡与内容开发的联动。”比如说Google ADPF、腾讯TGPA、Arm Adaptive Performance。借助这种自适应框架,开发者能够获取来自系统、芯片的实时信息,然后对内容做实时的负载调整,这对性能和效率发挥会大有益处。联发科认为这会成为未来的一大趋势。yQ6esmc
(5)平台厂商的自研算法,如VRS(可变速率着色)、超分、补帧等。这些也是需要生态构建的。yQ6esmc
yQ6esmc
当然,联发科的技术分享会并不只是探讨GPU与图形技术,一整个下午的分享还涵盖AI多媒体、5G 调制解调器、Wi-Fi无线网络、无线蓝牙音频和高精度定位技术的相关发展趋势——毕竟这些要么作为AP SoC的组成部分存在,要么有极大的关联性,而且也都是时下热点。yQ6esmc
联发科带来的AI图像语义分割、5G新双通、Wi-Fi 7、高保真蓝牙音频、高精度导航等最新的前沿技术都还是挺有意思的——像是5G时代的“新双通”就谈到了联发科在双卡双通之类的问题上在5G实施过程中遭遇的挑战和做出的努力,后续有机会我可以单独撰文来谈一谈。yQ6esmc
似乎基于这些技术热点的分享,大致也能勾勒出即将到来的下一代天玑旗舰芯片的大致样貌了(最近有消息说是天玑9200)。尤其GPU部分,以上探讨的所有内容都有大概率出现在天玑9000的后续手机AP SoC上。而“能玩移动光追手游”,有机会成为明后年智能手机的核心体验。临近年底,联发科即将发布新品的消息不胫而走,下一代天玑旗舰芯片将为行业带来哪些新的话题,让我们保持期待。yQ6esmc
微信扫一扫,一键转发
关注“国际电子商情” 微信公众号
国际电子商情14日讯 半导体需求持续低迷,拖累韩国上半年ICT出口额大减3成,存储芯片呈现腰斩。
国际电子商情12日讯 入夏以来的罕见高温等因素导致用电需求激增,让越南深陷“缺电”危机。尽管汛期的到来让用电紧张问题得到了缓和,但代表在越南的欧洲企业的越南欧洲商会(EuroCham)评估电力短缺可能会周期性发生,约60%欧企表示生产运营受到影响…
国际电子商情12日讯 外媒引述知情人士消息,印度塔塔集团最快于8月将收购代工厂纬创资通印度厂,成交金额超过6亿美元…
根据闻泰科技此前在公告中的披露,经上述股东自查,本次调查涉及其可能在以前年度与某自然人股东是否存在 一致行动关系的事项。调查事项与张学政在公司的董事长、总裁履职无关,张学 政本人仍在正常履职。本次调查及相关事项不会对该公司的日常运营造成重大影响。
国际电子商情4日讯 据外媒报道,三星显示器(Samsung Display) 向京东方(BOE)提出诉讼,指其侵害总计5项OLED显示面板技术相关专利。
国际电子商情30日讯 综合外媒报道,中国智能手机品牌小米位于印度的子公司前员工和现员工表示,由于内部重组、市场份额下降以及印度政府机构的审查力度加大,小米印度的员工人数将减少至1000人以下。
国际电子商情27日讯 当地时间周一,美国最高法院驳回了苹果、博通对加州理工学院提起的数十亿美元专利案中提出的上诉,但没由透露驳回上诉的理由。
国际电子商情26日讯 据韩媒报道,由于芯片低迷持续,分析师预计三星电子和SK海力士的芯片部门在前三个月报告亏损后,二季度业绩仍将承压。
资料显示,越南增值税税率分为零税率、5%、10%,零税率适用于出口商品,5%的税率适用农业、医药、卫生教学、科学技术服务等,10%的税率适用于石化、电子、化工机械制造、建筑、运输等,
当前,在中印政治地缘关系的影响下,中国在印企业或将面临越来越恶劣的营商环境,为他人做嫁衣的事应该慎行!
随着桌面产品全部切入到自研处理器,苹果iPhone 、iPad、MAC、Apple Watch ,甚至到最新发布的Apple Vision Pro等,几乎所有主流产品做到全覆盖。
Apple的A17 Bionic今年将在台积电最先进的3nm工艺上量产。
7月13日,兆驰股份发布2023上半年业绩预告。
7月13日消息,据sammobile报道,三星现已在韩国推出了98英寸8KNeoQLED电视,型号为QNC990,售价为4990万韩元(当前约2
近日,山东省人民政府办公厅印发《实施先进制造业“2023突破提升年”工作方案》(以下简称《工作方案》)。
受惠于生成式人工智能应用市场的成长,在各云端运算供应商与IC设计公司发展人工智能芯片的情况下,台积电相关订
7月12日,教育部部长怀进鹏在全国高校科技创新暨优秀科研成果奖表彰大会上表示,将针对核心技术“卡脖子”问题,
7月13日,华为在其2023创新和知识产权论坛上公布了三项专利许可收费标准,分别为手机、Wi-Fi和物联网。
美国零售联合会(NRF,National Retail Federation)发布按2022财年零售量排序的2023年度“美国零售百强”榜(20
一年的结束通常是回顾和反思的时候。
近日半导体行业动态频频,一批半导体项目先后签约、竣工、投产,涵盖了半导体设计、材料、制造、设备等多个领域
【招银研究|宏观点评】企业贷款边际修复——2023年6月金融数据点评
根据外媒报导,英特尔(Intel)已经证实,将停止对NUC(Next Unit of Compute,下一代计算单元)业务的直接投资,并转变策略
当地时间7月11日,欧洲议会通过了一项通过促进生产和创新确保欧盟芯片供应的计划,并制定了应对芯片短缺的紧急
2023年7月11日,矽典微发布新一代智能毫米波传感器SoC ICL1112、ICL1122两款芯片。提升了超低功耗检测和极远
传感解决方案释放AIoT和数字化全部潜力,实现“万物互联和AI无处不在”。
新能源转型浪潮下,整个汽车行业的供应链体系正在发生着意义深远的变化。
本次在中国举办3地巡回论坛,就是为了向国内RISC-V产业圈布道自身在RISC-V领域的能力图谱,并重磅宣布SiFive亲
报告显示,消费者期望了解车辆材料和零部件的来源和可持续性水平,并获得汽车制造过程中端到端的可见性。
集成电路(IC)作为电子信息产业的基石,是关系国家安全和国民经济命脉的战略性、基础性和先导性产业。而IC设计是
2023年7月4日,业内知名的数字前端EDA供应商思尔芯(S2C),发布了最新一代原型验证解决方案——芯神瞳逻辑系统S8-4
贸泽电子 (Mouser Electronics)宣布将于7月11日-13日重磅亮相2023慕尼黑上海电子展。届时,贸泽电子将携手国
WhisperExtractor依靠一项颠覆性技术,解决了希望实现语音用户互动或声音分类的电池供电设备的主要挑战之一,即
人类在面对重大自然灾害、事故、突发公共卫生事件时,应急通信保障必不可少,有这么一家公司,通过将无人机与小型
近日, 2023中国独角兽企业大会在苏州举办,亿铸科技荣登 “2022中国潜在独角兽企业榜“。
Cirrus Logic 助专业音频产品制造商轻松集成和定制其产品,音频体验不受转换器影响
点击查看更多
北京科能广告有限公司深圳分公司 版权所有
分享到微信
分享到微博
分享到QQ空间
推荐使用浏览器内置分享
分享至朋友圈