今年英伟达GTC开发者大会上,有个讨论度非常高的东西叫RTX Remix——这东西其实是给游戏做mod的。如果你玩过《上古卷轴》之类的游戏,应该就能体会到mod有多强大。
Mod一般是某个游戏的玩家、粉丝自发为该游戏做的扩展:其形式可以是多样化的,mod可以是原游戏功能上的扩展,也可以是新增剧情、地图,或者游戏画质场景强化等等;最强大的甚至可以到某款游戏重制版的程度。据说每年全球游戏mod下载量能达到70亿次,而参与mod制作的群体有大约1000万人。1U7esmc
这次英伟达算是亲自上场做了个mod,具体是给游戏《Portal(传送门)》做的——这款游戏本身也是历史颇为“悠久”了,应该是《半条命》家族中的。英伟达的Lightspeed Studios工作室给这款游戏mod,或者说应该算是重制过后的版本就叫《Portal RTX》——一看就至少加入了光线追踪。预计Portal RTX会在11月份发布,作为一个免费的DLC。1U7esmc
1U7esmc
1U7esmc
《上古卷轴:晨风》原画面与Remix重制后的画面对比1U7esmc
另外英伟达也特别演示了给《上古卷轴3:晨风(The Elder Scrolls III: Morrowind)》做的一些mod场景。这是一款2002年的游戏了,当年英伟达才刚刚收购3dfx核心资产,连CUDA都还没出世。GTC上演示的《晨风》mod画面真的是堪称惊艳,尤其在画面增加了高清纹理、光追特效以后,很怀疑当年的玩家是怎么忍受原画质的,即便《晨风》在当时已经算得上惊艳了。1U7esmc
不过英伟达发言人也强调了《晨风》的演示只是为了表现RTX Remix工具,而不是真的打算做个《晨风》mod出来。英伟达RTX Remix & Mods产品经理Nyle Usmani在接受采访时说:“很高兴大家能喜欢我们演示的加上了RTX的《晨风》。”“但它仅用于演示。”“Lightspeed Studio工作室的工作其实也并不在于做老游戏的重制。”1U7esmc
而这次英伟达用来做mod的这个RTX Remix其实还真的挺有趣。GTC Fall期间,我们特别听英伟达谈了RTX Remix。这个工具本身是免费的,但它在扩张英伟达各类图形技术开发生态的过程中,或许会起到与众不同的作用。1U7esmc
我们不做游戏开发,大部分玩家其实也不清楚mod具体是怎么完成的,但都会尊称那些制作mod的人为大佬。英伟达作为一个GPU制造商、图形技术方案提供商,谈mod之重当然主要是在原游戏的画质提升上,这其中的门道其实很多样,而且难度对一个人或者很少人组成的mod团队而言是巨大的。1U7esmc
1U7esmc
英伟达总结了制作此类mod的四大难点,如上图所示。首先是处理游戏文件——要将游戏中的资源(assets)导出、重新设计、然后再放回到游戏中本身就相当不容易。一般mod制作者需要接触各种各样的工具——这就是第二大问题,而且是长长一串工具链,以及不同的游戏就得再去接触新的工具链。那么对于很多小众或者独立游戏来说,做mod也就会成为一种奢望。1U7esmc
第三个问题是做画质增强的mod,则有海量工作需要去做处理,包括各种老游戏的低分辨率、很简单的纹理之类。对于现在的游戏玩家而言,一般的效果还满足不了他们,用现有工具来处理这些问题,工作量就会十分巨大。还有就是老旧的renderer的问题,比如像《晨风》这款游戏x86 32位处理,对于高质量纹理或者增加光追之类的就造成了巨大的障碍。1U7esmc
据说要给这样的老游戏做个光追mod,得花上好几个月的时间。Nyle说跟一个搞了7年mod的创作者聊过,对方说尝试花2年时间来打造一个工具,专门针对某一款游戏来打造制作mod的工具。我们也是惊叹那些花业余时间搞mod的“大佬”仅凭着兴趣来做这件投入颇为巨大的任务。1U7esmc
1U7esmc
20年前的游戏能有这种画质???1U7esmc
Nyle说,这些问题的存在是英伟达去做RTX Remix的背景。不过我们认为,从一家商业企业的角度来思考,从高抽象层级来看,如果抛开RTX Remix将来用于其他应用的可能性,则RTX Remix本身也是扩张英伟达图形技术生态的巧妙方法。1U7esmc
从最浅表的角度来看,光线追踪、DLSS、Reflex等正处于生态扩张期,而加速游戏社区应用这类技术的方案,则从RTX Remix这样的角度入手显然是很好的;再往深一层看,RTX Remix建基于Omniverse,所以Remix实际上就是元宇宙里面的一个应用,Remix自然就是元宇宙生态中的一部分;与此同时,以英伟达对待自家app的利用方式,RTX Remix未来在mod制作之外应当还会大有用武之地。1U7esmc
英伟达说RTX Remix是给老游戏加入RTX属性、进行重制最简单的方法:开启游戏,导入原游戏资源(assets),然后用AI纹理工具来重建场景,加入光线追踪、DLSS 3,甚至能够用整个Omniverse生态来手动设计内容;最后导出RTX mod,放在游戏文件夹里面。1U7esmc
这个过程大致上是这样的。RTX Remix首先会监听Draw Call,如此一来RTX Remix就能“看到”并捕捉游戏资料。对于mod制作者而言,这一步也就是启动游戏,然后点个热键,就能开始捕获纹理、几何、光照、场景视角所在位置等信息。1U7esmc
1U7esmc
在捕获完成之后,这些游戏资源会被编码转为USD文件格式——如果你对Omniverse熟,应该就知道USD是什么——最早这是动画工作室Pixar做出来用于制作动画电影的数据交换格式,算是对大型3D场景的一种表达。英伟达在构建Omniverse之初,就想到用USD作为内部不同工具互通的标准格式。英伟达此前将USD称作3D世界的HTML。1U7esmc
这也是RTX Remix可应用Omniverse生态工具的基础,理论上当前接入Omniverse的各种connector应用都可以用来做mod制作,也算是体现Omniverse生态优势的组成部分了。Mod做好以后,导出RTX mod包,放到游戏执行文件旁边就行了。1U7esmc
这个过程实际上就解决了前文提到的4个问题,我们来一个个捋一下:第1,这个流程已经解决了游戏资源导出的问题;第2则是大量工具链的使用——Omniverse的生态解决了该问题——在Omniverse中有端到端且相互关联的工具链——而且我们之前的文章里详细介绍过,Omniverse的一大功能就是设计协作,那么mod制作也就可以分工协作了,这种3D设计的协作就跟在线文档协作一样,是实时同步和可视化的。1U7esmc
前面提到的第3个问题是游戏资源增强的工作量巨大。RTX Remix在这个问题上的解决方案,是让我们感觉最为神奇的。这里面用到了一种AI纹理工具。其功能一方面是能够将低分辨率的资源upscale为4倍的高分辨率——甚至1080p的东西可以直接升格为4K。1U7esmc
1U7esmc
AI纹理工具的这个upscale分辨率特性听起来也没有什么。不过真正牛掰的地方,是用AI来对老游戏中的纹理做推理(inference),神奇般地转为材质精美的纹理——这叫re-texturing。Nyle解释说,AI纹理工具在看到画面以后,能够去“理解画面原本想要呈现的材料”,比如说看到一扇木头门,那么就能以高质量、高分辨率的木质纹理来替代;1U7esmc
所以我们能看到成品mod大量增加了场景细节。然后赋予其可做光线追踪交互的特性。这种材质差异,在光追过程里也会表现出显著变化,比如金属门会有明显的反光,木头门的反光方式会不同。这个过程就硬件层面肯定是要用到GPU的tensor core的。1U7esmc
RTX Remix的过程也很好地解释了Nvidia AI与Nvidia Omniverse两个方向的应用交叉。基于AI来YY出新的纹理与材质,就是《晨风》示例里看到画面焕然一新的关键。如果你对AI技术有概念,应该也能想到,英伟达自己首先需要对游戏纹理的大量图片做神经网络的训练,网络完成以后才能真正应用于纹理、物理属性之类的AI推理。这应该也是RTX Remix技术的一大关键。1U7esmc
1U7esmc
最后一个问题,老旧的renderer,从技术上涉及到如何绕过老旧渲染器,可应用光追、处理大型纹理之类的特性。以《晨风》为例,这个游戏用DirectX API,基于D3D9 runtime来发出渲染指令到GPU。英伟达就自己做了一个RTX Remix runtime——算是D3D9 runtime的定制版本,然后它可以监听draw call,并且从中做处理。1U7esmc
在截取到渲染指令之后,就做对应的转换,最终目标就是要令其适用于光线追踪环境。场景管理器(scene manager)会拿到所有的数据,包括光照、纹理、视角、几何,以及在Remix中创建的新资源等;将这些信息随同动作矢量(motion vector)编译,构建可以进行光线追踪的场景。然后就可以给RTX renderer去搞光追、DLSS 3之类的处理工作了。1U7esmc
英伟达说给《晨风》做的这个演示,在光追效果上其实比之前做的很多光追游戏都要好,因为其中还融入了包括RTXDI(RTX Direct Illumination)、GI(Global Illumination)以及SER(Shader Execution Reordering)、OMM(Opacity Micro-Maps)之类的技术,其中不少应该是最新发布的Ada Lovelace架构GPU新增的特性。1U7esmc
1U7esmc
另外,对于玩家来说RTX Remix还有个特性——据说玩家下载某个RTX mod,就能以实时的方式调整参数来定制化自己想要的游戏体验,连游戏中某物的材质属性都可以自定义。上面这张图就是英伟达演示的实时调整过后,同场景的外观变化。看的时候简直就惊呆了。1U7esmc
英伟达推荐要用RTX Remix做mod的话,最好是用Ada Lovelace架构的GPU。感觉从内容创作者的角度,尤其做出《晨风》RTX那种巨豪华的效果,或许用这次英伟达在GTC上新发布的RTX 6000工作站GPU会比GeForce效果好。Nvidia Studio驱动和大显存都是优势项嘛。RTX 6000貌似是Ada Lovelace架构的首款工作站GPU了。1U7esmc
当前英伟达给RTX Remix划定的适用范围,就是针对DirectX 8/9游戏做mod。其实也不光是给原场景增加细节,既然是做mod嘛,给场景再加个光源、改变场景的各部分构成、色彩,也可以加自定义的资源——刚才提到Omniverse里面的connector应用都能用,什么AutoDesk、Maya、Adobe工具之类的。1U7esmc
1U7esmc
Portal游戏截图1U7esmc
《Portal RTX》应该算是英伟达做给广大mod制作者看的一个样品展示,据说几乎是对游戏中的所有纹理做了重制,包括符合物理法则的各种细节。而且还在技术上加入了一些东西,比如游戏中某个纹理覆盖于另一纹理的所谓“decal”——墙上的弹孔、泼溅的涂料、血迹都在这个范畴内。而光线追踪过程暂时是无法基于材料物理属性来处理这些decal的。在光线抵达这样的表面后,英伟达在技术上尝试对表面和decal做blend,做出更为真实的光线反射。1U7esmc
还有《Portal》这个游戏本身在玩法上是在不同的地方开传送门,那么传送门对面的光照就要传到这边来。似乎这个工作还挺不容易的。1U7esmc
好像英伟达这次还是挺认真地要做mod,所以和Nexus Mods这种mod社区都还有合作。不过看RTX Remix的演示,是否感觉它能做的事情并不止于搞些mod。比如说要是直接给游戏开发者来用,是不是也能更便利地做一些老游戏的重制——虽然不清楚这套流程,是否有可能增加游戏的操作延迟;还有将其融合到游戏引擎、开发软件之类中(不过作为Omniverse的一部分,似乎做更深度的整合会很容易)。1U7esmc
不过据说仅对DirectX 8/9做支持,而不支持其他版本,是因为基于DX8/9固定管线(Fixed-Function Pipeline)的游戏不少,而像DirectX 10和更新版本就暂时存在技术上的实现障碍了(因为前文提到RTX Remix做mod有监听流程);技术负责人Alex Dunn表示未来或许有可能向更高或更低版本的API进发。据说Vulkan对于RTX Remix很理想,是因为DXVK这项开源技术。1U7esmc
其实基于Omniverse生态,以及USD格式这类标准,RTX Remix大概还能有更多我们想象不到的应用。比如应用到VR上...总之这是个相当有趣且不错的起点。且如前文所述,这绝对是英伟达持续扩建生态的妙笔。1U7esmc
微信扫一扫,一键转发
关注“国际电子商情” 微信公众号
公告指出,华虹人民币股份发行募集资金(包括大基金二期认购事项募集资金)拟用于「华虹制造(无锡)项目」、「8英寸厂优化升级项目」、「特色工艺技术创新研发项目」及补充营运资金。
全球助听器芯片组市场的主要参与者包括 Sonova 和 Demant、WS Audiology、GN Group、Starkey Hearing Technologies。
达摩院自动驾驶相关业务和团队仅近百人将转入菜鸟,其余近200人将内部转岗或者被裁。
由于中小型面板和大型面板的系统单位销售额下降,致该公司精密设备业务部门下的FPD光刻系统领域的收入和利润同比下降;受新系统的单位销售额增加影响,该部门半导体光刻系统领域的收入和利润都有所增长。
2023年第一季度意法半导体的净收入同比增长 19.8% 至 42.5 亿美元,同时,公司的毛利率同比提高至 300 个基点,环比提高 220 个基点。ST预计2023年收入为170亿-178亿美元,比2022年增长5%-10%。2023年,来自SiC的收入预计约为12亿美元,到2024年,其基材的很大一部分将在内部采购。
“由于市场周期性和宏观经济逆风,2023 年第一季度全球半导体销售额继续下滑,但 3 月的月度销售额在近一年来首次出现上升,为未来几个月的反弹提供了乐观情绪, ”SIA 总裁兼首席执行官 John Neuffer 称。
国际电子商情18日综合台媒报道,晶圆代工厂力积电总经理谢再居在今(18)日法说会上透露,第一、二季应是营运谷底,坦言近期客户下单虽然仍相对保守,但也积极议价,显示部分市场出现回温迹象。
4月6日,中国工信部刊文指出,全国集成电路标准化技术委员会(以下简称“集成电路标委会”)成立大会暨一届一次全体委员会议在京召开。 报道称,会议指出开展集成
目前雷达市场有两大重要变化:一是毫米波雷达技术从之前的SiGe转型到RFCMOS,第二个关键变化是24GHz传感器正被77GHz传感器取代,这是推动4D毫米波雷达成本持续降低的主因。
国际电子商情17日讯 据市调机构在其最新报告中预测,受惠于低阶手机镜头数量提高,2023年手机相机模组出货量可望年增3.6%……
手机厂商们的似乎都希望在”拍月亮“上分个高下。相信不少人都看三星 Galaxy S23 Ultra 的视频广告。然而,有细心的网友从这条视频中发现了三星“空间变焦”(Space Zoom)登月照片疑似造假的证据……
虽然 LiDAR 可能仍会在某些应用中占有一席之地,并且摄像头在短期内有自己的问题,但很明显,摄像头有望在未来几年成为室内移动机器人的主要传感器。
7月13日,兆驰股份发布2023上半年业绩预告。
7月13日消息,据sammobile报道,三星现已在韩国推出了98英寸8KNeoQLED电视,型号为QNC990,售价为4990万韩元(当前约2
近日,山东省人民政府办公厅印发《实施先进制造业“2023突破提升年”工作方案》(以下简称《工作方案》)。
受惠于生成式人工智能应用市场的成长,在各云端运算供应商与IC设计公司发展人工智能芯片的情况下,台积电相关订
7月12日,教育部部长怀进鹏在全国高校科技创新暨优秀科研成果奖表彰大会上表示,将针对核心技术“卡脖子”问题,
7月13日,华为在其2023创新和知识产权论坛上公布了三项专利许可收费标准,分别为手机、Wi-Fi和物联网。
美国零售联合会(NRF,National Retail Federation)发布按2022财年零售量排序的2023年度“美国零售百强”榜(20
一年的结束通常是回顾和反思的时候。
近日半导体行业动态频频,一批半导体项目先后签约、竣工、投产,涵盖了半导体设计、材料、制造、设备等多个领域
【招银研究|宏观点评】企业贷款边际修复——2023年6月金融数据点评
根据外媒报导,英特尔(Intel)已经证实,将停止对NUC(Next Unit of Compute,下一代计算单元)业务的直接投资,并转变策略
当地时间7月11日,欧洲议会通过了一项通过促进生产和创新确保欧盟芯片供应的计划,并制定了应对芯片短缺的紧急
2023年7月11日,矽典微发布新一代智能毫米波传感器SoC ICL1112、ICL1122两款芯片。提升了超低功耗检测和极远
传感解决方案释放AIoT和数字化全部潜力,实现“万物互联和AI无处不在”。
新能源转型浪潮下,整个汽车行业的供应链体系正在发生着意义深远的变化。
本次在中国举办3地巡回论坛,就是为了向国内RISC-V产业圈布道自身在RISC-V领域的能力图谱,并重磅宣布SiFive亲
报告显示,消费者期望了解车辆材料和零部件的来源和可持续性水平,并获得汽车制造过程中端到端的可见性。
集成电路(IC)作为电子信息产业的基石,是关系国家安全和国民经济命脉的战略性、基础性和先导性产业。而IC设计是
2023年7月4日,业内知名的数字前端EDA供应商思尔芯(S2C),发布了最新一代原型验证解决方案——芯神瞳逻辑系统S8-4
贸泽电子 (Mouser Electronics)宣布将于7月11日-13日重磅亮相2023慕尼黑上海电子展。届时,贸泽电子将携手国
WhisperExtractor依靠一项颠覆性技术,解决了希望实现语音用户互动或声音分类的电池供电设备的主要挑战之一,即
人类在面对重大自然灾害、事故、突发公共卫生事件时,应急通信保障必不可少,有这么一家公司,通过将无人机与小型
近日, 2023中国独角兽企业大会在苏州举办,亿铸科技荣登 “2022中国潜在独角兽企业榜“。
Cirrus Logic 助专业音频产品制造商轻松集成和定制其产品,音频体验不受转换器影响
点击查看更多
北京科能广告有限公司深圳分公司 版权所有
分享到微信
分享到微博
分享到QQ空间
推荐使用浏览器内置分享
分享至朋友圈