没有人会相信近十年间,与训练模型和数据相关的计算量会扩大100万倍。而在生成式AI需求爆发式增长的背景下,行业更需要进行充分的供应链准备,以满足全球对AI的需求,这也是黄仁勋之所以多次强调加速计算的原因所在。
过去十年中,云计算以每年20%的增幅高速增长,并迅速发展成为一个万亿美元的产业。IDC预测称,到2025年,云将超过本地基础设施,成为65%的企业组织存储、管理和分析运营数据的主要方式。但与之前相比,企业更关注云计算带来的运营成本效益,已经迁移到云端的客户开始关注平台和软件服务。nPcesmc
NVIDIA在GTC 2023上描绘了为全球客户构建数据中心和AI基础设施的蓝图,并推出了全新的DGX 计算机, 搭载了8颗NVIDIA GPU。nPcesmc
其实早在2016年,NVIDIA创始人兼首席执行官黄仁勋先生就亲手向OpenAI交付了第一台NVIDIA DGX超级计算机。此后数年里,NVIDIA DGX从最初被用作AI技术的研究设备,逐步被企业扩展至数据优化和AI处理,据称财富前100强公司中约有半数采用了DGX。进入2023年后,随着ChatGPT的走红,部署像ChatGPT这样的大型语言模型(LLM)正在成为DGX越来越重要的一项工作。nPcesmc
而为了加快把DGX能力带给初创企业和其他各类企业,以助力其快速打造新产品和制定AI战略,NVIDIA最新发布了NVIDIA DGX Cloud。通过与微软Azure、Google Cloud和Oracle Cloud Infrastructure合作,“从浏览器上”即可实现将NVIDIA DGX AI超级计算机“带给每家公司”的愿景。这一模式也被称之为Training-as-a-Service,或者Model Making-as-a-Service。 nPcesmc
实际上,这并不是英伟达第一次公布DGX Cloud。此前在英伟达2022财年四季度财报发布时,黄仁勋先生就向外界透露说英伟达将与云服务厂商展开合作,让客户以使用网页浏览器的方式,就能通过NVIDIA DGX Cloud来使用DGX计算机,从而训练和部署大型语言模型或完成其他AI工作负载。nPcesmc
简单而言,DGX Cloud可提供 NVIDIA DGX AI超级计算专用集群,并配以NVIDIA AI Enterprise软件推动AI端到端开发和部署。每个企业都可以通过一个简单的网络浏览器访问自己的AI超级计算机,免除了购置、部署和管理本地基础设施的复杂性。同时,企业可按月租用DGX Cloud集群,以便能够快速、轻松地扩展大型多节点训练工作负载的开发,而无须等待需求量通常很大的加速计算资源。nPcesmc
目前,NVIDIA正在与领先的云服务商联合托管DGX Cloud基础设施,Oracle Cloud Infrastructure(OCI)将首当其冲,通过其OCI超级集群,提供专门构建的RDMA网络、裸金属计算以及高性能本地块存储,可扩展到超过32,000个GPU所组成的超级集群。微软Azure预计将在下个季度开始托管DGX Cloud,该服务将很快扩展到Google Cloud等。nPcesmc
为了加速企业使用生成式AI的工作,NVIDIA发布的另一项重磅消息则是推出NVIDIA AI Foundations云服务系列,为需要构建、完善和运行自定义大型语言模型及生成式 AI的客户提供服务,他们通常使用专有数据进行训练并完成特定领域的任务。nPcesmc
AI Foundations服务包括三类:NVIDIA NeMo,用于构建自定义语言文本-文本转换生成模型;Picasso视觉语言模型制作服务,适用于想要构建使用授权或专有内容训练而成的自定义模型的客户;以及BioNeMo,助力2万亿美元规模的药物研发行业的研究人员。nPcesmc
NeMo和Picasso服务运行在可通过浏览器访问的NVIDIA DGX Cloud上。开发人员可以通过简单的应用编程接口(API)使用每项服务上提供的模型。一旦模型可以部署,企业就能够使用NVIDIA AI Foundations云服务大规模地运行推理工作负载。nPcesmc
每项云服务都包含六个要素:预训练模型、数据处理框架、矢量数据库和个性化服务、经过优化的推理引擎、各种API、以及NVIDIA专家提供的支持,可帮助企业针对其自定义用例调整模型。nPcesmc
从已公布的用户案例来看:nPcesmc
与此同时,加速生成式AI模型的快速部署也是NVIDIA关心的重点。为此,黄仁勋先生发布了用于AI视频、图像生成、大型语言模型部署和推荐器推理的推理平台,这些平台将NVIDIA的全套推理软件与最新的NVIDIA Ada、Hopper和Grace Hopper处理器相结合,包括同时在最近推出的NVIDIA L4 Tensor Core GPU和NVIDIA NVL GPU。nPcesmc
nPcesmc
Google Cloud是首家支持L4 Tensor Core GPU的云服务提供商,该公司已推出新的G2虚拟机并在近日提供私人预览版。此外,谷歌还将L4 GPU集成到其Vertex AI模型商店中。资料显示,L4 GPU是一款适用于几乎所有工作负载的通用GPU,具有更加强大的AI视频功能,可提供比CPU高120倍的AI视频性能,同时能效提高了99%。nPcesmc
据IDC统计,全球算力的需求每3.5个月就会翻一倍,远远超过了当前算力的增长速度。在此驱动下,全球计算、存储和网络基础设施也在发生根本转变,一些复杂的工作负载,在通用的CPU上不能很好的处理,为减轻CPU/GPU内核的负担,很多一级云服务提供商开始考虑如何在单芯片DPU上就可实现网络、存储、安全等关键任务的加速工作。nPcesmc
2020年10月,英伟达将基于Mellanox的SmartNIC技术推出 BlueField DPU(数据处理器),并将CPU、GPU、DPU称之为组成“未来计算的三大支柱”。作为面向数据中心的专用处理器,DPU新增了AI、安全、存储和网络等各种加速功能,能够对性能敏感且通用的基础设施工作负载进行加速,从而更好地支撑CPU、GPU的上层业务,成为整个网络的中心节点。nPcesmc
有行业人士表示,未来,用于数据中心的DPU量级将达到和数据中心服务器等量的级别。“每台服务器可能没有GPU,但一定会有一块或者几块DPU卡,这将是一个千亿量级的市场。”nPcesmc
本届GTC 2023上,NVIDIA宣布Oracle云基础设施(OCI)已选择 NVIDIA BlueField-3 DPU作为其网络堆栈的最新部分,从而为其客户提供一个强大的新选项,用于从CPU卸载数据中心基础设施任务。nPcesmc
BlueField-3 DPU是NVIDIA第三代数据处理器,与上一代BlueField DPU相比,BlueField-3 DPU支持高达400Gbps的以太网和InfiniBand网络连接,提供了4倍的计算能力、4倍的加密加速性能、2倍的存储处理性能和4倍的内存带宽。测试显示,与未使用DPU的服务器相比,使用NVIDIA BlueField DPU的服务器可降低高达24%的功耗。nPcesmc
通过NVIDIA DOCA软件框架,BlueField DPU可完全向后兼容。NVIDIA DOCA为开发者提供先进的零信任安全功能,使开发者能够创建用于控制资源访问的计量云服务、验证每个应用程序和用户、隔离可能被入侵的机器,并帮助保护数据免遭破坏和盗窃。nPcesmc
在计算机科学界,没有人会相信近十年间,与训练模型和数据(从AlexNet训练到现在)相关的计算量会扩大100万倍。而在生成式AI需求爆发式增长的背景下,行业更需要进行充分的供应链准备,以满足全球对AI的需求。这也解释了黄仁勋之所以多次强调加速计算的原因所在,毕竟,通过执行这样的全栈操作,不但可以将计算性能显著提升,更可以有效节省计算时间,从而节约能源,助推可持续发展。nPcesmc
微信扫一扫,一键转发
关注“国际电子商情” 微信公众号
总体体现了意在促进人工智能产业发展创新的“呵护式”监管思路。
国际电子商情13日讯 当地时间周三(7月12日),美国科技大亨埃隆·马斯克(Elon Musk)在社交媒体上宣布,他领导的团队正式成立xAI公司。目前xAI的官网还很简单,除了几段文字和团队成员介绍,暂时没有太多信息。xAI定于周五在线上举办活动,该团队将在线回答提问。
物联网与人工智能技术的融合迭代衍生出智能物联网(AIoT)新业态,其终极目标是形成智能化生态体系,并在其中实现不同智能终端设备之间、不同系统平台之间,以及不同应用场景之间的
深圳市人工智能产业规模的增长,主要得益于企业规模的增长和企业数量的增加。
芯片设计中的人工智能(AI)是该技术在制造业中最有前途的应用之一。它有望更快、更准确地制造芯片,同时减轻劳动力的压力。
国际电子商情19日 欧盟议会日前表决通过了《人工智能法案》授权草案。该法案进入欧盟立法严格监管人工智能技术应用的最终谈判阶段。
国际电子商情16日讯 今日,华为首次正式官宣昇思AI框架&大模型创新中心启动暨伙伴入驻仪式。同时宣布昇思MindSpore社区理事会成立。华为昇思MindSpore提供全场景深度学习框架,联合上下游企业共同打造国产化AI生态圈。
活动上AMD 董事长兼首席执行官苏姿丰( Lisa Su)称,MI300X是AMD真正为生成式人工智能设计的产品,比起英伟达的H100芯片,MI300X提供了2.4倍多的内存和1.6倍多的内存带宽,生成式AI和大语言模型需要电脑的算力和内存大幅提高。
2022-2023年的拐点已经到来…
国际电子商情9日讯 ChatGPT 的流行催生了一系列初创公司,拉开了主要技术提供商争夺市场份额的竞赛序幕。
从显卡王者到AI新贵,英伟达凭什么赌赢了大趋势?一个关键原因在于其广受人工智能领域追捧的芯片产品,目前是一卡难求……
聚焦通用大模型、智能算力芯片、智能传感器、智能机器人、智能网联汽车等领域。
7月13日,兆驰股份发布2023上半年业绩预告。
7月13日消息,据sammobile报道,三星现已在韩国推出了98英寸8KNeoQLED电视,型号为QNC990,售价为4990万韩元(当前约2
近日,山东省人民政府办公厅印发《实施先进制造业“2023突破提升年”工作方案》(以下简称《工作方案》)。
受惠于生成式人工智能应用市场的成长,在各云端运算供应商与IC设计公司发展人工智能芯片的情况下,台积电相关订
7月12日,教育部部长怀进鹏在全国高校科技创新暨优秀科研成果奖表彰大会上表示,将针对核心技术“卡脖子”问题,
7月13日,华为在其2023创新和知识产权论坛上公布了三项专利许可收费标准,分别为手机、Wi-Fi和物联网。
美国零售联合会(NRF,National Retail Federation)发布按2022财年零售量排序的2023年度“美国零售百强”榜(20
一年的结束通常是回顾和反思的时候。
近日半导体行业动态频频,一批半导体项目先后签约、竣工、投产,涵盖了半导体设计、材料、制造、设备等多个领域
【招银研究|宏观点评】企业贷款边际修复——2023年6月金融数据点评
根据外媒报导,英特尔(Intel)已经证实,将停止对NUC(Next Unit of Compute,下一代计算单元)业务的直接投资,并转变策略
当地时间7月11日,欧洲议会通过了一项通过促进生产和创新确保欧盟芯片供应的计划,并制定了应对芯片短缺的紧急
2023年7月11日,矽典微发布新一代智能毫米波传感器SoC ICL1112、ICL1122两款芯片。提升了超低功耗检测和极远
传感解决方案释放AIoT和数字化全部潜力,实现“万物互联和AI无处不在”。
新能源转型浪潮下,整个汽车行业的供应链体系正在发生着意义深远的变化。
本次在中国举办3地巡回论坛,就是为了向国内RISC-V产业圈布道自身在RISC-V领域的能力图谱,并重磅宣布SiFive亲
报告显示,消费者期望了解车辆材料和零部件的来源和可持续性水平,并获得汽车制造过程中端到端的可见性。
集成电路(IC)作为电子信息产业的基石,是关系国家安全和国民经济命脉的战略性、基础性和先导性产业。而IC设计是
2023年7月4日,业内知名的数字前端EDA供应商思尔芯(S2C),发布了最新一代原型验证解决方案——芯神瞳逻辑系统S8-4
贸泽电子 (Mouser Electronics)宣布将于7月11日-13日重磅亮相2023慕尼黑上海电子展。届时,贸泽电子将携手国
WhisperExtractor依靠一项颠覆性技术,解决了希望实现语音用户互动或声音分类的电池供电设备的主要挑战之一,即
人类在面对重大自然灾害、事故、突发公共卫生事件时,应急通信保障必不可少,有这么一家公司,通过将无人机与小型
近日, 2023中国独角兽企业大会在苏州举办,亿铸科技荣登 “2022中国潜在独角兽企业榜“。
Cirrus Logic 助专业音频产品制造商轻松集成和定制其产品,音频体验不受转换器影响
点击查看更多
北京科能广告有限公司深圳分公司 版权所有
分享到微信
分享到微博
分享到QQ空间
推荐使用浏览器内置分享
分享至朋友圈