没有人会相信近十年间,与训练模型和数据相关的计算量会扩大100万倍。而在生成式AI需求爆发式增长的背景下,行业更需要进行充分的供应链准备,以满足全球对AI的需求,这也是黄仁勋之所以多次强调加速计算的原因所在。
过去十年中,云计算以每年20%的增幅高速增长,并迅速发展成为一个万亿美元的产业。IDC预测称,到2025年,云将超过本地基础设施,成为65%的企业组织存储、管理和分析运营数据的主要方式。但与之前相比,企业更关注云计算带来的运营成本效益,已经迁移到云端的客户开始关注平台和软件服务。NHpesmc
NVIDIA在GTC 2023上描绘了为全球客户构建数据中心和AI基础设施的蓝图,并推出了全新的DGX 计算机, 搭载了8颗NVIDIA GPU。NHpesmc
其实早在2016年,NVIDIA创始人兼首席执行官黄仁勋先生就亲手向OpenAI交付了第一台NVIDIA DGX超级计算机。此后数年里,NVIDIA DGX从最初被用作AI技术的研究设备,逐步被企业扩展至数据优化和AI处理,据称财富前100强公司中约有半数采用了DGX。进入2023年后,随着ChatGPT的走红,部署像ChatGPT这样的大型语言模型(LLM)正在成为DGX越来越重要的一项工作。NHpesmc
而为了加快把DGX能力带给初创企业和其他各类企业,以助力其快速打造新产品和制定AI战略,NVIDIA最新发布了NVIDIA DGX Cloud。通过与微软Azure、Google Cloud和Oracle Cloud Infrastructure合作,“从浏览器上”即可实现将NVIDIA DGX AI超级计算机“带给每家公司”的愿景。这一模式也被称之为Training-as-a-Service,或者Model Making-as-a-Service。 NHpesmc
实际上,这并不是英伟达第一次公布DGX Cloud。此前在英伟达2022财年四季度财报发布时,黄仁勋先生就向外界透露说英伟达将与云服务厂商展开合作,让客户以使用网页浏览器的方式,就能通过NVIDIA DGX Cloud来使用DGX计算机,从而训练和部署大型语言模型或完成其他AI工作负载。NHpesmc
简单而言,DGX Cloud可提供 NVIDIA DGX AI超级计算专用集群,并配以NVIDIA AI Enterprise软件推动AI端到端开发和部署。每个企业都可以通过一个简单的网络浏览器访问自己的AI超级计算机,免除了购置、部署和管理本地基础设施的复杂性。同时,企业可按月租用DGX Cloud集群,以便能够快速、轻松地扩展大型多节点训练工作负载的开发,而无须等待需求量通常很大的加速计算资源。NHpesmc
目前,NVIDIA正在与领先的云服务商联合托管DGX Cloud基础设施,Oracle Cloud Infrastructure(OCI)将首当其冲,通过其OCI超级集群,提供专门构建的RDMA网络、裸金属计算以及高性能本地块存储,可扩展到超过32,000个GPU所组成的超级集群。微软Azure预计将在下个季度开始托管DGX Cloud,该服务将很快扩展到Google Cloud等。NHpesmc
为了加速企业使用生成式AI的工作,NVIDIA发布的另一项重磅消息则是推出NVIDIA AI Foundations云服务系列,为需要构建、完善和运行自定义大型语言模型及生成式 AI的客户提供服务,他们通常使用专有数据进行训练并完成特定领域的任务。NHpesmc
AI Foundations服务包括三类:NVIDIA NeMo,用于构建自定义语言文本-文本转换生成模型;Picasso视觉语言模型制作服务,适用于想要构建使用授权或专有内容训练而成的自定义模型的客户;以及BioNeMo,助力2万亿美元规模的药物研发行业的研究人员。NHpesmc
NeMo和Picasso服务运行在可通过浏览器访问的NVIDIA DGX Cloud上。开发人员可以通过简单的应用编程接口(API)使用每项服务上提供的模型。一旦模型可以部署,企业就能够使用NVIDIA AI Foundations云服务大规模地运行推理工作负载。NHpesmc
每项云服务都包含六个要素:预训练模型、数据处理框架、矢量数据库和个性化服务、经过优化的推理引擎、各种API、以及NVIDIA专家提供的支持,可帮助企业针对其自定义用例调整模型。NHpesmc
从已公布的用户案例来看:NHpesmc
与此同时,加速生成式AI模型的快速部署也是NVIDIA关心的重点。为此,黄仁勋先生发布了用于AI视频、图像生成、大型语言模型部署和推荐器推理的推理平台,这些平台将NVIDIA的全套推理软件与最新的NVIDIA Ada、Hopper和Grace Hopper处理器相结合,包括同时在最近推出的NVIDIA L4 Tensor Core GPU和NVIDIA NVL GPU。NHpesmc
NHpesmc
Google Cloud是首家支持L4 Tensor Core GPU的云服务提供商,该公司已推出新的G2虚拟机并在近日提供私人预览版。此外,谷歌还将L4 GPU集成到其Vertex AI模型商店中。资料显示,L4 GPU是一款适用于几乎所有工作负载的通用GPU,具有更加强大的AI视频功能,可提供比CPU高120倍的AI视频性能,同时能效提高了99%。NHpesmc
据IDC统计,全球算力的需求每3.5个月就会翻一倍,远远超过了当前算力的增长速度。在此驱动下,全球计算、存储和网络基础设施也在发生根本转变,一些复杂的工作负载,在通用的CPU上不能很好的处理,为减轻CPU/GPU内核的负担,很多一级云服务提供商开始考虑如何在单芯片DPU上就可实现网络、存储、安全等关键任务的加速工作。NHpesmc
2020年10月,英伟达将基于Mellanox的SmartNIC技术推出 BlueField DPU(数据处理器),并将CPU、GPU、DPU称之为组成“未来计算的三大支柱”。作为面向数据中心的专用处理器,DPU新增了AI、安全、存储和网络等各种加速功能,能够对性能敏感且通用的基础设施工作负载进行加速,从而更好地支撑CPU、GPU的上层业务,成为整个网络的中心节点。NHpesmc
有行业人士表示,未来,用于数据中心的DPU量级将达到和数据中心服务器等量的级别。“每台服务器可能没有GPU,但一定会有一块或者几块DPU卡,这将是一个千亿量级的市场。”NHpesmc
本届GTC 2023上,NVIDIA宣布Oracle云基础设施(OCI)已选择 NVIDIA BlueField-3 DPU作为其网络堆栈的最新部分,从而为其客户提供一个强大的新选项,用于从CPU卸载数据中心基础设施任务。NHpesmc
BlueField-3 DPU是NVIDIA第三代数据处理器,与上一代BlueField DPU相比,BlueField-3 DPU支持高达400Gbps的以太网和InfiniBand网络连接,提供了4倍的计算能力、4倍的加密加速性能、2倍的存储处理性能和4倍的内存带宽。测试显示,与未使用DPU的服务器相比,使用NVIDIA BlueField DPU的服务器可降低高达24%的功耗。NHpesmc
通过NVIDIA DOCA软件框架,BlueField DPU可完全向后兼容。NVIDIA DOCA为开发者提供先进的零信任安全功能,使开发者能够创建用于控制资源访问的计量云服务、验证每个应用程序和用户、隔离可能被入侵的机器,并帮助保护数据免遭破坏和盗窃。NHpesmc
在计算机科学界,没有人会相信近十年间,与训练模型和数据(从AlexNet训练到现在)相关的计算量会扩大100万倍。而在生成式AI需求爆发式增长的背景下,行业更需要进行充分的供应链准备,以满足全球对AI的需求。这也解释了黄仁勋之所以多次强调加速计算的原因所在,毕竟,通过执行这样的全栈操作,不但可以将计算性能显著提升,更可以有效节省计算时间,从而节约能源,助推可持续发展。NHpesmc
微信扫一扫,一键转发
关注“国际电子商情” 微信公众号
国际电子商情25日讯 欧洲消费者组织 (BEUC) 也加入了对ChatGPT和其他人工智能聊天机器人的担忧行列,呼吁消费者保护机构能调查该技术及其对个人的潜在危害。
国际电子商情24日讯 近日,北京小米机器人技术有限公司成立,法定代表人为曾学忠,注册资本5000万元人民币。同时,曾学忠还接替雷军,担任北京小米智能科技有限公司执行董事。
美国与欧盟被数千英里的大西洋分割开来,它们对人工智能(AI)的监控方式也不同。美国方面的最新变化在1月27日推出——大约是欧盟采取重大举措后七周的时间。
没有人能料到,生成式人工智能(AIGC)一夜爆火,从ChatGPT到文心一言,再到GPT-4和各类生成式人工智能,它以强大的文字处理和人机交互功能迅速成为炙手可热的新一代人工智能产品。
近年来,很多厂商开始尝试在MCU中融入AI功能,瑞萨电子也是关注MCU+AI的厂商之一。
市场调研机构IDC今年2月发布的《中国半年度边缘计算服务器市场(2022年上半年)跟踪报告》显示:2022上半年,中国边缘计算服务器整体市场规模达到16.8亿美元,预计2022年全年达到42.7亿美元,同比增长25.6%。同时,该机构还预测,在2021-2026年期间,中国边缘计算服务器整体市场规模年复合增长率将达23.1%,该数字高于全球的22.2%。
随着科技的进步,人工智能(AI)技术已经切入到IT系统中,并有了一些颇有成效的应用案例。日前,安克创新(Anker)和亚马逊云科技宣布成立联合创新实验室,该实验室使用了人工智能赋能业务创新。
国际电子商情22日讯 外媒消息称,拜登政府将公布一项严格限制,将限制相关企业在中国开展新业务,这些企业均是获得联邦资金的半导体制造商。
据韩国贸易、工业和能源部(Ministry of Trade, Industry and Energy在一份声明中表示,计划到2026年的550万亿韩元项目的资金将主要来自私营部门,而政府将提供税收优惠和快速的监管审批。
国际电子商情14日讯 外媒消息称,在看到拜登政府阻止美国在中国的投资的努力有所进展后,欧盟也开始探索类似措施,试图以此监管欧洲公司投资海外生产设施的情况……
国际电子商情3日讯 当地时间周四,美国商务部再度宣布将28家中国企业列入“实体清单”(Entity List),理由依然是莫须有的“威胁国家安全”,而这次被纳入的企业有中国服务器大厂浪潮集团、华大基因集团与龙芯中科等企业。
AI领域的从业者认为,ChatGPT是AIGC(AI Generated Content,利用人工智能技术来生成内容)应用的新起点,随着深度学习模型不断完善、开源模式的推动、大模型探索商业化的可能,AIGC有望进入应用爆发期。ChatGPT技术的商用落地,对半导体行业有哪些推动作用?
TechInsights的最新研究指出,2023年Q1,全球智能手机出货量同比下降14%,至2.69亿部。三星以23%的市场份额位居全
据日媒《共同社》报道,4月26日,日本决定,将对本土投资目标从80万亿日元上调至100万亿日元(约合人民币5.2万亿元)
2023年第一季度,全球云基础设施服务支出增长19%,达到664亿美元。虽然云计算仍然是IT市场中增长最快的部分之一
5月5日,合肥晶合集成电路股份有限公司(以下简称:晶合集成)成功登陆科创板。晶合集成据悉,晶合集成发行价为19.86
我国政府关于就业的两个预期目标分别为城镇新增就业数和城镇调查失业率。近六年除2020年外,失业率目标均围绕
随着半导体行业迈入下行周期,去库存成为行业发展当务之急。晶圆代工领域,库存调整情况如何?景气是否有复苏?
美东时间周四,据知情人士透露,微软正在与超威半导体(AMD)展开合作,资助后者向人工智能(AI)芯片领域扩张。
在行业下行周期时,新技术、新产品的诞生往往会成为振奋市场的关键点。当下DDR5DRAM作为存储领域的新产品,逐渐
近日,美国麻省理工学院一个跨学科团队开发出一种低温生长工艺,可直接在硅芯片上有效且高效地“生长”二维(2D)过
IGBT(绝缘栅双极晶体管)是一种功率半导体器件,俗称电力电子装置的“心脏”,作为国家战略性新兴产业,在高铁、新能
TechInsights近期发布的研究报告指出,2023年Q1,印度智能手机出货量同比下降18%,至3070万部。这是该全球第二大
据彭博社引述知情人士消息报道称,台积电计划在德国设立晶圆厂。
意法半导体总裁兼首席执行官Jean-Marc Chery在评论第一季度业绩时表示:“第一季度净营收42.5亿美元,汽车和工
英飞凌的宽禁带(WBG)产品组合提供了具有出色效率与高功率密度的全面的选项。
英飞凌科技股份公司近日宣布与密码技术初创公司池安量子(Chelpis Quantum Tech.) 合作 ,推出结合英飞凌
“我们的客户永远不会停止寻找新的方法来利用硅的力量去争取创新。”台积电首席执行官 魏哲家博士说,“本着
贸泽电子 (Mouser Electronics)宣布在2022年度华强电子网优质供应商颁奖盛典中荣获“2022年度华强电子网优
2023年4月25日,由华强电子网主办的“2023年半导体产业发展趋势高峰论坛暨2022年度华强电子网优质供应商&电子
奕成科技高端板级系统封测集成电路项目的成功投产,标志着中国大陆首座板级高密系统封测工厂实现零的突破,填补
2023年4月24日,全球领先的光学解决方案供应商艾迈斯欧司朗授权广东艾矽易信息科技有限公司(简称:艾矽易)为线上
1992年一月又一个春天,中国改革开放总设计师邓小平到深圳经济特区考察,这是对深圳经济模式的支持和肯定,对深圳
艾睿的深圳分公司乔迁至空间更宽阔、交通更便利的福田区“深业上城”,并于近日举办盛大的开幕典礼。
面向电子行业人士开放,4月25日,“2023年半导体产业发展趋势高峰论坛”将在深圳南山·华侨城洲际大酒店一楼大
截至2023年3月30日,全球已部署了600万个基于LoRa的网关,基于LoRa的终端节点3亿个,采用LoRaWAN连接的公共网络运
分享到微信
分享到微博
分享到QQ空间
推荐使用浏览器内置分享
分享至朋友圈