NVIDIA两款全新GPU首秀 凭借A100 GPU刷新纪录
时隔半年,MLPerf组织发布最新的MLPerf Inference v1.0结果,V1.0引入了新的功率测量技术、工具和度量标准,以补充性能基准,新指标更容易比较系统的能耗,性能和功耗。
V1.0版本的基准测试内容云端推理依旧包括推荐系统、自然语言处理、语音识别和医疗影像等一系列工作负载,边缘AI推理测试则不包括推荐系统。
所有主要的OEM都提交了MLPerf测试结果,其中,在AI领域占有优势地位的NVIDIA此次是唯一一家提交了从数据中心到边缘所有MLPerf基准测试类别数据的公司,并且凭借A100 GPU刷新了纪录。
不仅如此,超过一半提交成绩的系统都采用了NVIDIA的AI平台。
不过,初创公司提交其AI芯片推理性能Benchmark的依旧很少。
AI推理最高性能半年提升45%
雷锋网在MLPerf Inference v0.7结果发布的时候已经介绍过,NVIDIA去年5月发布的安培架构A100 Tensor Core GPU在云端推理的基准测试性能是最先进英特尔CPU的237倍。
经过半年的优化,NVIDIA又将推荐系统模型DLRM、语音识别模型RNN-T和医疗影像3D U-Net模型的性能进一步提升,提升幅度达最高达45%,与CPU的性能差距也提升至314倍。
从架构的角度看,GPU架构用于推理优势并不明显,但NVIDIA依旧凭借其架构设计配合软件优化刷新了MLPerf AI云端和边缘推理的Benchmark纪录。
MLPerf的Benchmark证明了A100 GPU性能,但其不菲的售价也是许多公司难以承受的。
今天,更具性价比的NVIDIAA30(功耗165W)和A10(功耗150W) GPU也在MLPerf Inference v1.0中首秀。
A30 GPU强于计算,支持广泛的AI推理和主流企业级计算工作负载,如推荐系统、对话式AI和计算机视觉。
A10 GPU更侧重图像性能,可加速深度学习推理、交互式渲染、计算机辅助设计和云游戏为混合型AI和图形工作负载提供支持。可以应用于AI推理和训练的A30和A10 GPU今年夏天开始会应用于各类服务器中。
A100云端AI推理性能比CPU高314倍
A100经过半年的优化,与CPU的性能差距从v0.7时最多237倍的差距增加到了最高314倍。
具体来看,在数据中心推理的Benchmark中,在离线(Offline)测试,A100比最新发布的A10有1-3倍的性能提升,在服务器(Server)测试中,A100的性能最高是A10的近5倍,在两种模式下,A30的性能都比A10高。
值得注意的是,英特尔本月初最新发布的第三代至强可扩展CPU Ice Lake的推理性能相比上一代Cooper Lake在离线测试的ResNet-50和SSD-Large模型下有显著提升,但相比A100 GPU体现出17-314倍的性能差距。
高通AI 100的云端AI推理在MLPerf Inference v1.0测试下表现不错,其提交的离线和服务器测试下的ResNet-50和SSD-Large模型成绩显示,高通AI 100的推理性能均比NVIDIA新推出的A10 GPU高,其它模型的成绩高通并未提交。
从每瓦性能来看,高通A100在提交成绩的ResNet-50和SSD-Large模型中比A100更高,但性能比A100低。
赛灵思的VCK5000 FPGA在图像分类ResNet-50的测试中表现不错。
Jetson系列是唯一提交所有边缘推理测试成绩的芯片
A系列GPU在云端AI推理的性能优势可以延续至边缘端。MLPerf的边缘AI推理Benchmark分为Single-Stream和Multi-Stream,A100 PCIe、A30、A10在Single-Stream的所有模型下都有显著的性能优势,高通A100在ResNet-50模型下也优势明显,不过高通也仅提交了这一模型的成绩。
这些产品用于边缘AI推理有些大材小用,NVIDIA的Jetson家族的AGX Xavier和Xavier NX更适合边缘场景,根据提交的数据,Centaur公司在ResNet-50模型中优势明显,SSD-Small模型下的性能与Jetson Xavier NX性能相当。
边缘AI推理的Multi-Stream Benchmark,只有NVIDIA提交了成绩,A100 PCIe版本的性能最高是Jetson AGX Xavier和Xavier NX的60倍。
在NVIDIA此次提交的结果中,多项是基于Triton推理服务器,其支持所有主要框架的模型,可在GPU及CPU上运行,还针对批处理、实时和串流传输等不同的查询类型进行了优化,可简化在应用中部署AI的复杂性。
雷锋网(公众号:雷锋网)了解到,在配置相当的情况下,采用Triton的提交结果所达到的性能接近于最优化GPU能够达到性能的95%,和最优化CPU99%的性能。
另外,NVIDIA还使用Ampere架构的多实例GPU性能,在单一GPU上使用7个MIG实例,同时运行所有7项MLPerf离线测试,实现了与单一MIG实例独立运行几乎完全相同的性能。
小结
MLPerf Benchmark结果的持续更新,可以为在IT基础设施投资的企业提供一些有价值的参考,也能推动AI的应用和普及。
在这个过程中,软件对于AI性能的提升非常重要,同样是A100 GPU,通过有针对性的优化,半年实现了45%的性能提升。
同时也不难发现,NVIDIA正在通过持续的软硬件优化,以及更丰富的产品组合,保持其在AI领域的领导力,在AI领域想要超越NVIDIA似乎正在变得越来越难。
相关推荐:
最新新闻:
- 怎么通过回收站还原误删文件?回收站还原误删文件方法
- 如何解决Foxmail邮箱不能发送邮件问题?Foxmail邮箱不能发送邮件解决方法
- GrooveMonitor.exe是什么进程?GrooveMonitor.exe可以禁用卸载吗?
- Svchost.exe是什么?Svchost病毒清除办法
- win7系统如何设置Guest账户密码?Guest账户密码设置方法
- WebFreer怎么用?webfree浏览器使用方法
- GG修改器如何修改与冻结应用数值?修改与冻结应用数值操作步骤
- RMVB是什么意思?rmvb解析
- 有线宽带路由器怎么使用?有线宽带路由器使用方法
- 豆丁网上的文档怎么复制?豆丁网上的文档复制方法
- 安全更新补丁怎么下载?win7系统安全更新补丁KB4022722下载地址
- au_.exe是什么进程?au_.exe文件怎么删除?
- 卡盟是什么?为什么会有这么多的卡盟出现呢?
- cmd.exe是什么?cmd.exe有什么作用?
- 如何注册电脑上windows live的ID?windows live的ID注册步骤
- 如何解决Excel数据透视表无法分组问题?Excel数据透视表无法分组解决方法
- 黑莓10怎么使用代理?黑莓10使用代理的方法
- 如何使用网易云音乐Sati空间功能?网易云音乐Sati空间功能使用方法
- sqlwriter.exe进程是什么?sqlwriter.exe进程可以关闭吗?
- index.dat文件如何查看?使用工具查看index.dat文件
- 即时看!北约秘书长:乌克兰总有一天会加入北约,俄罗斯没有否决权
- 每日速看!《传送门》RTX版DLSS 3特性展示:开启前后的画面、帧数对比
- 58岁张曼玉参加纪念梅艳芳活动 穿V领碎花裙依旧优雅迷人
- 《漫威暗夜之子》官方发布预告片现已推出! 每日速讯
- 环球微头条丨歌手Hozier将参与本届TGA 与《战神》作曲家带来表演
- 《壮志凌云2》限时重返院线上映 12月2日至15日:天天看热讯
- 天天观天下!B站否认会推出贴片广告 陈睿回应接手B站游戏业务
- 天天快资讯丨亚马逊计划年投入10亿美元用于电影制作 推出12~15部
- 全球球精选!闲鱼卖二手,破财难消灾
- 《圣斗士星矢》真人电影先导预告和海报 过于霸气:环球即时
- FS社员工称工资不高有加班 但工作像玩黑魂有成就感:今日关注
- 热门:尹锡悦准备“量身定制”福利以吸引特斯拉超级工厂入驻韩国
- TI后更新来了 《DOTA2》7.32d平衡性更新上线:今日聚焦
- 热点评!《鬼怪》编剧新作 宋慧乔与前夫宋仲基“复仇之战”
- 分不清“事实与观点”的讨论,只是在浪费时间
- 出厂即6GHz i9-13900KS上架了 价格很贵
- 天天要闻:4款N卡停产 以后新卡只能买30系和40系了
- 环球动态:NUC玩跨界!英特尔公版NUC X15游戏本预售5999元
- 冠脉支架集采提价超25%,医药行业预期改变了吗?| 见智研究-全球焦点
- 《孤岛惊魂6》开启免费体验12月6日推出异界DLC
- 沉寂十年之后,大宗商品对冲基金强势归来
- 全球新消息丨类银河恶魔城射击游戏《魔骑少女》现已正式上市
- 动态焦点:华硕ROG幻16 2023款曝光 或将搭载13代酷睿和RTX 40显卡
- 损失严重!苹果iPhone产量极具下滑:预计减少5%至10%:环球快看点
- 每日热门:威尔士0-3不敌英格兰!英格兰队世界杯总进球数破百
- 补贴十三年,肥了谁?废了谁?|焦点精选
- 今日播报!高性价比推荐!一线大牌15.6英寸轻薄本3499元秒
- 特斯拉开始从它降价!每千瓦时降约0.35元
- 199元!网易UU加速盒2发布:支持所有游戏主机、VR
- SE公布《浪漫沙加:吟游诗人之歌》8名主角介绍预告:每日速读
- 快讯:影驰全家桶:冬日装机,纯白平价优选,颜值实力兼具
- 保护用户不力!Meta欧洲被罚2.65亿欧元_当前要闻
- 谷歌手机广告造假 连带广告公司被FCC起诉
- RGB控制一键超频 耕升GW-SOUL软件详解
- 当前视讯!韩国罢工潮愈演愈烈!与工会谈崩后,政府下达强制开工令
- 一边办世界杯,一边狂“卖气”!卡塔尔与德国达成一份15年天然气供应协议
- 出险房企等来了红包_全球快看点
- 天天快资讯:法拉利首款SUV停止接单!已经供不应求了
- 《如龙维新极》冈田以藏介绍:沉默寡言的危险剑客
- 【独家】传闻:《使命召唤》以幽灵为主角的内容正在开发
- 《传送门RTX》12月8日发售 DLSS 3特性展示_天天快看
- 快播:苹果AirPods Pro 2耳机-500 只要1399
- 天天通讯!小米12 Pro降到2599 小米12s Ultra也只要4999
- 上财校长称40万博士生月收入仅3000元 建议提高博士生的收入_微动态
- C919大型客机获颁生产许可证_天天速读
- 天文学家痛斥:美国一卫星比天上99.8%的星星都亮
- 世界快看点丨第二春?《大镖客2》Steam在线人数超6.6万创下新高
- 世界焦点!《亚当斯一家》真人剧《星期三》豆瓣开分8.1
- 《木卫四协议》前期2个小时视频被泄露
- 每日讯息!如何在卡牌游戏里体验“满清十大酷刑”?
- 布兰妮在社交媒体疯狂输出 粉丝:她的眼神让人毛骨悚然
- 每日热文:《FF7核心RE》新预告:预购开启、12月13日正式推出
- 角逐元宇宙,索尼也来了!推出360美元可穿戴VR设备 焦点简讯
- 微软收购动视暴雪获得沙特、巴西和塞尔维亚的批准|快报
- 《瞬息全宇宙》获哥谭奖“最佳影片”