每日消息!焱融科技 YRCloudFile 率先支持 NVIDIA GPUDirect Storage(GDS)
2020 年 GPT-3 模型的参数量首次突破千亿大关,达到了 1750 亿,堪称“大力出奇迹”。今日凌晨,万众瞩目的大型多模态模型 GPT-4 正式发布!GPT-4 是多模态的,同时支持文本和图像输入功能。该版本“更强大”,模型精度随着模型尺寸及训练数据的增加而显著提升。
训练巨量模型需要巨大的算力,但随着数据集和模型规模不断增加,应用程序载入数据所花费的时间变得越长,进而影响了应用程序的性能,缓慢的 I/O 严重拖累GPU 的强大算力。如何大幅提升GPU载入大型数据集的速度将是计算和存储系统共同面临的最大挑战。为更加完美地满足大规模计算集群对于存储系统的数据访问需求,进一步发挥强大的 GPU 计算能力,将性能发挥到极致,焱融技术团队历时6个月的时间完成对NVIDIA GPUDirect Storage(GDS)的适配开发,实现以直接内存的存取方式,将数据传输至GPU内存上,显著降低I/O延迟,提升数据带宽。
GDS简述
(资料图片)
现代 AI 和数据科学工作是由大量数据驱动的,随着人工智能以及高性能运算的数据集规模不断增加,GPU 计算和数据中心存储系统之间的快速通信变得至关重要。数据从 NVMe 磁盘传输到 GPU 内存的标准路径,传统的方式是由 CPU 控制的,使用系统內存中的回弹缓存(Bounce Buffer)做数据的中转。这种操作过程会产生额外的数据拷贝工作,造成很大的系统开销。当数据集的规模不断增加,应用程序载入数据花费的时间会变得越来越长,进而影响了应用运行的性能。
NVIDIA GPUDirect Storage(GDS) 技术通过 DMA 引擎将硬盘数据直接写入 GPU 显存,这种以直接内存的存取方式,避免了内存 bounce buffers 所带来的额外数据拷贝,从而实现 CPU 和主存的 IO 旁路,使 IO 吞吐能力不再受限于系统总线的带宽压力。近来,由于高速 RDMA 网络的普及,GPUDirect storage 可以高效地直接访问远端存储设备,诸如一些 NVMe的 target 方案和一些企业级分布式存储产品,它能有效减轻 CPU I/O 瓶颈,提升数据传输的 I/O 带宽的同时,降低I/O延迟。
支持GPUDirect技术的性能收益
英伟达开发的 GPUDirect Storage 技术,大幅提升 GPU 载入大型数据集的速度。GDS 通过更快、更直接的数据路径提高了存储和 GPU 之间数据移动的效率。数据直接从主机上的网卡(NIC)传输到 GPU,而不需要经过系统内存和 CPU。这种方式消除了系统架构中 IO 路径瓶颈,减少了不必要的数据复制,降低了延迟,同时,释放出来的计算资源还可用于深度学习中诸如图形处理等其他业务。NVIDIA 表示通过支持 GPUDirect 技术能够带来多方面的性能收益:
? GDS 在存储和 GPU 之间提升 2~8 倍的数据传输带宽。
? 避免了 CPU 在内存中的 bounce buffers 拷贝,在某些场景下端到端传输的延迟能够实现 3.8x 的降低。
? 当 GPU 并发度增加时,GDS 仍然保持稳定的低延迟输出。
? GPU 不仅作为实现最高带宽的计算引擎,同时也作为实现最高 IOPS 的计算引擎。
? 在某些场景的实测数据表明,如果单纯使用 CPU,吞吐率仅能达到 50GB/s;而在使用 GPU 之后,吞吐率可达到 215 GB/s。因此,能支持GDS的存储系统更能充分匹配前端的异构计算能力。
GPUDirect Storage 架构图
焱融分布式文件存储系统 YRCloudFile 支持 GDS 的大体流程:
YRCloudFile 客户端向 nvidia-fs 注册后,cuFile 打开一个 YRCloudFile 集群文件,会将 nvidia-fs 和 YRCloudFile 的特定接口进行绑定,当 io 下发到 client 中,client 检测该 IO 是否是 GDS 的请求,如果是,则回调 nvidia-fs 的 map 接口,获得 sglist 请求的 dma 地址,借助底层驱动能力,实现数据的RMDA 传输。
NVIDIA?Magnum IO GPUDirect? 技术,能够显著降低 GPU 服务器内的 CPU 占用率,增加存储带宽并减少延迟。焱融科技是国内支持 GPUDirect? 功能的首家分布式文件存储厂商,能够更好地管理数据路径。焱融文件存储系统与 GDS 的组合使得数据在应用程序和存储之间通过更短、更有效的路径传输,实现 1+1>2 的功能效果。从而使支持 GDS 的应用程序能够充分释放 GPU 计算能力,为人工智能和机器学习(AI/ML)以及数据分析等业务加速。
2022 年,焱融追光全闪文件一体机单存储节点达到 40GB/s+ 带宽和 200万+ IOPS 性能,并应用于人工智能、智能汽车、智能制造、教育等行业生产环境中,为企业用户成功构建高性能存储平台。在服务全球 500 强制造业的客户中,完成国内首个双 200Gb 网络聚合分布式文件存储集群部署,实现 AI 计算平台破千万 IOPS 性能实践。
标签:
相关推荐:
- []每日消息!焱融科技 YRCloudFile 率先支持 NVIDIA GPUDirect Storage(GDS)
- []第六代技术+防浪涌电路 倍思灵傲系列20W Lite插线板打造安全用电_环球即时看
- []超光影三主摄出片不留遗憾 OPPO Find X6系列影像配置官宣
- []掌握中高端市场话语权,汉唐双旗舰冠军版再造巅峰,售价20.98~29.98万元
- []观焦点:官宣:sanag塞那签约孙瑜、何宁、孔令微担任品牌形象大使
- []首发299元!漫步者首款游戏鼠标上市!网友:这鼠标能立体声?
- []首发8999元!联想小新 Pro 27 2023一体机上架:i9+A370M
- []百亿补贴!2T固态硬盘569元到手 全球时快讯
最新新闻:
- 每日消息!焱融科技 YRCloudFile 率先支持 NVIDIA GPUDirect Storage(GDS)
- 超光影三主摄出片不留遗憾 OPPO Find X6系列影像配置官宣
- 第六代技术+防浪涌电路 倍思灵傲系列20W Lite插线板打造安全用电_环球即时看
- RTX 4060 Ti公版显卡谍照曝光:4299元 大家买吗?|天天热点评
- 卡普空促销低至1.3折 《生化8》《怪猎》半价折扣
- 预计《超级马力欧大电影》北美上映周末票房超9千万美元
- 数毛社《生化4RE》Demo评测 PC为游玩本作最佳平台
- 环球观天下!《莱莎的炼金工房1、2》全球销量突破160万 今晚举行中文感谢直播活动
- PS+3月2档游戏大小:神海合集67.3G、幽灵线19.4G:世界微速讯
- 同步北美!《银河护卫队3》定档5月5日全国上映
- V社庆祝SteamDeck发售一周年 G胖出镜发表感言:世界报道
- 当前看点!《死亡岛2》创意总监:没有计划重制初代《死亡岛》
- 消息!《刺客信条:Red》新爆料:主角是女武士和非洲忍者
- 虚幻5国产ARPG《深渊国度:天启》战斗演示
- 当前视点!和讯个股快报:2023年03月17日 ST时万(600241),该股K线呈现“好友反攻”形态
- 《暗黑破坏神4》将支持DLSS3 游戏发售时上线
- 观焦点:官宣:sanag塞那签约孙瑜、何宁、孔令微担任品牌形象大使
- 首发299元!漫步者首款游戏鼠标上市!网友:这鼠标能立体声?
- 掌握中高端市场话语权,汉唐双旗舰冠军版再造巅峰,售价20.98~29.98万元
- 《雷霆沙赞!众神之怒》豆瓣首批评价:沙雕欢乐但前后风格割裂
- 《饥荒:联机版》威尔逊人物重做上线 新皮肤DLC发售
- 《星空》澳大利亚评级R18+ 9月6日正式发售-天天百事通
- B社《星空》通过澳洲R18评级 包含大量暴力内容_全球今头条
- 环球播报:造桥鬼才第三代 《桥梁建筑师3》5月31日Steam发售
- 百亿补贴!2T固态硬盘569元到手 全球时快讯
- 首发8999元!联想小新 Pro 27 2023一体机上架:i9+A370M
- 不涨价别高兴!iPhone 15仍然没有高刷
- 长达15米!科学家在中国发现脖子最长恐龙
- 当前观点:怎么才能晚上不做梦_怎么才能晚上不做梦
- 世界观热点:Steam春季特卖开启!《消逝的光芒2》《赛博朋克2077》半价促销
- 阿里云网盘永久1TB免费领 看看你有没有资格-世界热消息
- 比闲鱼都便宜 索尼官方上架网红CCD相机每天749限量抢
- 骁龙680、90Hz直屏!三星确认将推出Galaxy A24
- RTX 4060 (Ti) 创始人版已经被拍摄到了:独家焦点
- 【全球聚看点】399元!小米首款智能鱼缸正式开售:半年免换水
- 打宝爆装游戏《破坏领主》主机版发售预告
- 国内十大正规的黄金期货交易平台排名 你知道几个? 世界今头条
- 苹果手机为什么充不进电?苹果手机充电充不进去电的原因及解决方法-每日动态
- 熔断机制什么意思?美股23年来首次启动熔断机制 每日信息
- 三星e728报价是多少?三星首款天线折叠手机E728评测-环球消息
- Android音频开发及录音文件的配置
- 当前热议!【管理-固件升级】从DD-WRT固件刷到Tomato的升级方案
- 可以搜附近人的交友软件有哪些?有哪些靠谱的交友软件?
- WEB服务器和cookie的区别在哪里?cookie和session的区别详解-今头条
- 如何查询appInfo、appName?appInfo查询方法_当前关注
- Windows、Mac、Unix、Linux什么是iOS?-报道
- 世界观天下!GIS开发Georver:共享地理空间数据的开源服务器
- 当前短讯!cf连接服务器连接失败怎么办?官方解决方法
- 如何找电子书籍?找书籍的网站汇总
- 摄像手表的价格如何?手表摄像头怎么样?
- vuejs之Vue2.x中的父组件数据传递至子组件的方法
- 天天最新:在Ubuntu18.04、Deep终端中实现输入密码回显星号
- 【每日一练】什么是预编译?何时需要编译?
- dv机哪个好?索尼FD-AX100E热门款型推荐
- 华为mate40Pro如何开启颜色反转?开启颜色反转方式:今日最新
- 当前看点!cad怎么导出jpg图片格式?cad导出jpg图片格式的方法
- 模板文件css.htm制作教程 Discuz!模板文件的简单讲解
- 当前热议!【管理-固件升级】从DD-WRT固件刷到Tomato的升级方案
- 三星e728报价是多少?三星首款天线折叠手机E728评测-环球消息
- Android直播新思路:4.1Android推流到服务器:要闻速递
- Windows、Mac、Unix、Linux什么是iOS?-报道
- 如何在12306网上订火车票官网退票?12306网上订火车票官网退票教程|当前最新
- 苹果手机为什么充不进电?苹果手机充电充不进去电的原因及解决方法-每日动态
- 世界观天下!GIS开发Georver:共享地理空间数据的开源服务器
- 可以搜附近人的交友软件有哪些?有哪些靠谱的交友软件?
- 带你走一遍自定义View之旅——效果图
- 在pycharm中运行代码时显示下面错误如何解决?
- 如何查询appInfo、appName?appInfo查询方法_当前关注
- 每日消息!泛域名证书不起作用?主机绑定多个域名就可以了
- QQ.COM二级域名大全 腾讯旗下产品大全
- SP2的系统怎么操作?如何使用SP2的系统文件?
- 今年夏季《忍者小子》将改编成四人合作动作游戏
- 《绝地求生》主播打造3A级开放世界生存游戏新作 世界观热点
- 清仓大促销!AMD R5-5500板U套装低至789元
- 又曝大Bug!Windows 11会导致SSD速度降低