快资讯:浪潮元宇宙服务器MetaEngine + NVIDIA Omniverse助力构建高逼真交互型数字人
近日,在浪潮&NVIDIA元宇宙算力发展研讨会上,浪潮信息和NVIDIA分享了如何使用浪潮元宇宙服务器MetaEngine与NVIDIAOmniverse快速构建高逼真的交互型数字虚拟人。
数字人生产需要强大的多元算力支撑
虚拟数字人是元宇宙的主要实体,就像是元宇宙世界中的公民,是人类身份在虚拟世界的载体。随着2021年元宇宙风起,更高拟真、超写实,具有强交互性的新一代虚拟人开始涌现,且正在被规模化应用到不同产业场景。
(资料图)
数字人生产可以拆分成人物建模、人物驱动、人物渲染和感知交互四个作业环节。AI能够加速虚拟数字人生产的每个作业环节,可以说AI正在改变数字人的生产范式,将数字人的创作周期大幅缩短,提升生产效率,推动数字人产业快速发展。
这样一种新范式的背后其实是更巨量和多元的算力需求。具体而言,数字人和其他实体的建模需要众多设计师协同创作完成,这就需要底层平台具有强大虚拟化和云端协同计算能力;当数字人建模完成之后,数字人自身的运动,数字人和其所处的数字环境、以及其他实体的相互作用需要大量的结构力学、弹性力学,以及多体动力学等物理仿真算力需求;让数字人无限接近自然人,需要高逼真、沉浸感的3D渲染,例如阿丽塔高度拟真的视觉特效来源于光线追踪、光栅化、DLSS等巨量的图形图像算力支撑;在智能交互环节,由AI驱动的数字人往往需要结合语音识别、NLP、DLRM等AI算法从而实现交互能力,这些模型的背后需要强大的AI算力来支撑其训练和推理。此外,现实世界和数字世界的交互则需要超低延迟的网络数据传输,来创造更流畅的沉浸式的数字世界体验。
由此可以看出,元宇宙的构建和运行需要强大的多元算力支撑。这也对算力基础设施提出了更高的要求,不仅是高性能、低延迟、易扩展的硬件平台,还需要有端到端、生态丰富、易用的软件栈。
浪潮MetaEngine:元宇宙算力平台
浪潮元宇宙服务器MetaEngine就是要打造支撑元宇宙的软硬一体化算力基础设施。为此,浪潮与英伟达联合打造业界最强软硬件生态,为数字人和数字孪生的构建提供多元算力,以及丰富的技术和工具,为用户打造高效的元宇宙协同开发体验。
在硬件上,MetaEngine采用浪潮领先的异构加速服务器,支持最先进的CPU和GPU,具有强大的RDMA通信和数据存储能力,可提供强大的渲染和AI计算能力。
在软件上,MetaEngine可以支持对应每个作业环节的各类专业软件工具,用户可以根据使用习惯灵活选择。同时系统全面支持NVIDIAOmniverseEnterprise,是经过优化的OVX系统,可提供用于构建和部署大规模数字孪生的相关功能及性能。用户可以通过Kit功能将不同的SDK进行模块化的组合,快速完成定制化App或者微服务的开发。互联插件CONNECT可以通过通用数据格式USD实现第三方专业软件工具无缝连接,目前CONNECT已经提供了20多种Plugins,支持与3DSMAX,UE,MAYA等软件互联,解决不同软件之间难以打通、互操作性弱的痛点难题。
MetaEngine还整合了浪潮“源”大模型和浪潮AIStation智能业务创新生产平台的能力。浪潮“源”大模型参数规模高达2457亿,具备知识问答、多轮对话、中英翻译、写作古诗等零样本或小样本的推理能力,可以让虚拟人像人类一样进行自然语言交互。而针对浪潮“源”需要多GPU计算设备协同工作的问题,浪潮AIStation可实现多计算资源的智能调度管理,保证模型服务的高吞吐、低延迟。
浪潮MetaEngine- NVIDIA Omniverse快速构建高逼真交互型数字人
浪潮信息与NVIDIA强强联手,基于MetaEngine和NVIDIAOmniverseEnterprise推出了具备统一多软件格式、支持多人协作、支持实时驱动和实时光线追踪渲染的虚拟人解决方案,强大的算力平台及丰富的软件栈让虚拟人构建由难变易,尤其适合大规模虚拟人制作场景。
方案集成了创建数字人的流程和技术,可以快速生成毛发、皮肤、细节都非常逼真的超写实数字人,帮助数字人制作用户更好地创建自己的数字虚拟IP。
使用方案中的NVIDIAOminiverse audio2face工具,通过很简短的一段音频输入,就可以驱动这段语音对应的表情,大大加速数字人的制作过程。
来源:NVIDIA“使用NVIDIAOmniverse auto2face制作AI驱动的面部动画”
在动作识别方面,以往采用光学和惯性动作捕捉技术,需要真人演员驱动,并使用大量的摄像头、传感器,制作难度大、成本高、周期长。现在,借助浪潮MetaEngine- NVIDIAOminiverse方案,可以基于人体骨骼点二维运动特征向量进行动作识别,进一步映射到数字人躯体上,快速驱动数字人的表情和动作。
此外,还可以实现数字虚拟人和真实人类的交互。虚拟人可以识别真实人类的动作、肢体语言和反馈,再通过NLP模型、图形图像处理软件,根据机器学习算法决定说什么话,来吸引真实的人类,和人类进行交互。
NVIDIA“与爱因斯坦虚拟人对话”
如何使用浪潮MetaEngine和NVIDIAOminiverse来构建高逼真的交互型虚拟数字人呢?下面按照人物建模、人物驱动、人物渲染、感知交互的作业流程来说明。
首先可以使用UEmetahuman等软件配合Omniverse的nucleus/connect进行3D人物形象及人脸建模。
然后通过高精仿真,让虚拟数字人的动作和行为更加物理准确。
接下来实时渲染环节,RTXRenderer可以提供实时渲染能力,让人物动画及其场景实时立体地展示在我们面前,通过屏幕或XR设备进行沟通交流。
最后是智能交互,这部分需要有大量的AI模型提供支撑。用户首先通过ASR和VisionAI模型进行语音和图像识别,进一步将识别得到的结果送入全球最大的中文语言模型之一的浪潮“源1.0”大模型来生成应答的语言文本,在这个部分AIStation推理平台会负责管理源1.0及语音模型,源回答的结果,会经过tts模型转化为语音,然后送入NVIDIAOmniverse audio2face,通过语音驱动数字人面部产生逼真的表情及面部动作,并通过RTXRenderer实时渲染能力生成动画视频作为输出与用户交互,让对话及交互更加自然真实。
标签:
相关推荐:
最新新闻:
- 怎么通过回收站还原误删文件?回收站还原误删文件方法
- 如何解决Foxmail邮箱不能发送邮件问题?Foxmail邮箱不能发送邮件解决方法
- GrooveMonitor.exe是什么进程?GrooveMonitor.exe可以禁用卸载吗?
- Svchost.exe是什么?Svchost病毒清除办法
- win7系统如何设置Guest账户密码?Guest账户密码设置方法
- WebFreer怎么用?webfree浏览器使用方法
- GG修改器如何修改与冻结应用数值?修改与冻结应用数值操作步骤
- RMVB是什么意思?rmvb解析
- 有线宽带路由器怎么使用?有线宽带路由器使用方法
- 豆丁网上的文档怎么复制?豆丁网上的文档复制方法
- 安全更新补丁怎么下载?win7系统安全更新补丁KB4022722下载地址
- au_.exe是什么进程?au_.exe文件怎么删除?
- 卡盟是什么?为什么会有这么多的卡盟出现呢?
- cmd.exe是什么?cmd.exe有什么作用?
- 如何注册电脑上windows live的ID?windows live的ID注册步骤
- 如何解决Excel数据透视表无法分组问题?Excel数据透视表无法分组解决方法
- 黑莓10怎么使用代理?黑莓10使用代理的方法
- 如何使用网易云音乐Sati空间功能?网易云音乐Sati空间功能使用方法
- sqlwriter.exe进程是什么?sqlwriter.exe进程可以关闭吗?
- index.dat文件如何查看?使用工具查看index.dat文件
- 即时看!北约秘书长:乌克兰总有一天会加入北约,俄罗斯没有否决权
- 每日速看!《传送门》RTX版DLSS 3特性展示:开启前后的画面、帧数对比
- 58岁张曼玉参加纪念梅艳芳活动 穿V领碎花裙依旧优雅迷人
- 《漫威暗夜之子》官方发布预告片现已推出! 每日速讯
- 环球微头条丨歌手Hozier将参与本届TGA 与《战神》作曲家带来表演
- 《壮志凌云2》限时重返院线上映 12月2日至15日:天天看热讯
- 天天观天下!B站否认会推出贴片广告 陈睿回应接手B站游戏业务
- 天天快资讯丨亚马逊计划年投入10亿美元用于电影制作 推出12~15部
- 全球球精选!闲鱼卖二手,破财难消灾
- 《圣斗士星矢》真人电影先导预告和海报 过于霸气:环球即时
- FS社员工称工资不高有加班 但工作像玩黑魂有成就感:今日关注
- 热门:尹锡悦准备“量身定制”福利以吸引特斯拉超级工厂入驻韩国
- TI后更新来了 《DOTA2》7.32d平衡性更新上线:今日聚焦
- 热点评!《鬼怪》编剧新作 宋慧乔与前夫宋仲基“复仇之战”
- 分不清“事实与观点”的讨论,只是在浪费时间
- 出厂即6GHz i9-13900KS上架了 价格很贵
- 天天要闻:4款N卡停产 以后新卡只能买30系和40系了
- 环球动态:NUC玩跨界!英特尔公版NUC X15游戏本预售5999元
- 冠脉支架集采提价超25%,医药行业预期改变了吗?| 见智研究-全球焦点
- 《孤岛惊魂6》开启免费体验12月6日推出异界DLC
- 沉寂十年之后,大宗商品对冲基金强势归来
- 全球新消息丨类银河恶魔城射击游戏《魔骑少女》现已正式上市
- 动态焦点:华硕ROG幻16 2023款曝光 或将搭载13代酷睿和RTX 40显卡
- 损失严重!苹果iPhone产量极具下滑:预计减少5%至10%:环球快看点
- 每日热门:威尔士0-3不敌英格兰!英格兰队世界杯总进球数破百
- 补贴十三年,肥了谁?废了谁?|焦点精选
- 今日播报!高性价比推荐!一线大牌15.6英寸轻薄本3499元秒
- 特斯拉开始从它降价!每千瓦时降约0.35元
- 199元!网易UU加速盒2发布:支持所有游戏主机、VR
- SE公布《浪漫沙加:吟游诗人之歌》8名主角介绍预告:每日速读
- 快讯:影驰全家桶:冬日装机,纯白平价优选,颜值实力兼具
- 保护用户不力!Meta欧洲被罚2.65亿欧元_当前要闻
- 谷歌手机广告造假 连带广告公司被FCC起诉
- RGB控制一键超频 耕升GW-SOUL软件详解
- 当前视讯!韩国罢工潮愈演愈烈!与工会谈崩后,政府下达强制开工令
- 一边办世界杯,一边狂“卖气”!卡塔尔与德国达成一份15年天然气供应协议
- 出险房企等来了红包_全球快看点
- 天天快资讯:法拉利首款SUV停止接单!已经供不应求了
- 《如龙维新极》冈田以藏介绍:沉默寡言的危险剑客
- 【独家】传闻:《使命召唤》以幽灵为主角的内容正在开发
- 《传送门RTX》12月8日发售 DLSS 3特性展示_天天快看
- 快播:苹果AirPods Pro 2耳机-500 只要1399
- 天天通讯!小米12 Pro降到2599 小米12s Ultra也只要4999
- 上财校长称40万博士生月收入仅3000元 建议提高博士生的收入_微动态
- C919大型客机获颁生产许可证_天天速读
- 天文学家痛斥:美国一卫星比天上99.8%的星星都亮
- 世界快看点丨第二春?《大镖客2》Steam在线人数超6.6万创下新高
- 世界焦点!《亚当斯一家》真人剧《星期三》豆瓣开分8.1
- 《木卫四协议》前期2个小时视频被泄露
- 每日讯息!如何在卡牌游戏里体验“满清十大酷刑”?
- 布兰妮在社交媒体疯狂输出 粉丝:她的眼神让人毛骨悚然
- 每日热文:《FF7核心RE》新预告:预购开启、12月13日正式推出
- 角逐元宇宙,索尼也来了!推出360美元可穿戴VR设备 焦点简讯
- 微软收购动视暴雪获得沙特、巴西和塞尔维亚的批准|快报
- 《瞬息全宇宙》获哥谭奖“最佳影片”