在一个纯粹的机缘巧合下,经常在网上直播自己表演的才华横溢的歌手李拉依勒和李欣婷发现自己在台北的一个公共广场上表演英伟达创始人兼首席执行官黄仁勋碰巧遇见了他们。
黄忍不住加入进来,在录制Lady Gaga的《Always Remember Us This Way》时,他们为小夜曲欢呼。
由此产生的视频迅速走红,还有两人演唱Lady Gaga的《Hold My Hand》的后续视频,黄渤最初要求的那首歌。
玩具延森创建使用NVIDIA全宇宙头像云引擎
现在,在他的人工智能化身Toy Jensen的帮助下,黄想出了一个有趣的节日主题回应。
NVIDIA的创意团队迅速开发了TJ的假日表演,展示了NVIDIA的核心技术NVIDIA全能化身云引擎也就是ACE平台。
Omniverse ACE是一个云原生人工智能微服务和工作流的集合,供开发人员轻松构建、定制和部署吸引人的交互式虚拟形象。必威体育特别活动
不像目前的化身开发,需要专业知识,专门的设备和手动密集的工作流程,Omniverse ACE是建立在Omniverse平台和英伟达的统一计算框架UCF,这使得用最少的代码快速创建和配置AI管道成为可能。
NVIDIA技术项目经理Cyrus Hogg表示:“这是一项非常惊人的技术,我们能够做到这一点是惊人的。”
为了实现这一目标,NVIDIA团队使用了最近开发的语音转换模型,从他们提供的样本中提取出专业歌手的声音,并将其转化为TJ的声音——最初是通过对数小时的真实录音进行训练而开发的。他们使用了样本中的音符,并将它们应用到TJ的数字声音中,使化身以与原始歌手相同的音符和节奏唱歌。
NVIDIA全能生成AI - Audio2Face, Audio2Gesture支持逼真的面部表情,身体动作
然后,团队使用NVIDIA Omniverse ACE和OmniverseAudio2Face而且Audio2Gesture仅基于TJ的音频,就可以为动画表演生成逼真的面部表情和身体动作。
虽然Omniverse ACE技术背后的团队花了数年时间来开发和微调表演中展示的技术,但将他们创作的音乐曲目变成一个精美的视频只花了几个小时。
Toy Jensen用“铃儿响叮当”表演取悦粉丝
这给了他们足够的时间来确保一个惊人的表现。
他们甚至与范德萨格他是一位作曲家兼制作人,曾与Michael Bublé和David Foster合作,为TJ创作了完美的伴奏曲目。
“这首歌由van der Saag谱曲,他也会为我们编曲,”Hogg说。“所以这对团队来说真的是一个很好的补充。我们真的很高兴他能加入。”
ACE将彻底改变虚拟体验
其结果是NVIDIA Omniverse ACE及其在各个行业的应用的完美展示——虚拟活动、在线教育和客户服务,以及为视频游戏、社交媒体和虚拟现实体验创建个性化的虚拟形象。NVIDIA Omniverse ACE将很快提供给早期访问合作伙伴。