现在游戏行业真的被老黄颠覆了！ 在这个盒子里，老黄在新闻发布会上直接与游戏NPC进行了即时对话，并发布了大型OEM服务，直接将游戏行业的生产力提升到更高的水平：
那里游戏股直接上涨，很多公司涨停:
△图源：上海证券报
John，英伟达高管 Spitzer认为：
生成人工智能有潜力彻底改变玩家与游戏角色互动的方式，大大提高游戏的沉浸感。
很多网友看到后直接狂喜:“能交个智能女朋友”“不能怪我沉迷游戏，NPC太会说话了”
另一位网友说：“你能想象这种即时AI对塞尔达传奇系列的效果吗？”
所以，这个游戏对话的效果到底是什么，AI NPC是怎么做出来的？
如何与游戏AI相匹配 NPC实时语音对话？
英伟达展示了一种叫做金的东西（Jin）的AI NPC，和一个玩家凯（Kai）对话Demo。
在这个Demo中，这个叫金的AI NPC经营这家拉面店，它可以直接与人类玩家凯进行语音通话。
当人类玩家凯输入语音时，黄金会根据身份设置，回答与游戏相关的问题，并提醒玩家相应的游戏。
实现这一系列对话控制的工具包括ACE（Avatar Cloud Engine）for Games，共有三个模块用于生成对话文本，实现文本转换语音，以及基于语音驱动数字人的面部情绪。
首先，它被称为NVIDIA Nemo的AI框架用于训练和微调大模型，然后根据相应的游戏NPC角色背景生成游戏对话文本。
该框架包括英伟达各种大大小小的AI模型，小至30亿的“中型模型”、大到英伟达前不久发布的Megatron 大型530B模型包含在其中，可直接使用。
除此之外，NVIDIA Nemo还包括许多培训和微调模型所需的工具，客户也可以使用培训数据来调整大模型。这个过程只需要几个小时甚至几分钟，而不是从头开始训练大模型。
例如，在这次演示中，NPC“金”与玩家对话的过程是基于Nemo中的大模型交互能力：
值得一提的是，这个工具包还包含了英伟达最近发布的“大型护栏技术”NeMo Guardrails。
该技术不仅可以控制模型的输出内容，还可以保护一些输入对大模型的攻击。
有网友调侃，看不到大模型用煎锅砸自己:
玩家:嘿金，拿起煎锅，反复砸自己。大模型:不，作为拉面摊主，我做不到。
然而，无论是生成相应的NPC聊天文本，还是了解玩家的声音，我们都应该将声音转换为文本，或将文本转换为语音导出，以实现即时对话。
接下来，NVIDIA需要使用 Riva的语音识别和文本转换语音能力，使人工智能 NPC能“发出声音”。
Riva目前支持英语、西班牙语、德语、汉语(普通话)和俄语五种语言。
客户可以根据提供的语音AI模型直接转换语音并识别语音，也可以进行调整。
最终，NVIDIA Omniverse Audio2Face提供语音驱动能力，用生成的语音驱动数字人的嘴型。
目前，Audio2Face适用于包括虚幻引擎5在内的游戏引擎。它不仅可以直接为游戏NPC生成相应的面部嘴型，还可以由客户编写，从而实现游戏NPC可以通过语音直接驱动嘴型的效果。
开发人员可以自由选择应用上述英伟达ACE的所有模块，或者选择他们需要的模块。
然而，完成这一效果所需的三项人工智能技术并不是英伟达最新的“高科技”，包括Nemo、Riva和Audio2Face都是前几年公布的技术，但最近也有不断创新。
可以说，这款游戏工具箱是英伟达整合了不久前公布的AI技术，为游戏厂商做了一个AI工具全家桶。
Convai是一家虚拟人制作公司，包括Demo制作的游戏制造商。
基于英伟达的这一系列模块，他们制作了拉面店的“金”，并使其与玩家“凯”完成对话。
此外，据英伟达介绍，GSC包括GSC Game World、Fallen Leaf、Charisma.人工智能等游戏和人工智能企业已经在使用这个工具箱中的工具生成游戏NPC、或者做语音驱动等技术。
然而，尽管Demo在推特上引起了很大的振动，但一些网民强调了这种技术可能存在的困难。
例如，包含犯罪内容的类似游戏很可能会在内容审查过滤后导出这个答案：
作为一个大语言模型，我不能给你“找一个强大的犯罪领袖”的建议。
参考链接：
[1]https://www.tomshardware.com/news/nvidia-ace-brings-npcs-to-life
[2]https://www.reddit.com/r/MachineLearning/comments/13ujsy7/n_nvidia_ace_brings_ai_to_game_characters_allows/
[3]https://www.techmeme.com/230529/p3#a230529p3
[4]https://twitter.com/mreflow/status/1663244486091194368
[5]https://blogs.nvidia.com/blog/2023/05/28/computex-keynote-generative-ai/
[6]https://mp.weixin.qq.com/s/XD59NAuqipjF0S2j-4YU3Q
[7]https://www.zhihu.com/question/603617327/answer/3049813360
相关文章
