英伟达用Nemotron开放模型打造万圣节互动鬼屋
原文：nemotron-halloween
用NVIDIA Nemotron开放模型打造鬼屋——或者更准确地说……嗷！现在从我的草坪上滚开！简而言之：MonsterHouse是我为万圣节打造的一个互动投影装置。它能聆听“不给糖就捣蛋”的孩子们说话，用一艘脾气暴躁的老海盗船的嗓音回应，而当访客记得讲礼貌时，它又会变得温和起来。它基于NVIDIA Nemotron Voice Agent构建，集成了NVIDIA Nemotron ASR、Nemotron 3.5 Bolt E4B 4GB、Magpie TTS Zeroshot和Audio2Face-3D，并且运行在一台工作站上。我希望万圣节来我家玩的孩子们能以有趣而独特的方式互动。这座房子将掌控局面并分发糖果，但更多是脾气暴躁而非恐怖吓人。不知怎的，我的解决方案是给车库门装上一张嘴，教它抱怨。这就成了MonsterHouse：一座脾气暴躁的老建筑，有着海盗故事、火热的咧嘴笑容，还有一个对“请”字毫无抵抗力的可疑弱点。NVIDIA Nemotron Voice Agent提供对话基础。Nemotron Speech负责聆听，Bolt E4B是大脑，NVIDIA Magpie TTS Zeroshot是实时语音，NVIDIA Audio2Face-3D让木嘴开口说话。Monster House的工作原理——聆听：NVIDIA Nemotron Speech ASR将访客语音转换为文本。[CONFIRMED: nemotron-speech-streaming-en-0.6b.q8_0.gguf]——思考：NVIDIA Nemotron 3.5 Bolt E4B 4GB，一个面向对话式智能体的开放小型语言模型，负责撰写每条回复。一个LoRA适配器赋予其个性。——说话：NVIDIA Magpie TTS Zeroshot根据角色的简短参考样本为每条回复配音。——动画：NVIDIA Audio2Face-3D在Unreal Engine 5中将清晰的语音转化为嘴部动画。——视觉：NVIDIA Nemotron 3 Nano Omni描述服装，YOLO和ByteTrack负责计数和追踪访客。——运行：NVIDIA Nemotron Voice Agent在一台配备NVIDIA RTX PRO 6000 Blackwell Max-Q和NVIDIA RTX PRO 4000 Blackwell的工作站上协调一切。一张满是木刺的咧嘴笑脸——嘴是第一个做出来的。我想象着车库门的木板裂开成……