深度学习，Moshi：实时语音到语音生成 Transformer 开源模型

Moshi：实时语音到语音生成 Transformer 开源模型

之前要挑战 GPT 4o 语音的 Kyutai，开源了他们的实时语音模型 Moshi，并公布了完整的技术报告和代码，详细介绍了其模型的工作原理和技术方法
160毫秒低延迟，支持随时打断和情感表达
传统的对话系统是基于轮次的对话模式（即一个人说完后，另一个人才开始说）。Moshi 摆脱了这种限制，支持全双工通信。
意味着 Moshi 可以在用户讲话的同时生成语音回应，不受轮次约束，能够处理重叠的语音、打断和快速反馈等复杂的对话动态。与传统的语音对话系统相比，Moshi有几个显著优势： 1、实时响应：Moshi 的响应速度非常快，延迟仅为160-200毫秒，接近自然对话中的反应速度，因此可以提供更加流畅的对话体验。 2、语音到语音的处理：传统系统通常依赖语音转文字再生成语音的流程，而Moshi 可以直接处理语音输入并生成语音输出，保留了诸如语气、情绪等非语言信息。 3、全双工对话：Moshi 不依赖严格的对话轮次，而是可以同时处理用户和系统的语音，这意味着它可以应对重叠的语音和打断，更加接近人类对话的自然形式。