Dong

https://arxiv.org/abs/2402.05755

图1：
a. SPIRIT LM架构。一个通过下一个词预测训练的语言模型；令牌通过编码器从语音或文本中提取，并通过解码器以原始模态恢复。SPIRIT LM模型在文本-only序列、语音-only序列和交替语音-文本序列的混合数据上进行训练。
b. 语音-文本交替方案。语音通过聚类语音单元（Hubert、Pitch或Style令牌）被编码为令牌（粉色），文本通过BPE编码为令牌（蓝色）。我们使用特殊令牌[T EXT]为文本加前缀，使用[S PEECH]为语音令牌。在训练过程中，模态变化在对齐的语音-文本语料库中的单词边界处随机触发。语音令牌去重后，在模态变化边界处与文本令牌交替。
c. 富表现语音令牌。对于SPIRIT LM EXPRESSIVE，音高令牌和风格令牌在去重后交替排列。

贡献包括以下几点：

(i) 我们提出了 SPIRIT LM，这是一种单一的语言模型，能够生成语音和文本。SPIRIT LM 基于持续预训练的 LLaMA 2，并通过交替的语音和文本数据进行训练。
(ii) 类似于文本 LLM，我们发现 SPIRIT LM 可以在文本、语音和跨模态设置（即语音到文本和文本到语音）中通过少样本学习新任务。
(iii) 为了评估生成模型的表现力，我们引入了语音-文本情感保留基准（SPIRIT-TEXT SENTIMENT PRESERVATION，简称 STSP），该基准衡量生成模型在语音和文本的同模态和跨模态条件下，保持情感的一致性。
(iv) 我们提出了 SPIRIT LM 的表现力版本（SPIRIT LM EXPRESSIVE）。通过 STSP，我们展示了 SPIRIT LM 是首个能够在文本和语音提示的同模态与跨模态之间保持情感一致性的语言模型。
(v) 最后，我们量化了模型在生成过程中可能增加的有害内容，无论是在语音还是文本中。如同所有预训练基础模型（Bender 等，2021；Solaiman 等，2023），SPIRIT LM 也可能生成有害内容。因此，所有使用我们工作的面向用户的应用程序应当整合必要的安全性测试，并进行安全指令微调以满足安全标准（Touvron 等，2023b）。