https://arxiv.org/pdf/2305.15717

模型模仿的虚假承诺：开源大语言模型的发展困境与出路

近年来，随着ChatGPT等商业大语言模型的崛起，开源社区兴起了一股"模型模仿"浪潮。许多研究者试图通过让开源模型学习商业模型的输出来快速提升性能，诞生了Alpaca、Vicuna等知名项目。然而，加州大学伯克利分校的最新研究表明，这种看似经济高效的方法可能是一个"虚假承诺"。

什么是模型模仿？

模型模仿是指使用商业模型（如ChatGPT）的API输出作为训练数据，对开源模型进行微调，以期达到与商业模型相似的性能。这种方法的吸引力在于：

• 成本低廉：无需从头训练大模型或标注大量数据
• 技术门槛低：只需收集API输出并进行监督学习
• 效果显著：初步评估显示模型质量大幅提升

研究团队将模型模仿分为两类：

• 任务特定模仿：针对特定领域或任务进行模仿
• 广泛覆盖模仿：试图全面复制目标模型的各种能力

研究设计与发现

研究团队构建了多个模仿ChatGPT的模型，使用不同的基座模型（GPT-2 1.5B到LLaMA 13B）和不同规模的训练数据（30万到1.5亿个token）。他们从三个数据源收集了训练数据：

• ShareGPT平台上用户分享的对话
• HC3数据集中的ChatGPT回复
• Discord聊天机器人的交互数据

令人意外的评估结果

人工评估：表面的成功

初始的人工评估结果令人振奋。众包工作者认为模仿模型的输出质量与ChatGPT相当，约70%的输出被评为等同或优于ChatGPT。这些模型在指令跟随方面表现出色，输出风格与ChatGPT高度相似。

自动化评估：真相的揭露

然而，当研究团队进行更严格的自动化评估时，结果截然不同：

• 事实性知识：在Natural Questions等知识型任务上，模仿模型几乎没有改善
• 代码能力：HumanEval编程测试中表现平平
• 推理能力：MMLU多领域理解测试中无明显提升

更关键的是，随着模仿数据量的增加，模型在这些客观评估中的表现没有显著改善，甚至出现退化。

核心发现：学会了形式，丢失了内容

研究揭示了一个重要现象：模仿模型擅长学习ChatGPT的表达风格，但缺乏其内在的事实准确性。

风格模仿的成功

• 输出结构相似（如使用列表、总结段落）
• 语调权威自信
• 词汇选择接近目标模型
• 回答长度匹配

内容准确性的缺失

论文中的一个典型例子显示，当被问及"Actor-Critic如何改进REINFORCE算法"时：

• ChatGPT给出了技术准确的答案
• 模仿模型的回答风格相似但内容完全错误

这解释了为什么人工评估与自动化评估存在巨大差异——人类评估者容易被自信、结构化的表达风格误导，而忽略了内容的准确性。

关键洞察：基座模型能力是关键

研究的一个重要发现是：提升基座模型的能力比增加模仿数据更有效。

• 使用更大的基座模型（如从7B升级到13B）显著改善了所有评估指标
• 增加模仿数据量的边际收益递减，甚至可能有害
• 这表明开源与闭源模型之间存在根本的能力差距

任务特定模仿的成功案例

值得注意的是，研究发现任务特定的模仿效果显著。当他们专门为Natural Questions任务收集模仿数据时，模型在该任务上的表现大幅提升，接近ChatGPT的水平。这说明：

• 针对性强的模仿数据更有效
• 广泛的能力提升需要极其庞大和多样化的数据集
• 当前的模仿方法更适合特定应用场景

对开源社区的启示

重新审视发展策略

这项研究对开源大语言模型的发展具有深远影响：

1. 资源配置：应将更多精力投入到改进基座模型，而非收集更多模仿数据
2. 评估标准：需要建立更严格的评估体系，避免被表面现象误导
3. 技术路径：通过模型扩展、预训练数据质量改善等途径提升根本能力

商业竞争的格局

从商业角度看，研究结果表明：

• 拥有强大基座模型的公司更容易建立竞争优势
• 仅依靠专有微调数据的护城河相对脆弱
• 真正的技术差距不容易通过简单的模仿弥补

局限性与思考

研究团队也承认了一些局限性：

• 可能存在数据污染问题（ChatGPT的训练数据未知）
• 未尝试更复杂的模仿方法（如强化学习）
• 评估可能不够全面

未来展望

这项研究提出了几个重要问题：

1. 评估挑战：如何设计更好的评估方法来准确衡量模型能力？
2. 技术发展：开源社区应如何平衡模仿学习与原创研发？
3. 伦理考量：模型模仿是否构成知识产权问题？

结论

"模型模仿"看似是开源大语言模型快速发展的捷径，但实际上可能是一个"虚假承诺"。真正缩小开源与闭源模型差距的关键在于：

• 提升基座模型的根本能力
• 改善预训练数据的质量和规模
• 发展更先进的训练方法和架构

对于开源社区而言，与其追求表面的风格模仿，不如将资源投入到更具挑战性但更有价值的基础能力建设中。只有这样，开源大语言模型才能真正在与商业模型的竞争中立于不败之地。

这项研究为我们敲响了警钟：在人工智能快速发展的时代，我们需要更加审慎地评估新技术的真实效果，避免被表面现象迷惑，始终专注于技术的本质改进。