基本组成：
- 策略模型(Actor)：生成文本响应
- 奖励模型(Reward Model)：评估响应质量
- 参考模型(Reference Model)：限制与初始模型的偏离
训练流程：
- 策略模型生成回答
- 奖励模型对生成的回答打分
- 通过奖励信号更新策略模型
- 使用KL惩罚项防止过度偏离参考模型

阅读全文

【知识点】PPO、DPO、KTO

2025-05-12

深度学习

000

强化学习训练方法概览

LLaMA-Factory 实现了三种主要的强化学习训练方法：PPO、DPO、KTO，每种方法都针对大型语言模型的微调采用不同的策略。

1. PPO (Proximal Policy Optimization)

PPO 是一种基于策略梯度的强化学习算法，是最传统的 RLHF (Reinforcement Learning from Human Feedback) 方法。

原理

使用策略模型生成回答
使用奖励模型评估回答质量
通过奖励信号更新策略模型，同时限制更新幅度以确保稳定性

阅读全文

【知识点】DPO强化学习

2025-05-12

深度学习

000

直接偏好优化算法(DPO)详解

DPO算法简介

直接偏好优化(Direct Preference Optimization, DPO)是一种用于语言模型对齐的算法，由Rafailov等人在2023年提出，作为强化学习人类反馈(RLHF)的替代方案。DPO的目标与RLHF相同：使语言模型的输出更好地符合人类偏好，但DPO通过简化流程，直接从人类偏好数据中优化模型，无需单独的奖励模型和复杂的强化学习过程。

为什么需要DPO？

传统RLHF的痛点：RLHF依赖于奖励模型和强化学习（如PPO），这不仅增加了训练复杂性，还容易引入不稳定性。例如，强化学习中的策略更新可能会导致模型性能波动。
DPO的优势：DPO直接利用偏好数据进行优化，避免了中间步骤，使得训练过程更加高效且稳定。

阅读全文

【知识点】PPO强化学习

2025-05-12

深度学习

000

PPO算法介绍

什么是PPO算法？

近端策略优化(Proximal Policy Optimization, PPO)是一种基于策略梯度的强化学习算法，由OpenAI在2017年提出。PPO算法在保持训练稳定性的同时，能够获得较好的样本效率和性能表现。PPO的核心思想是通过限制策略更新的幅度，避免过大的策略变化导致性能崩溃。

PPO算法有两种主要变体：PPO-Penalty和PPO-Clip。在实际应用中，PPO-Clip因其实现简单且性能优越而被广泛采用。

阅读全文

【知识点】sft如何避免灾难性遗忘

2025-05-12

深度学习

000

1. 弹性权重整合（Elastic Weight Consolidation, EWC）

概述： EWC 通过在损失函数中添加一个正则化项，防止重要参数偏离先前任务的最优值。这个正则化项基于费舍尔信息矩阵，衡量每个参数对先前任务的重要性。

公式：

L(\theta) = L_{\text{new}}(\theta) + \sum_i \frac{\lambda}{2} F_i (\theta_i - \theta^*_{i})^2

其中 $F_i$ 是费舍尔信息矩阵， $\theta^*_{i}$ 是旧任务的最优参数。

代码示例：

python
展开代码
import torch

def ewc_loss(new_loss, model, fisher_matrix, old_params, lambda_ewc):
    ewc_penalty = 0
    for param, fisher, old_param in zip(model.parameters(), fisher_matrix, old_params):
        ewc_penalty += torch.sum(fisher * (param - old_param).pow(2))
    return new_loss + (lambda_ewc / 2) * ewc_penalty

阅读全文

【知识点】为何进行Query改写，Query改写的核心价值

2025-05-12

深度学习

000

Query改写的核心价值

解决原始Query的三大痛点

问题类型	典型案例	改写效果
信息残缺	"这个功能怎么用？" → "CRM系统中客户画像功能的操作指南"	补全关键实体
语义模糊	"帮我查下数据" → "查询2024年6月华东区销售额（万元）"	明确维度指标
表达歧义	"苹果最新消息" → "Apple公司2024年Q3财报发布时间"	消除指代歧义

阅读全文

【知识点】微调模型 VS RAG，为何选RAG？

2025-05-12

深度学习

000

一、选择 RAG 而非微调的主要原因

在我们项目中，选择 RAG 而不是直接微调 LLM，主要基于以下几个核心考量：

1. 外部知识动态更新的需求

微调后的模型是“静态”的，一旦训练完成，新增知识需要重新训练或增量训练，成本高且周期长。
RAG 则通过检索模块引入外部知识库，可以实时或定期更新知识源，无需重新训练生成模型。

2. 避免灾难性遗忘（Catastrophic Forgetting）

微调过程中，模型容易忘记预训练阶段学到的通用知识，特别是在数据分布不均衡或任务目标变化时。
RAG 不改变原始模型参数，仅通过检索增强上下文信息，因此保留了预训练模型的广泛知识基础。

3. 降低训练成本和资源消耗

微调大型语言模型（如 Llama 3、ChatGLM、Baichuan 等）需要大量 GPU/TPU 和时间成本。
RAG 只需维护一个高效的检索系统和文档向量化流程，推理阶段即可实现知识增强。

4. 提高可解释性和可控性

微调模型的输出难以追溯来源，缺乏透明度。
RAG 中检索到的文档片段可以直接展示给用户，提升结果的可信度和可审计性。

阅读全文