在后台目录新建：

bash
展开代码
vanblog# mkdir data/static/markdown-themes/

然后去找一款主题，比如这里：https://theme.typora.io/

https://arxiv.org/pdf/2512.13607

https://huggingface.co/collections/nvidia/nemotron-cascade

本文提出了“级联分域强化学习”方法，通过分阶段、分领域的强化学习训练流程，解决了异构推理任务混合训练效率低下的难题，从而训出了在编程竞赛中达到国际银牌水平的14B通用推理模型。

推理模型与测试时计算 (Test-Time Compute) 核心论文:

"Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters" (2024年8月)

最重要的突破之一,OpenAI o1/o3系列的理论基础

核心观点:在推理时投入更多计算资源(test-time compute)可能比单纯增大模型参数更有效

引入了"System 2思考"概念,让模型在输出前进行深度推理

延伸阅读:

"Competitive Programming with Large Reasoning Models" (OpenAI, 2025年2月)

o3模型在IOI 2024竞赛中的表现,展示了推理模型的实际能力

o3无需人工设计的推理策略就能达到金牌水平

现代模型通常组合使用:

展开代码
阶段1: Warm-up SFT
├─ 用高质量CoT数据做监督学习
├─ 让模型学会基本的推理格式
└─ 建立初步的"逻辑先验"

阶段2: 强化学习  
├─ 基于SFT模型继续探索
├─ 发现新的推理路径
├─ 优化推理效率和准确性
└─ 可能超越初始训练数据

阶段3: (可选) Rejection Sampling
├─ 用RL模型生成大量推理
├─ 筛选出答案正确的
└─ 再做一轮SFT巩固

在 Ubuntu 22.04 中定时重启可以通过以下方法实现：

方法一：使用 systemd 定时器（推荐）

1. 创建 systemd 服务文件

   bash
   展开代码
   sudo nano /etc/systemd/system/reboot.service
   

2. 在文件中添加以下内容

   ini
   展开代码
   [Unit]
   Description=System Reboot
   
   [Service]
   Type=oneshot
   ExecStart=/sbin/reboot
   
   [Install]
   WantedBy=multi-user.target
   

1. GAE (Generalized Advantage Estimation) 基础

为什么需要优势函数？

在强化学习中，我们想知道：在状态$s_t$采取动作$a_t$，比平均水平好多少？

$A(s_t, a_t) = Q(s_t, a_t) - V(s_t)$

• $Q(s_t, a_t)$: 采取动作$a_t$后的期望回报
• $V(s_t)$: 状态$s_t$的平均期望回报
• $A > 0$: 这个动作比平均好，应该鼓励
• $A < 0$: 这个动作比平均差，应该抑制

Proximal Policy Optimization (PPO)：

• $\theta$: 当前策略模型的参数（正在训练的新模型）
• $\theta_{\text{old}}$: 旧策略模型的参数（用于采样数据的模型）
• $\pi_\theta(o_t \mid q, o_{<t})$: 当前策略在给定任务 $q$ 和历史观察 $o_{<t}$ 下，输出动作 $o_t$ 的概率
• $\pi_{\theta_{\text{old}}}(o_t \mid q, o_{<t})$: 旧策略输出同样动作的概率
• $\hat{A}_t$: 优势函数估计值（Advantage），表示该动作比平均水平好多少
• $\varepsilon_{\text{low}}, \varepsilon_{\text{high}}$: 裁剪参数的下界和上界

模型和价值模型在PPO训练中的区别和作用时机：

核心区别

奖励模型 (Reward Model)

• 作用: 评估单个动作或整个轨迹的好坏
• 输出: 标量奖励信号 r_t
• 来源: 环境反馈或外部评判器

GSPO

版本依赖：ms-swift >= 3.11

Megatron GSPO 当前已支持以下功能：

• 训练模式：全参数训练与 LoRA 微调
• 并行策略：支持上下文并行（CP）、流水线并行（PP）、张量并行（TP）和专家并行（EP）
• 推理加速：支持 vLLM 的 colocate 模式和 server 模式
• 模型支持：兼容 Megatron Swift 中的 LLM 及 MLLM（多模态大模型）
• 算法支持：涵盖 swift GRPO 的大部分功能（GSPO 基于 GRPO 算法）

bash
展开代码
export LD_LIBRARY_PATH=/usr/local/nvidia/

https://github.com/vllm-project/vllm/blob/v0.11.0/pyproject.toml

在pyproject.toml中查看pytorch版本：

bash
展开代码
requires = [
    "cmake>=3.26.1",
    "ninja",
    "packaging>=24.2",
    "setuptools>=77.0.3,<80.0.0",
    "setuptools-scm>=8.0",
    "torch == 2.8.0",
    "wheel",
    "jinja2",
]

安装uv：

bash
展开代码
curl -LsSf https://astral.sh/uv/install.sh | sh
source $HOME/.local/bin/env

查看cuda版本：

bash
展开代码
nvcc --version

安装vllm：

bash
展开代码
uv pip install vllm==0.11.0 --torch-backend=cu129 --system --break-system-packages

torch如果掉了就再装：

bash
展开代码
# CUDA 12.9
uv pip install torch==2.8.0 torchvision==0.23.0 torchaudio==2.8.0 --index-url https://download.pytorch.org/whl/cu129 --system