BLEU和ROUGE评估指标详解

在自然语言生成任务中，如何评估模型生成文本的质量是一个关键问题。BLEU和ROUGE是两个最常用的自动评估指标，本文将详细介绍这两个指标的原理、计算方法和代码实现。

bash
展开代码
rsync -av --checksum LLaMA-Factory-old/ LLaMA-Factory-qwen2vl/

这个指令使用 rsync 工具将 LLaMA-Factory-old/ 目录的内容同步到 LLaMA-Factory-qwen2vl/ 目录，具体参数解析如下：

行为说明

• 同步内容：将 LLaMA-Factory-old/ 下的所有文件和子目录同步到 LLaMA-Factory-qwen2vl/。
• 校验逻辑：对比文件的校验和（而非仅依赖修改时间或大小），确保内容完全一致。
• 保留属性：所有文件权限、时间戳等元数据会被保留。
• 增量同步：仅传输校验和不匹配的文件，提升效率。

注意事项

1. 路径末尾的 /

   • 若源路径带 /（如 LLaMA-Factory-old/），则同步目录内的内容到目标路径。
   • 若不带 /（如 LLaMA-Factory-old），则同步目录本身到目标路径（包含目录名）。

2. 目标目录存在性

   • 如果 LLaMA-Factory-qwen2vl/ 不存在，会自动创建。
   • 如果已存在，文件会被覆盖或合并。

3. --checksum 的性能影响
   计算校验和会增加 CPU 开销，但适合对文件一致性要求严格的场景（如防止隐藏的数据损坏）。

https://docs.nvidia.com/deeplearning/nccl/archives/index.html

管理员运行命令：

bash
展开代码
reg.exe add "HKCU\Software\Classes\CLSID\{86ca1aa0-34aa-4e8b-a509-50c905bae2a2}\InprocServer32" /f /ve

重启就恢复win10右键了

这个是恢复win11右键:

bash
展开代码
reg.exe delete "HKCU\Software\Classes\CLSID\{86ca1aa0-34aa-4e8b-a509-50c905bae2a2}\InprocServer32" /va /f 

指定好 --model_name_or_path，模型存储路径。

指定 --save_only_model false ，不光保存模型，还保存优化器状态等参数。

指定 --overwrite_output_dir false ，可以接续恢复训练。接续恢复训练千万别改参数，不然会引起异常（训练看起来正常其实不正常）。要改参数最好是导出之前模型，然后重新指定 --model_name_or_path 重新训练。

The client socket has timed out after 900000ms while trying to connect to (10.130.18.56, 58509).

gradient_accumulation_steps 的作用

基本原理

展开代码
实际batch_size = per_device_train_batch_size × gradient_accumulation_steps × 设备数量

您的设置：
- per_device_train_batch_size = 12
- gradient_accumulation_steps = 2  
- 假设8张卡：实际batch_size = 12 × 2 × 8 = 192

data_shared_file_system 参数的作用和使用位置。

data_shared_file_system 参数详解

1. 参数定义

python
展开代码
# src/llamafactory/hparams/data_args.py 第135-138行
data_shared_file_system: bool = field(
    default=False,
    metadata={"help": "Whether or not to use a shared file system for the datasets."},
)

默认值： False 类型： 布尔值 作用： 控制是否使用共享文件系统来处理数据集

llamafactory/hparams/data_args.py

个人感觉，不太好用，我还没到达使用这个的场景。随便看看Streaming 模式。

--preprocessing_num_workers 96

• 多进程并行处理：用于数据预处理阶段的多进程并行化
• 控制并发度：决定同时有多少个进程进行数据预处理
• 96个进程同时处理数据
• 每个进程处理一部分数据样本
• 适用于CPU密集型的数据预处理任务（如tokenization、图片Resize处理）