全量微调Qwen2.5-VL-7B-Instruct的参数,用于图片转公式LaTex。
模型地址:https://huggingface.co/Qwen/Qwen2.5-VL-7B-Instruct
数据集:https://modelscope.cn/datasets/AI-ModelScope/LaTeX_OCR/summary
数据集下载,约有1.1G大小数据:
bashmodelscope download --dataset AI-ModelScope/LaTeX_OCR --local_dir AI-ModelScope/LaTeX_OCR
该Python脚本用于处理/ssd/xiedong/vlm-r1-train-tasks-json-ui-docto/tasks_json目录下的数据,将其中所有图片等比例缩小(最长边为1024像素),并连同JSON文件一起复制到新目录/ssd/xiedong/vlm-r1-train-tasks-json-ui-docto/tasks_json_small_size中。
功能说明
https://github.com/om-ai-lab/VLM-R1/tree/main
GRPO 是一种起源于 DeepSeekMath 论文的强化学习方法,用于优化语言模型或多模态模型。它特别适用于优化特定任务的性能,如数学推理或遵循指令。
VLM-R1GRPO微调, 实战训练教程(1):
https://www.dong-blog.fun/post/1961
本博客这次使用多图进行GRPO。
官方git项目:https://github.com/om-ai-lab/VLM-R1?tab=readme-ov-file
https://github.com/pch18-docker/baota
yamlroot@xd-OptiPlex-3070:~/bt_data# cat docker-compose.yml
version: '3.8'
services:
baota:
image: pch18/baota:clear
container_name: baotaxd
restart: unless-stopped
ports:
- "11000:8888" # 宝塔面板(外部11000 → 容器8888)
- "11080:80" # HTTP(外部11080 → 容器80)
- "11443:443" # HTTPS(外部11443 → 容器443)
- "11020:20" # FTP(可选)
- "11021:21" # FTP(可选)
- "11306:3306" # MySQL(可选)
- "11679:6379" # Redis(可选)
volumes:
- ./www:/www/wwwroot
- ./backup:/www/backup
- ./data:/www/data
privileged: true