配置

之前的：

2.5.1-cuda12.4-cudnn9-devel-vlmr1-0401-package-rdma2-modifyv2

运行命令：

cd src/open-r1-multimodal

export DEBUG_MODE="true"

RUN_NAME="InternVL2_8B_GRPO"
export LOG_PATH="./debug_log.txt"

export OPENAI_API_BASE="http://101.136.19.27:7869/v1"
export OPENAI_API_KEY="nsyabBKSDBgiwqd123134"

export CUDA_DEVICE_MAX_CONNECTIONS=1
export NCCL_DEBUG=INFO
export NCCL_IB_DISABLE=0

torchrun --nproc_per_node=8 \
    --nnodes=3 \
    --node_rank="${RANK}" \
    --master_addr="${MASTER_ADDR}" \
    --master_port="${MASTER_PORT}" \
    src/open_r1/grpo_jsonl.py \
    --deepspeed local_scripts/zero3.json \
    --output_dir /output/$RUN_NAME \
    --model_name_or_path /InternVL2_8B_GRPO \
    --dataset_name none \
    --image_folders /imagesdatasets/tasks-json-ui-doctor-smallsize-datasets \
    --data_file_paths /jsondatasets/ui_doctor_dataset0424.jsonl \
    --freeze_vision_modules true \
    --max_anyres_num 6 \
    --max_prompt_length 8192 \
    --num_generations 4 \
    --per_device_train_batch_size 2 \
    --gradient_accumulation_steps 1 \
    --logging_steps 1 \
    --bf16 \
    --torch_dtype bfloat16 \
    --data_seed 42 \
    --report_to "tensorboard" \
    --logging_dir "/mnt/cluster1" \
    --gradient_checkpointing true \
    --attn_implementation flash_attention_2 \
    --num_train_epochs 2 \
    --run_name $RUN_NAME \
    --save_steps 100 \
    --save_only_model true \
    --reward_method "llm" 

数据模型挂载：

模型挂载： /InternVL2_8B_GRPO

数据挂载：/jsondatasets 得到：ui_doctor_dataset0424.jsonl

数据挂载：/imagesdatasets 得到 /imagesdatasets/tasks-json-ui-doctor-smallsize-datasets jsonl 是相对这个路径给图。