bash
展开代码
docker run -d --gpus device=3 \
    -v /data/xiedong/LLaMA-Factory/output/checkpoint-20600:/data/xiedong/LLaMA-Factory/output/checkpoint-20600 \
    -p 8005:8000 \
    --ipc=host \
    dockerpull.org/vllm/vllm-openai:latest \
    --model /data/xiedong/LLaMA-Factory/output/checkpoint-20600 --gpu_memory_utilization=0.4 

该文章已加密，点击 阅读全文 并输入密码后方可查看。

bash
展开代码

帮我优化我的博客语言表达，不允许删除我写的内容，只能改进语言表达和顺序结构。

modelscope下载模型：

bash
展开代码
conda create -n modelscop

要保留最新的目录并删除其余的旧目录，可以使用以下步骤：

1. 首先，找到最新的目录。根据你的目录结构，"checkpoint"后面跟随着数字，这些数字可以用来识别迄今为止最新的目录。

2. 使用Linux命令来识别并删除旧目录。

bash
展开代码
# 进入包含 checkpoint 目录的路径
cd /app/saves/Qwen2.5-1.5B-Instruct/full/train_2024-11-06-10-03-45

# 找到最新的 checkpoint 目录
latest_checkpoint=$(ls -d checkpoint-* | sort -V | tail -n 1)

# 输出最新的目录，确认无误
echo "最新的检查点: $latest_checkpoint"

# 删除除了最新的检查点之外的所有目录
for dir in checkpoint-*; do
  if [ "$dir" != "$latest_checkpoint" ]; then
    rm -rf "$dir"
  fi
done

上面的脚本使用 ls 和 sort 获取经过版本排序的所有检查点目录列表，然后用 tail -n 1 找到最新的目录。接着，它遍历所有的检查点目录，保留最新的一个，删除其他的。

请确保您在执行删除操作时非常小心，以避免数据丢失。

Python多进程编程详解：一个实用的任务分发与处理示例

在现代计算中，利用多核CPU的能力来提高程序的性能已成为必不可少的技能。Python的multiprocessing模块提供了简便的接口来实现多进程并行计算。本文将通过一个实际的代码示例，详细介绍如何使用Python的多进程来分发和处理任务。

python
展开代码
import json

# 读取 1.json 文件中的数据
with open('1.json', 'r', encoding='utf-8') as file1:
    dict1 = json.load(file1)

# 读取 2.json 文件中的数据
with open('2.json', 'r', encoding='utf-8') as file2:
    dict2 = json.load(file2)

# 合并字典
merged_dict = {**dict1, **dict2}  # 使用解包运算符合并字典

# 将合并后的字典写入 3.json 文件
with open('3.json', 'w', encoding='utf-8') as file3:
    json.dump(merged_dict, file3, ensure_ascii=False, indent=4)

print("字典合并成功，保存为 3.json")

该文章已加密，点击 阅读全文 并输入密码后方可查看。

基础拉取方式

直接从 Docker Hub 拉取最新版 LMDeploy 镜像：

bash
展开代码
docker pull openmmlab/lmdeploy:latest

这等同于显式指定 Docker Hub 官方仓库的完整地址：

bash
展开代码
docker pull docker.io/openmmlab/lmdeploy:latest

运行：

bash
展开代码
docker run --runtime nvidia --gpus all \
    -v /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4:/data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4 \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4

后台执行：

bash
展开代码
docker run -d --runtime nvidia --gpus device=7 \
    -v /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4:/data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4 \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4

该文章已加密，点击 阅读全文 并输入密码后方可查看。

该文章已加密，点击 阅读全文 并输入密码后方可查看。

该文章已加密，点击 阅读全文 并输入密码后方可查看。

NanoFlow项目地址： https://arxiv.org/abs/2408.12757

有个讨论，Qwen2.5和Llama 3.1 70b，用 NanoFlow 部署一下Llama 3.1 70b看看。

该文章已加密，点击 阅读全文 并输入密码后方可查看。

有时候版本不对咋调都不对，直接用requests ：

该文章已加密，点击 阅读全文 并输入密码后方可查看。

数据准备详解：LLaMA-Factory

https://llamafactory.readthedocs.io/zh-cn/latest/getting_started/data_preparation.html

在构建和优化大型语言模型的过程中，数据集的质量和格式至关重要。本文将详细介绍如何准备符合要求的数据集，包括数据格式、内容要求以及在 dataset_info.json 中的配置方法。