下载模型:
bash展开代码modelscope download Qwen/Qwen2.5-VL-7B-Instruct --local_dir ./Qwen/Qwen2.5-VL-7B-Instruct
模型位置:
bash展开代码/mnt/jfs/model/Qwen/Qwen2.5-VL-7B-Instruct
开启api:
bash展开代码python -m vllm.entrypoints.openai.api_server \ --model /mnt/jfs/model/Qwen/Qwen2.5-VL-7B-Instruct \ --gpu_memory_utilization 0.9 \ --tensor_parallel_size 2 \ --served-model-name gpt \ --port 8000
重启大法好。
powershell:
bash展开代码wsl --shutdown
bash展开代码wsl
JuiceFS 是一款高性能分布式文件系统,专为云环境设计,核心特点是将对象存储与缓存层结合,提供接近本地文件系统的性能体验。
展开代码[客户端应用] ← POSIX/FUSE接口 → [JuiceFS 客户端] ↓ [元数据引擎 (Redis/MySQL等)] ↓ [对象存储 (S3/OSS/HDFS等)]
分析 tokenizer_config.json
文件的设计,以及如何添加特殊token。结合代码来详细讲解 tokenizer_config.json
的设计原理以及如何添加特殊token。
错误信息显示 /root/.cache/huggingface/datasets/ 目录空间不够,无法创建临时文件。让我帮你查看相关代码并提供解决方案。
可以通过指定 --cache_dir
参数来将缓存路径设置到你的挂载存储上。根据代码分析,LlamaFactory 支持通过 cache_dir
参数来指定 Hugging Face 数据集和模型的缓存目录。
根据查看 Dockerfile 和 setup.py 文件,我可以为你解释 EXTRAS
参数的作用:
EXTRAS
参数的作用在 Docker 构建镜像时,EXTRAS
参数用于指定安装 LLaMA Factory 时需要包含的额外依赖项。它在 Dockerfile 的第 35 行被使用:
dockerfile展开代码RUN pip install --no-cache-dir -e ".[${EXTRAS}]" --no-build-isolation
这相当于执行:
bash展开代码pip install -e ".[metrics]"
最近用 LLaMA-Factory 训练大模型,数据都放在 AWS S3 上,发现其实不用自己写 boto3,直接用 S3 路径就能搞定。这里把我的踩坑和经验都写下来,帮你少走弯路。
LLaMA-Factory 支持直接从 S3 读取数据集,不用你自己写 boto3 脚本,也不用提前把数据下载到本地。你只要在配置里写上 S3 路径,比如 s3://my-bucket/data.jsonl
,剩下的都交给 LLaMA-Factory。
先执行git lfs install
是否可以,Ubuntu22 安装 git lfs 支持:
bash展开代码curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash sudo apt-get install git-lfs
比如我想clone这个数据集:https://huggingface.co/datasets/BAAI/SVIT
我应该huggingface登录后同意协议。
然后访问 https://huggingface.co/settings/tokens 创建 token 。
得到token hf_QtMqvBcwjKiYBQbHxCAbgazrSdCmPbf
我的用户名是 hugxd
那我在本地可以直接这样clone这个数据集仓库:
bash展开代码git clone https://hugxd:hf_QtMqvBcwjKiYBQbHxCAbgazrSdCmPbf@huggingface.co/datasets/BAAI/SVIT
要抛弃本地所有更改,使本地仓库与云端完全一致,可以按照以下步骤操作:
bash展开代码git fetch --all
bash展开代码git reset --hard origin/main
bash展开代码git clean -fd
完整命令序列:
bash展开代码git fetch --all git reset --hard origin/main git clean -fd
名称 | 类型 | 主要用途 | 典型场景 |
---|---|---|---|
boto3 | Python SDK | 直接操作 S3/OSS 对象存储 | 代码里直接读写 s3:// 文件 |
JuiceFS | 文件系统/存储方案 | 把 S3/OSS 挂载成本地目录 | K8s/服务器挂载云存储 |
下载:
bash展开代码wget http://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
安装:
bash展开代码bash Miniconda3-latest-Linux-x86_64.sh
初始化:
bash展开代码/root/miniconda3/bin/conda init
重启终端即可。
下载:
https://repo.continuum.io/miniconda/Miniconda3-latest-Windows-x86_64.exe
安装填写路径:
bash展开代码D:\ProgramData\miniconda3
环境变量给入:
bash展开代码D:\ProgramData\miniconda3\condabin D:\ProgramData\miniconda3\Scripts
Python环境举例:
bash展开代码conda create -n py310 python=3.10 -y conda install scipy -y
显卡型号 | 架构 | 显存/类型 | 显存带宽 | CUDA核心/张量核心/RT核心 | 单精度算力(FP32) | 张量算力(FP16/FP8) | 功耗(TDP) | 主要用途/备注 |
---|---|---|---|---|---|---|---|---|
H200 | Hopper | 141GB HBM3e | 4,800 GB/s | 16,896 / 528 / 24 | 67 TFLOPS(SXM) | 3,958 TFLOPS(FP8) | 700W(SXM) | H100升级,超大模型训练 |
H100 | Hopper | 80GB HBM3 | 2,000 GB/s | 14,592 / 456 / 24 | 51 TFLOPS(PCIe) | 3,026 TFLOPS(FP8) | 350W(PCIe) | 旗舰AI训练/推理 |
H800 | Hopper | 80GB HBM3 | 2,000 GB/s | 14,592 / 456 / 24 | 51 TFLOPS(PCIe) | 3,026 TFLOPS(FP8) | 350W | H100中国特供 |
L40S | Ada Lovelace | 48GB GDDR6 ECC | 864 GB/s | 18,176 / 568 / 142 | 91.6 TFLOPS | 1,466 TFLOPS(FP8) | 350W | 数据中心AI/渲染 |
H20 | Hopper | 96GB HBM3 | 2,000 GB/s | 14,592 / 456 / 24 | 47 TFLOPS | 1,400+ TFLOPS | 300W | H100/H800进一步阉割版 |
RTX 4090 24GB/48GB* | Ada Lovelace | 24GB GDDR6X (部分云定制48GB) | 1,008 GB/s | 16,384 / 512 / 128 | 82.6 TFLOPS | 660.6 TFLOPS(FP16) | 450W | 消费级旗舰,AI推理/渲染 |
L4 | Ada Lovelace | 24GB GDDR6 | 300 GB/s | 7,424 / 232 / 58 | 30.3 TFLOPS | 485 TFLOPS(FP8) | 72W | 云推理/视频AI |
A800 | Ampere | 80GB HBM2e | 2,039 GB/s | 6,912 / 432 / 108 | 19.5 TFLOPS | 312 TFLOPS(FP16) | 300W | 中国特供,AI训练/推理 |
BI-V150(国产) | 国产AI芯片 | 32GB/64GB HBM2* | * | * | * | * | * | 国产AI推理/训练 |
进行2个设置,才能让硬件在Win11发挥最大性能。
搜索电源和睡眠设置
,在电源模式(根据电源使用情况和性能来优化你的设备)
选择最佳性能
。
右键此电脑,打开“属性”。
打开其中的“高级系统设置”。
进入“高级”,点击性能下的“设置”。
勾选开启“调整为最佳性能”。
进入“高级”,勾选“程序”最后“确定”保存即可调整为最佳性能。
由 conda-forge 社区维护,默认使用 conda-forge 源,避免 Anaconda 的商业许可风险,且预装 Mamba 加速依赖解析。
Docker是一个容器化平台,它允许你将应用程序及其依赖项打包到轻量级、可移植的容器中。容器类似于虚拟机,但更加高效。
核心概念: