分析 tokenizer_config.json 文件的设计，以及如何添加特殊token。结合代码来详细讲解 tokenizer_config.json 的设计原理以及如何添加特殊token。

根据查看 Dockerfile 和 setup.py 文件，我可以为你解释 EXTRAS 参数的作用：

EXTRAS 参数的作用

在 Docker 构建镜像时，EXTRAS 参数用于指定安装 LLaMA Factory 时需要包含的额外依赖项。它在 Dockerfile 的第 35 行被使用：

dockerfile
展开代码
RUN pip install --no-cache-dir -e ".[${EXTRAS}]" --no-build-isolation

这相当于执行：

bash
展开代码
pip install -e ".[metrics]"

最近用 LLaMA-Factory 训练大模型，数据都放在 AWS S3 上，发现其实不用自己写 boto3，直接用 S3 路径就能搞定。这里把我的踩坑和经验都写下来，帮你少走弯路。

1. S3 数据集怎么用？

LLaMA-Factory 支持直接从 S3 读取数据集，不用你自己写 boto3 脚本，也不用提前把数据下载到本地。你只要在配置里写上 S3 路径，比如 s3://my-bucket/data.jsonl，剩下的都交给 LLaMA-Factory。

先执行git lfs install是否可以，Ubuntu22 安装 git lfs 支持：

bash
展开代码
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs

比如我想clone这个数据集：https://huggingface.co/datasets/BAAI/SVIT

我应该huggingface登录后同意协议。

然后访问 https://huggingface.co/settings/tokens 创建 token 。

得到token hf_QtMqvBcwjKiYBQbHxCAbgazrSdCmPbf

我的用户名是 hugxd

那我在本地可以直接这样clone这个数据集仓库：

bash
展开代码
git clone https://hugxd:hf_QtMqvBcwjKiYBQbHxCAbgazrSdCmPbf@huggingface.co/datasets/BAAI/SVIT

Git恢复修改：快速回退到原始状态的简明指南

Git恢复修改：快速回退到原始状态的简明指南

当你修改了 Git 仓库的代码，但想快速恢复到原始状态时，可以使用以下命令。

1. 查看修改

bash
展开代码
git status  # 查看哪些文件被修改

1. JuiceFS 和 boto3 的本质区别

• 感想

时间，滴答，滴答，就过去了。

• 旁观者下的爱情

近两天好朋友分手了，问起来，唏嘘不

下载：

bash
展开代码
wget http://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh

安装：

bash
展开代码
bash Miniconda3-latest-Linux-x86_64.sh

初始化：

bash
展开代码
/root/miniconda3/bin/conda init

重启终端即可。

下载：

https://repo.continuum.io/miniconda/Miniconda3-latest-Windows-x86_64.exe

https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/

下载这个旧版本：

https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py310_25.7.0-2-Windows-x86_64.exe

安装填写路径：

bash
展开代码
D:\ProgramData\miniconda3

环境变量给入：

bash
展开代码
D:\ProgramData\miniconda3\condabin
D:\ProgramData\miniconda3\Scripts

Python环境举例：

bash
展开代码
conda create -n py310 python=3.10 -y
conda install scipy -y