JuiceFS 详细介绍

1. 基本概念

JuiceFS 是一款高性能分布式文件系统，专为云环境设计，核心特点是将对象存储与缓存层结合，提供接近本地文件系统的性能体验。

核心架构

展开代码
[客户端应用] ← POSIX/FUSE接口 → [JuiceFS 客户端]
                                      ↓
                               [元数据引擎 (Redis/MySQL等)]
                                      ↓
                               [对象存储 (S3/OSS/HDFS等)]

https://api.stepfun.com/v1

claude-sonnet-4-20250514

https://llamafactory.readthedocs.io/en/latest/adva

https://xiaosheng.blog/2023/01/07/add-new-token

https://github.com/hiyouga/LLaMA-Factory/issues/3420

分析 tokenizer_config.json 文件的设计，以及如何添加特殊token。结合代码来详细讲解 tokenizer_config.json 的设计原理以及如何添加特殊token。

根据查看 Dockerfile 和 setup.py 文件，我可以为你解释 EXTRAS 参数的作用：

EXTRAS 参数的作用

在 Docker 构建镜像时，EXTRAS 参数用于指定安装 LLaMA Factory 时需要包含的额外依赖项。它在 Dockerfile 的第 35 行被使用：

dockerfile
展开代码
RUN pip install --no-cache-dir -e ".[${EXTRAS}]" --no-build-isolation

这相当于执行：

bash
展开代码
pip install -e ".[metrics]"

最近用 LLaMA-Factory 训练大模型，数据都放在 AWS S3 上，发现其实不用自己写 boto3，直接用 S3 路径就能搞定。这里把我的踩坑和经验都写下来，帮你少走弯路。

1. S3 数据集怎么用？

LLaMA-Factory 支持直接从 S3 读取数据集，不用你自己写 boto3 脚本，也不用提前把数据下载到本地。你只要在配置里写上 S3 路径，比如 s3://my-bucket/data.jsonl，剩下的都交给 LLaMA-Factory。

先执行git lfs install是否可以，Ubuntu22 安装 git lfs 支持：

bash
展开代码
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs

比如我想clone这个数据集：https://huggingface.co/datasets/BAAI/SVIT

我应该huggingface登录后同意协议。

然后访问 https://huggingface.co/settings/tokens 创建 token 。

得到token hf_QtMqvBcwjKiYBQbHxCAbgazrSdCmPbf

我的用户名是 hugxd

那我在本地可以直接这样clone这个数据集仓库：

bash
展开代码
git clone https://hugxd:hf_QtMqvBcwjKiYBQbHxCAbgazrSdCmPbf@huggingface.co/datasets/BAAI/SVIT

Git恢复修改：快速回退到原始状态的简明指南

Git恢复修改：快速回退到原始状态的简明指南

当你修改了 Git 仓库的代码，但想快速恢复到原始状态时，可以使用以下命令。

1. 查看修改

bash
展开代码
git status  # 查看哪些文件被修改

1. JuiceFS 和 boto3 的本质区别