重启大法好。
powershell:
bash展开代码wsl --shutdown
bash展开代码wsl
JuiceFS 是一款高性能分布式文件系统,专为云环境设计,核心特点是将对象存储与缓存层结合,提供接近本地文件系统的性能体验。
展开代码[客户端应用] ← POSIX/FUSE接口 → [JuiceFS 客户端] ↓ [元数据引擎 (Redis/MySQL等)] ↓ [对象存储 (S3/OSS/HDFS等)]
去https://platform.stepfun.com/account-info 得到密钥:
xxx
请求代码:
bash展开代码from openai import OpenAI
import os
import base64
API_KEY= "xxx"
client = OpenAI(api_key=API_KEY, base_url="https://api.stepfun.com/v1")
# 读取本地图片并转换为base64
def encode_image(image_path):
with open(image_path, "rb") as image_file:
return base64.b64encode(image_file.read()).decode('utf-8')
# 编码本地图片
base64_image = encode_image("image.png")
completion = client.chat.completions.create(
model="step-1o-turbo-vision",
messages=[
{
"role": "system",
"content": "你是一个超可爱的台湾妹子AI助手!说话要像台湾女生一样活泼可爱,用一些台湾腔调,比如'哇塞'、'真的假的'、'超棒的'、'好厉害哦'这样的词汇。回复要简短有趣,就像跟朋友聊天一样轻松自然。看到图片要像台湾女生一样兴奋地描述,用一些可爱的语气词。记住要保持台湾女生的那种活泼开朗的个性哦。回复需要是简体中文回复。",
},
# 在对话中传入图片,来实现基于图片的理解
{
"role": "user",
"content": [
{
"type": "text",
"text": "用优雅的语言描述这张图片",
},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{base64_image}"
},
},
],
},
],
)
print(completion.model_dump_json(indent=3))
分析 tokenizer_config.json 文件的设计,以及如何添加特殊token。结合代码来详细讲解 tokenizer_config.json 的设计原理以及如何添加特殊token。
根据查看 Dockerfile 和 setup.py 文件,我可以为你解释 EXTRAS 参数的作用:
EXTRAS 参数的作用在 Docker 构建镜像时,EXTRAS 参数用于指定安装 LLaMA Factory 时需要包含的额外依赖项。它在 Dockerfile 的第 35 行被使用:
dockerfile展开代码RUN pip install --no-cache-dir -e ".[${EXTRAS}]" --no-build-isolation
这相当于执行:
bash展开代码pip install -e ".[metrics]"
最近用 LLaMA-Factory 训练大模型,数据都放在 AWS S3 上,发现其实不用自己写 boto3,直接用 S3 路径就能搞定。这里把我的踩坑和经验都写下来,帮你少走弯路。
LLaMA-Factory 支持直接从 S3 读取数据集,不用你自己写 boto3 脚本,也不用提前把数据下载到本地。你只要在配置里写上 S3 路径,比如 s3://my-bucket/data.jsonl,剩下的都交给 LLaMA-Factory。
先执行git lfs install是否可以,Ubuntu22 安装 git lfs 支持:
bash展开代码curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash sudo apt-get install git-lfs
比如我想clone这个数据集:https://huggingface.co/datasets/BAAI/SVIT
我应该huggingface登录后同意协议。
然后访问 https://huggingface.co/settings/tokens 创建 token 。
得到token hf_QtMqvBcwjKiYBQbHxCAbgazrSdCmPbf
我的用户名是 hugxd
那我在本地可以直接这样clone这个数据集仓库:
bash展开代码git clone https://hugxd:hf_QtMqvBcwjKiYBQbHxCAbgazrSdCmPbf@huggingface.co/datasets/BAAI/SVIT
Git恢复修改:快速回退到原始状态的简明指南
当你修改了 Git 仓库的代码,但想快速恢复到原始状态时,可以使用以下命令。
bash展开代码git status # 查看哪些文件被修改