之前的相关文章：

【深度学习】LLaMA-Factory微调sft Qwen2-VL进行印章识别

https://www.dong-blog.fun/post/1661

使用LLaMA-Factory微调sft Qwen2-VL-7B-Instruct

https://www.dong-blog.fun/post/1762

构建最新的LLaMA-Factory镜像

https://www.dong-blog.fun/post/1799

1. 协议层级与基础

https://arxiv.org/pdf/2502.13923

1. 安装 sshpass

sshpass 是一个可以自动输入密码的工具。如果未安装，运行以下命令安装： • 对于 Debian/Ubuntu 系统：

bash
展开代码
apt update && apt install sshpass

• 对于 CentOS/RHEL 系统：

bash
展开代码
yum install sshpass

使用SSH密钥认证是一种比密码认证更安全的方式，因为它依赖于加密的密钥对，而不是容易被暴力破解的密码。以下是详细步骤，帮助您在服务器上配置SSH密钥认证并禁用密码认证。

Gitea 和 GitLab 的主要差异

删除当前目录下小于10G的文件或者文件夹：

点驱动属性，然后设置图里这个allowPublicKey Retrieval为true。

Docker 目前还不支持 Debian 12 ，支持Debian 11.

如何在 Docker Compose 中检查服务连通性

在使用 Docker Compose 部署多容器应用时，确保服务之间的连通性非常重要。以下是一个简单的方法，教你如何进入一个容器并检查另一个服务是否通。

建议使用官方的 Ubuntu 镜像。

bash
展开代码
docker run -it ubuntu:22.04 bash

然后在容器内安装 Python 和 pip：

bash
展开代码
apt-get update
apt-get install -y python3 python3-pip
pip install 'litellm[proxy]'

1. 关闭 Cloudflare 代理（DNS only）和打开 Cloudflare 代理（Proxied）的区别

关闭 Cloudflare 代理（DNS only）

• 工作原理：Cloudflare 仅作为 DNS 解析服务，将域名解析到你的服务器 IP。用户的请求会直接访问你的服务器，不经过 Cloudflare 的 CDN 网络。 • 优点： • 用户直接连接到你的服务器，延迟更低。 • 适合不需要 CDN 加速或 DDoS 防护的场景。 • 缺点： • 你的服务器 IP 会暴露在公网，可能会受到攻击。 • 没有 Cloudflare 的 DDoS 防护和缓存功能。

打开 Cloudflare 代理（Proxied）

• 工作原理：Cloudflare 作为反向代理，用户的请求会先经过 Cloudflare 的 CDN 网络，再由 Cloudflare 转发到你的服务器。 • 优点： • 隐藏了你的服务器 IP，增强了安全性。 • 提供 DDoS 防护、缓存加速和 HTTPS 支持。 • 可以配置 Cloudflare 的防火墙规则，过滤恶意流量。 • 缺点： • 用户的请求需要经过 Cloudflare 的 CDN 网络，可能会增加延迟。 • 某些服务（如 Let's Encrypt 的 HTTP 验证）可能无法通过 Cloudflare 代理正常工作。

复制所有指令在命令行执行：

bash
展开代码
#!/bin/bash

# 检查是否已经安装了 Docker
if ! command -v docker &> /dev/null; then
    echo "Docker 未安装，开始安装 Docker..."

    # 更新系统软件包
    sudo apt-get update -y

    # 安装必要的依赖包
    sudo apt-get install -y apt-transport-https ca-certificates curl software-properties-common

    # 添加 Docker 的官方 GPG 密钥
    curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

    # 添加 Docker 的官方仓库
    sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

    # 更新软件包索引
    sudo apt-get update -y

    # 安装 Docker 引擎
    sudo apt-get install -y docker-ce docker-ce-cli containerd.io

    # 启动并启用 Docker 服务
    sudo systemctl start docker
    sudo systemctl enable docker

    # 验证 Docker 安装
    sudo docker run hello-world
else
    echo "Docker 已安装，跳过安装步骤。"
fi

# 检查是否已经安装了 Docker Compose
if ! command -v docker-compose &> /dev/null; then
    echo "Docker Compose 未安装，开始安装 Docker Compose..."

    # 下载 Docker Compose 二进制文件
    sudo curl -L "https://github.com/docker/compose/releases/download/$(curl -s https://api.github.com/repos/docker/compose/releases/latest | grep -Po '"tag_name": "\K.*?(?=")')/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

    # 为 Docker Compose 二进制文件添加执行权限
    sudo chmod +x /usr/local/bin/docker-compose

    # 创建符号链接（可选）
    sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

    # 验证 Docker Compose 安装
    docker-compose --version
else
    echo "Docker Compose 已安装，跳过安装步骤。"
fi

echo "Docker 和 Docker Compose 安装完成"

1. 在中转机器上安装 V2Ray

如果你还没有安装 V2Ray，可以通过以下命令安装：

bash
展开代码
# 安装 V2Ray
bash <(curl -L https://raw.githubusercontent.com/v2fly/fhs-install-v2ray/master/install-release.sh)

安装完成后，V2Ray 的配置文件通常位于 /usr/local/etc/v2ray/config.json。

https://gist.github.com/padeoe/697678ab8e528b85a2a7bddafea1fa4f#file-hfd-sh

写入一个hfd.sh文件，文件内容如下。并修改为可以执行chmod a+x hfd.sh

有趣的资料：https://huggingface.co/arcee-ai

Paper：https://arxiv.org/abs/2403.13257

使用mergekit合并大型语言模型

在人工智能领域，模型合并是一种将多个大型语言模型（LLM）整合为单一模型的技术。这种方法不仅成本低廉（无需GPU），还能生成性能卓越的模型。本文将介绍如何使用mergekit库来实现模型合并，并详细讲解四种常用的合并方法：SLERP、TIES、DARE和Passthrough。最后，我们将通过实际操作创建一个名为Marcoro14-7B-slerp的模型，并将其上传至Hugging Face Hub。

之前在这个博客介绍了一些：litellm Proxy 的安装与配置

确实好用，简单易用。

https://modelscope.cn/models/ZhipuAI/CogView4-6B

展开代码
docker run -it --gpus '"device=1,2,3,4,5,6,7"' --shm-size=64g -v /data/xiedong:/data/xiedong --net host kevinchina/deeplearning:2.5.1-cuda12.4-cudnn9-devel-vlmr1 bash

cd /data/xiedong

pip install git+https://github.com/huggingface/diffusers.git

各种Broker的比较

EMQX

EMQX 是业界领先的 MQTT Broker，深受开发者喜爱，目前在 GitHub 上已获得超过 12k 个 Star。EMQX 项目始于 2012 年，遵循 Apache 2.0 开源协议。它基于 Erlang/OTP 开发，这是一种能够构建大规模可扩展软实时系统的编程语言。

EMQX 是全球最具扩展性的 MQTT Broker，支持 MQTT 5.0、MQTT-SN 和 MQTT over QUIC 等协议和其他先进功能。它采用无主集群架构，实现了高可用性和水平扩展性。自 5.0 版本开始，EMQX 能够在一个由 23 个节点组成的集群中创建高达 1 亿个并发 MQTT 连接。

一次性执行所有执行：

bash
展开代码
#!/bin/bash

# 更新系统软件包
sudo dnf update -y

# 安装必要的依赖包
sudo dnf install -y yum-utils device-mapper-persistent-data lvm2

# 添加 Docker 的官方仓库
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

# 安装 Docker 引擎
sudo dnf install -y docker-ce docker-ce-cli containerd.io

# 启动并启用 Docker 服务
sudo systemctl start docker
sudo systemctl enable docker

# 验证 Docker 安装
sudo docker run hello-world

# 下载 Docker Compose 二进制文件
sudo curl -L "https://github.com/docker/compose/releases/download/$(curl -s https://api.github.com/repos/docker/compose/releases/latest | grep -Po '"tag_name": "\K.*?(?=")')/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

# 为 Docker Compose 二进制文件添加执行权限
sudo chmod +x /usr/local/bin/docker-compose

# 创建符号链接（可选）
sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

# 验证 Docker Compose 安装
docker-compose --version

echo "Docker 和 Docker Compose 安装完成"