### 如何在 Ubuntu 22.04 上卸载并重新安装 NVIDIA Docker

在 Ubuntu 22.04 上配置 NVIDIA Docker 以运行使用 GPU 的容器可以显著提升深度学习、AI 等计算密集型任务的效率。本文将介绍如何卸载现有的 NVIDIA Docker 版本并重新安装。





#### 1. 卸载现有的 NVIDIA Docker 版本

首先，我们需要删除系统中可能已安装的 NVIDIA Docker 版本。

##### 1.1 停止并删除容器

如果系统中有正在运行的 Docker 容器，请先将它们停止并删除：

```bash
docker stop $(docker ps -aq)
docker rm $(docker ps -aq)
```

##### 1.2 卸载 NVIDIA Docker

使用以下命令卸载现有的 NVIDIA Docker 版本：

```bash
sudo apt-get purge -y nvidia-docker
sudo apt-get autoremove -y
```

注意：purge会删除docker的镜像。


使用 apt remove 而不是 purge 来卸载 Docker，保留配置文件：

```bash
sudo apt-get remove -y docker-ce docker-ce-cli containerd.io
```

这样仅卸载 Docker 软件，而不会删除镜像、容器等数据。


#### 2. 安装 Docker

如果尚未安装 Docker，首先需要安装它。在 Ubuntu 上安装 Docker 可以通过以下步骤完成。

更新包索引

```bash
sudo apt-get update
```

安装软件包以允许 apt 通过 HTTPS 使用存储库。安装必要的依赖

```bash
sudo apt-get install -y \
    ca-certificates \
    curl \
    gnupg \
    lsb-release
```
为 Docker apt 密钥环创建一个目录：

```bash
sudo install -m 0755 -d /etc/apt/keyrings
```


添加 Docker 的官方 GPG 密钥

```bash
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
```

将 Docker 存储库添加到 Apt 源：

```bash
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
```



安装 Docker 引擎

```bash
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
```

启动 Docker 并设置为开机启动

```bash
sudo systemctl start docker
sudo systemctl enable docker
```

验证 Docker 安装

```bash
sudo docker run hello-world
```

如果看到“Hello from Docker!”的提示信息，则说明 Docker 安装成功。

#### 3. 安装 NVIDIA Docker

##### 3.1 设置 NVIDIA Docker 仓库

首先需要为 NVIDIA Docker 设置包仓库。

```bash
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
    && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
    && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
```

##### 3.2 安装 NVIDIA Docker

更新软件包索引并安装 NVIDIA Docker。

```bash
sudo apt-get update
sudo apt-get install -y nvidia-docker2
```

##### 3.3 重启 Docker

```bash
sudo systemctl restart docker
```

##### 3.4 验证 NVIDIA Docker 安装

运行以下命令，验证 NVIDIA Docker 是否能够正常识别 GPU：

```bash
sudo docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi
```

如果一切正常，你应该会看到类似以下的输出，显示 GPU 设备信息：

```
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.32.03    Driver Version: 460.32.03    CUDA Version: 11.2     |
|-------------------------------+----------------------+----------------------+
```

#### 4. 解决常见问题

- **Docker 运行权限问题**：如果你希望非 root 用户也能够运行 Docker 容器，可以将用户添加到 Docker 组。

```bash
sudo usermod -aG docker $USER
```

然后退出并重新登录以使更改生效。

- **NVIDIA 驱动问题**：确保已安装最新版本的 NVIDIA 驱动。可以通过 `nvidia-smi` 命令检查驱动安装情况。

#### 总结

通过本文，你应该能够顺利地在 Ubuntu 22.04 上卸载旧版 NVIDIA Docker 并重新安装最新版本。重新安装过程中，请确保系统的 Docker 和 NVIDIA 驱动都正确配置，以保证 GPU 容器能够正常运行。

【安装docker】在 Ubuntu 22.04 上卸载并重新安装 NVIDIA Docker

要卸载当前的 NVIDIA 驱动并安装新驱动，您可以按照以下步骤操作。在继续之前，确保您备份了系统中的重要数据，并且已经准备好最新的驱动程序文件。





### 卸载 NVIDIA 驱动：
1. **停止图形界面服务（如果在使用 GUI）**：
   如果您的系统正在运行图形界面（例如 GNOME、KDE），首先需要停止图形界面服务：
   ```bash
   sudo systemctl stop lightdm   # 如果使用的是 LightDM
   sudo systemctl stop gdm       # 如果使用的是 GDM
   sudo systemctl stop sddm      # 如果使用的是 SDDM
   ```

2. **卸载 NVIDIA 驱动**：
   您可以使用包管理器（例如 `apt`、`yum`、`dnf`）根据系统类型来卸载当前的 NVIDIA 驱动。

   - **Ubuntu/Debian**：
     ```bash
     sudo apt-get purge nvidia-*
     ```

   - **Fedora/CentOS/RHEL**：
     ```bash
     sudo dnf remove nvidia-*
     ```
     或者
     ```bash
     sudo yum remove nvidia-*
     ```

3. **检查是否成功卸载**：
   卸载完成后，您可以运行以下命令，检查是否还有残留的 NVIDIA 驱动：
   ```bash
   dpkg -l | grep nvidia         # Ubuntu/Debian 系统
   rpm -qa | grep nvidia         # Fedora/CentOS/RHEL 系统
   ```

4. **清除 NVIDIA 配置文件**：
   有时需要手动删除与 NVIDIA 相关的残留文件：
   ```bash
   sudo rm -rf /etc/X11/xorg.conf
   sudo rm -rf /usr/share/X11/xorg.conf.d/10-nvidia.conf
   ```

5. **重新启动系统**：
   卸载完成后，建议重启系统：
   ```bash
   sudo reboot
   ```

### 安装新的 NVIDIA 驱动：
1. **下载最新的驱动程序**：
   从 [NVIDIA 官方驱动页面](https://www.nvidia.com/Download/index.aspx?lang=en-us) 下载适合您 GPU 的驱动程序。

2. **安装新驱动**：
   - 进入下载文件所在的目录，然后运行以下命令来安装驱动：
     ```bash
     sudo bash NVIDIA-Linux-x86_64-<version>.run
     ```
     （将 `<version>` 替换为实际下载的驱动程序文件名）

3. **验证驱动是否正确安装**：
   安装完成后，您可以运行以下命令查看 NVIDIA 驱动是否正常工作：
   ```bash
   nvidia-smi
   ```

如果您安装新的驱动时遇到任何问题或需要更多帮助，请随时告诉我！

NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running

这个错误表明在安装 NVIDIA 驱动时，系统无法找到 `libGL.so.1` 文件，这个文件通常与 OpenGL 相关，并且可能由 Mesa 或其他图形库提供。该文件丢失或未正确安装可能会导致 NVIDIA 驱动安装失败或无法正常工作。





### 解决方案：

您可以尝试通过以下步骤解决该问题：

#### 1. **重新安装 Mesa 库**：
   Mesa 库提供了 `libGL.so.1`，通过安装或重新安装 Mesa 相关的包，可能可以解决问题。

   - **Ubuntu/Debian** 系统：
     ```bash
     sudo apt-get update
     sudo apt-get install --reinstall libgl1-mesa-glx libglx-mesa0
     ```

   - **Fedora/CentOS/RHEL** 系统：
     ```bash
     sudo dnf install mesa-libGL
     ```

   这将重新安装包含 `libGL.so.1` 的包。

#### 2. **创建符号链接**（如果文件存在但路径不对）：
   如果该文件存在但路径错误，您可以创建符号链接手动修复路径。

   首先，找到 `libGL.so.1` 文件所在的位置：
   ```bash
   sudo find / -name "libGL.so.1"
   ```

   如果您找到了文件路径，可以创建符号链接：
   ```bash
   sudo ln -s /path/to/libGL.so.1 /usr/lib/libGL.so.1
   ```
   （将 `/path/to/libGL.so.1` 替换为实际的路径）

比如我执行了：`sudo ln -s /usr/lib/x86_64-linux-gnu/libGL.so.1 /usr/lib/libGL.so.1`

#### 3. **检查和修复损坏的依赖项**：
   如果文件丢失是因为系统包依赖问题，您可以尝试修复损坏的依赖项。

   - **Ubuntu/Debian**：
     ```bash
     sudo apt-get install -f
     ```

   - **Fedora/CentOS/RHEL**：
     ```bash
     sudo yum check
     sudo yum-complete-transaction
     ```

#### 4. **重新安装 NVIDIA 驱动**：
   完成上述步骤后，您可以再次尝试安装 NVIDIA 驱动。

ERROR: Unable to get file properties for '/usr/lib/libGL.so.1' (No such file or directory).

### 运行镜像

首先，启动容器，加载相应的深度学习镜像。可以通过以下命令来运行带有GPU支持的 Docker 容器：

```bash
docker run -it --rm --gpus=all \
    -v /root/xiedong/:/xiedong/ \
    --net host \
    --shm-size 16G \
    --name llamafactory4 \
    kevinchina/deeplearning:llamafactory20240911 bash
```





### 安装依赖包

进入容器后，使用 `pip` 安装必要的 Python 包：

```bash
pip install transformers==4.45.0
pip install qwen-vl-utils

pip cache purge
```

### 推行新的镜像


```bash
docker push kevinchina/deeplearning:llamafactory20240926
```


### 修改配置文件

接下来，修改容器内的配置文件来设定模型路径与微调参数。使用 `vim` 编辑以下配置文件：

```bash
vim examples/inference/sft_xd_seal.yaml
```

在该文件中，调整如下配置：

```yaml
model_name_or_path: /xiedong/Qwen2-VL-7B-Instruct
# adapter_name_or_path: output/saves/qwen2_vl-7b/lora/sft_xd
template: qwen2_vl
finetuning_type: lora
```

### 启动 OpenAPI 接口服务

编辑完配置后，启动 OpenAPI 接口服务，使用以下命令：

```bash
llamafactory-cli api examples/inference/sft_xd_seal.yaml
```

服务启动后，您可以通过接口调用来查看文档，或参考类似的教程 [lmdeploy 文档](https://lmdeploy.readthedocs.io/zh-cn/stable/multi_modal/api_server_vl.html) 获取更多细节。

### Python 环境准备

确保在环境中安装了 `openai` 包，用于与 API 进行交互：

```bash
pip install openai
```

### API 调用示例

以下是一个调用 OpenAI API 进行多模态推理的示例代码：

```python
from openai import OpenAI

client = OpenAI(api_key='YOUR_API_KEY', base_url='http://101.136.22.140:8000/v1')
model_name = client.models.list().data[0].id

response = client.chat.completions.create(
    model=model_name,
    messages=[{
        'role': 'user',
        'content': [{
            'type': 'text',
            'text': 'Describe the image please',
        }, {
            'type': 'image_url',
            'image_url': {
                'url': 'https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg',
            },
        }],
    }],
    temperature=0.8,
    top_p=0.8
)

print(response)
# 打印返回的内容字符串
print(response.choices[0].message.content)
```

【深度学习】LLaMA-Factory部署Qwen2-VL

## 搜索购买域名

搜索购买域名，各个运营商都可以买，域名商。可以买个便宜的。

阿里的：

https://wanwang.aliyun.com/domain/searchresult/?keyword=dong-play&suffix=.fun


![image.png](/static/img/a15d7c29b8c86a11c2aba2130a64b26b.image.webp)





买了之后，可以登录阿里云万网控制台查看：https://dc.console.aliyun.com/?spm=a2c4g.11186623.0.0.675b5c02MHI0oo

## Cloudflare 托管教程

域名指到哪一个IP是需要自己设置DNS的。

Cloudflare 托管教程

1. 在 Cloudflare 注册一个账户，并登录。不要开魔法去连接，他们官网是：https://www.cloudflare.com/

2. 添加你在阿里云万网购买的域名到 Cloudflare。点击网站，点击添加域。

点这里：


![image.png](/static/img/ca27978e6a7e62c342e43935032a6cc9.image.webp)

点这里：


![image.png](/static/img/3f7b842b11aa57dd56bfc29b3dfbace8.image.webp)

点这里：

![image.png](/static/img/933a0b1c6c37fc912a0d471edd8f303e.image.webp)

接下来加DNS记录，DNS记录这样。不懂的看这里：https://help.aliyun.com/zh/dns/add-a-dns-record?spm=a2c1d.8251892.0.0.37e55b76CXo8le#h2-a-1


![image.png](/static/img/c710118e6f55e3720231878906ae31c5.image.webp)

记录类型：选择 A ；

主机记录：一般是指子域名的前缀（如需创建子域名为www.cloud-example.com, 主机记录 输入 `www`；如需设置主域名本身dns-example.com，主机记录 输入 `@` ）；

解析请求来源：是指发起DNS查询请求的来源，一般选择 默认 ；如果您需要针对不同解析请求来源的用户返回不同的IP地址，可以新增其他解析请求来源，例如运营商、境外等智能解析线路。具体请参考智能解析。


然后点这里：


![image.png](/static/img/26ef31a2359c870ab022e2f07397a726.image.webp)

看到这个：

![image.png](/static/img/f17a1eb1021efd44072f0eb5cfe41788.image.webp)


Cloudflare 会提供一组 DNS 服务器地址，将这些地址设置为你域名的 DNS 服务器（阿里云万网）。
完成后，Cloudflare 会自动进行域名解析，你可以在 Cloudflare 控制面板查看解析状态。

去阿里云点域名后面的管理按钮，然后点修改DNS服务器：


![image.png](/static/img/36c9fcb637bdce2c441e468ea5b79d43.image.webp)

填写cf的dns解析，然后确认：


![image.png](/static/img/10503e437aa4aff5ac8905e21f01bfe4.image.webp)

修改成功.，Cloudflare 应该已经开始自动处理你的域名解析请求了。你可以通过 Cloudflare 的控制面板来监控解析的状态。

![image.png](/static/img/1c9104cd7748da09c269a3753b647e67.image.webp)


在cf看到这个状态就是成功了：


![image.png](/static/img/6361cecfd7bc139da7a28d591be3607d.image.webp)

## 多个解析

类型A，名称填写@ 就是根域名解析。填写www就是加www的解析。可以添加多个。


![image.png](/static/img/063a1ca4f485704ce9611029a26eff79.image.webp)

增加子域名指向不一样的IP也是可以的。

【建站教程】如何购买域名，套CDN，绑定自己的服务器

我是一个专注技术分享的博主,尤其爱搞深度学习和单片机电子。你现在看到的是我的个人博客网站。