# 查看Docker存储位置





如此可以查看存储位置：
```csharp
sudo docker info | grep "Docker Root Dir"
```

# 使用软链接方式修改Docker存储位置

docker 的默认存储路径是/var/lib/docker，改成软链接即可。

```shell
# 关闭docker
sudo systemctl stop docker.socket
sudo systemctl stop docker
# 创建一个目录用于存储
mkdir -p /home/work/docker_root
# 移动文件
cp -R /var/lib/docker/* /home/work/docker_root
# 删除文件
rm -rf /var/lib/docker
# 增加软链接
ln -s /home/work/docker_root  /var/lib/docker
# 重启docker
sudo systemctl start docker
```

参考：[https://blog.csdn.net/BigData_Mining/article/details/104921479](https://blog.csdn.net/BigData_Mining/article/details/104921479)

Docker 修改 默认存储位置 存储空间不够

利用--shm-size参数：





```powershell
docker run -it --shm-size="6g" ubuntu
```

Docker ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient share

## 1 需求





pytorch、tensorflow、mxnet等深度学习框架使用GPU的时候，不一样的版本会有一些CUDA要求，所以环境一直是困扰，Docker推出后，NVIDIA基于Docker给出解决方案，答案就是NVIDIA Container Toolkit。

github链接：

https://github.com/NVIDIA/nvidia-docker

架构图：

![在这里插入图片描述](/static/img/images/00345.png)

## 2 安装

### 2.1 安装前需要知道

我的机器是centOS 7，显卡是2080TI 11G，上面有GPU驱动和CUDA。

![在这里插入图片描述](/static/img/images/00346.png)

![在这里插入图片描述](/static/img/images/00347.png)




参考：[https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#install-guide](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#install-guide)

必须要有英伟达GPU驱动，版本大于等于418.81.07。

![在这里插入图片描述](/static/img/images/00348.png)

安装必要包：

```powershell
sudo yum install -y tar bzip2 make automake gcc gcc-c++ vim pciutils elfutils-libelf-devel libglvnd-devel iptables
```


### 2.2 安装Docker

这样：
```powershell
sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine
sudo yum install -y yum-utils \
  device-mapper-persistent-data \
  lvm2
sudo yum-config-manager \
    --add-repo \
    http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo yum install docker-ce docker-ce-cli containerd.io -y
sudo systemctl start docker
sudo docker run hello-world
```


### 2.3 安装NVIDIA Container Toolkit

Setup the stable repository and the GPG key:

```powershell
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
   && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | sudo tee /etc/yum.repos.d/nvidia-docker.repo
```

```powershell
sudo yum clean expire-cache
```

安装nvidia-docker2
```powershell
sudo yum install -y nvidia-docker2
```

重启
```powershell
sudo systemctl restart docker
```

听说Docker版本大于19，可以用`yum install -y nvidia-container-toolkit` 代替nvidia-docker2安装，我觉得都行。

安装nvidia-docker2后，可以`vim /etc/docker/daemon.json`看一下Docker的配置文件，是改写了的，重启Docker后生效了。

测试安装是否成功：

```powershell
docker run --rm --gpus all nvidia/cuda:10.1-base nvidia-smi
```

会看到：

![在这里插入图片描述](/static/img/images/00349.png)

## 3 总结

### 3.1 如何安装CUDA 11.0

官网安装后测试用的是CUDA11，我没有执行成功，那么如何才能成功？

```powershell
sudo docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi
```

官网的GPU驱动版本是：

```powershell
NVIDIA-SMI 450.51.06    Driver Version: 450.51.06    CUDA Version: 11.0   
```

所以在官网查看GPU驱动和CUDA对应，找到了官网的兼容性介绍：

[https://docs.nvidia.com/deploy/cuda-compatibility/](https://docs.nvidia.com/deploy/cuda-compatibility/)

![在这里插入图片描述](/static/img/images/00350.png)

所以对于我来说，机器上的CUDA和cudnn不用改动，但我升级gpu driver是OK的，向下兼容，一直保持gpu driver是最新版本是OK的。

此外[Docker Hub](https://hub.docker.com/r/nvidia/cuda)的介绍也很明确，NVIDIA推出的镜像包含CUDA和cuDNN。

![在这里插入图片描述](/static/img/images/00351.png)

### 3.2 如何升级gpu driver？

首先搜索显卡能用得了的驱动：[https://www.nvidia.cn/Download/index.aspx?lang=cn#](https://www.nvidia.cn/Download/index.aspx?lang=cn#)，然后下载下来即可。

![在这里插入图片描述](/static/img/images/00352.png)

依次执行：

```powershell
chmod a+x NVIDIA-Linux-x86_64-465.31.run  #修改权限
./NVIDIA-Linux-x86_64-465.31.run --uninstall #卸载原有版本
NVIDIA-Linux-x86_64-465.31.run #安装新版本
```

### 3.3 升级gpu driver报错

报错：
```
An NVIDIA kernel module 'nvidia-uvm' appears to already be loaded in your kernel. This may be because it is in use (for example, by an X server, a CUDA program, or the NVIDIA Persistence Daemon), but this may also happen if your kernel was configured without support for module unloading. Please be sure to exit any programs that may be using the GPU(s) before attempting to upgrade your driver. If no GPU-based programs are running, you know that your kernel supports module unloading, and you still receive this message, then an error may have occurred that has corrupted an NVIDIA kernel module's usage count, for which the simplest remedy is to reboot your computer.
```

怎么办？

原因是卸载的时候有别的程序占用显卡不放，所以无法安装新的显卡驱动。先停止那些占用就可以了。

参见：[https://haoyu.love/blog549.html](https://haoyu.love/blog549.html)

依次执行：

```powershell
fuser -v /dev/nvidia* 
fuser -v /dev/nvidia* | grep -o -E '[0-9]+' | xargs kill -9
```

## 4 容器：深度学习环境

### 4.1 实践目标

目标，在容器里用conda安装上torch gpu 1.7.1：

```powershell
# CUDA 11.0
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch
```

### 4.2 找到合适的devel镜像

NVIDIA发布的devel镜像在之前图看到过，里面包含了runtime，还有一些别的，相当于最全了！

找到镜像，[https://hub.docker.com/r/nvidia/cuda/tags?page=1&ordering=last_updated&name=11.0](https://hub.docker.com/r/nvidia/cuda/tags?page=1&ordering=last_updated&name=11.0)

pull镜像：
```powershell
docker pull nvidia/cuda:11.0.3-devel-centos7
```

dockerpull 过慢，给一个阿里镜像。

Docker阿里镜像：

[https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors](https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors)

### 4.3 运行容器

运行容器，用--gpus all参数去把宿主机资源带入容器中，此时nvidia-docker2在发挥作用：

```powershell
docker run -it -v /root:/define/root --gpus all 72978189a95a /bin/bash  # 运行镜像，挂载卷方便文件传输
```

yum没镜像寸步难行

yum给镜像方法是这样：

```powershell
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
cd /etc/yum.repos.d/
wget http://mirrors.163.com/.help/CentOS7-Base-163.repo  # 配置为163源  可以不要这个 不执行这句
————————————————
版权声明：本文为CSDN博主「Q742971636」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/x1131230123/article/details/115007154
```

宿主机文件移动到/root,然后在容器内移动到/etc/yum.repos.d：

```powershell
cp /define/root/CentOS-Base.repo /etc/yum.repos.d
```

安装wget等工具：

```powershell
yum install -y wget vim git 
```

### 4.4 安装python

装miniconda：

```powershell
wget https://repo.anaconda.com/miniconda/Miniconda3-py38_4.9.2-Linux-x86_64.sh
sh Miniconda3-py38_4.9.2-Linux-x86_64.sh
source ~/.bashrc
```


装pytorch：

```powershell
# CUDA 11.0
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch
```

### 4.5 用python程序测试环境

测试CUDA环境，写个py文件后执行，`touchtest.py`, `vim test.py` , 使用程序：

```python
import torch
flag = torch.cuda.is_available()
if flag:
    print("CUDA可使用")
else:
    print("CUDA不可用")
ngpu= 1
# Decide which device we want to run on
device = torch.device("cuda:0" if (torch.cuda.is_available() and ngpu > 0) else "cpu")
print("驱动为：",device)
print("GPU型号： ",torch.cuda.get_device_name(0))
```

执行程序 `python test.py` 后看到：

![在这里插入图片描述](/static/img/images/00353.png)

好，这样就成功了，能在容器里使用GPU了！

## 5 开始使用

退出容器，docker ps -a找到刚才容器id，使用docker commit 把容器变成镜像：
```powershell
docker commit -a "Kevin" -m "cuda11 pytorch1.7.1" 529cfd575f70 cuda11pytorch1_7_1:v1
```

使用docker images查看生成的镜像：

![在这里插入图片描述](/static/img/images/00354.png)

以后就能使用这个镜像进行开发：
```powershell
docker run -it -v /root:/define/root --gpus all 1d5c02b61178 /bin/bash  # 运行镜像，挂载卷方便文件传输
```

更进一步把镜像保存为rar文件：

```powershell
docker save -o cuda11pytorch1_7_1.tar cuda11pytorch1_7_1:v1
```

加载本地镜像rar文件：

```powershell
docker load -i cuda11pytorch1_7_1.tar
```

Docker 搭建GPU容器用于深度学习 NVIDIA Container Toolkit CentOS 如何升级gpu driver

身在Docker容器里身不由己，wget能很好解决：





下载：
```powershell
wget https://repo.anaconda.com/miniconda/Miniconda3-py38_4.9.2-Linux-x86_64.sh
```

安装：

-b是静默安装，无需交互。
```powershell
sh Miniconda3-py38_4.9.2-Linux-x86_64.sh -b
```

所以记住这2个仓库：

[https://repo.anaconda.com/miniconda/](https://repo.anaconda.com/miniconda/)

[https://repo.anaconda.com/archive/](https://repo.anaconda.com/archive/)

Linux wget miniconda 快速安装miniconda环境

# Docker 入门指南







## 参考

- 菜鸟教程: [Docker 教程](https://www.runoob.com/docker/docker-tutorial.html)

- 狂神Docker笔记: [链接](https://blog.csdn.net/weixin_43591980/article/details/106272050?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162746190916780366597654%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=162746190916780366597654&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_v2~rank_v29-1-106272050.pc_search_result_cache&utm_term=docker%20%E7%8B%82%E7%A5%9E&spm=1018.2226.3001.4187)

## 总览

Docker 的入门重点包括镜像命令学习、容器命令学习，之后学习 compose、网络。下面是关于 Docker 的一些图示：

![Docker总览图](/static/img/images/00361.png)

## Docker 安装

### centOS 安装

```bash
# 1. 卸载旧版本
yum remove docker \
    docker-client \
    docker-client-latest \
    docker-common \
    docker-latest \
    docker-latest-logrotate \
    docker-logrotate \
    docker-engine
# 2. 需要的安装包
yum install -y yum-utils
# 3. 设置镜像的仓库
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# 推荐使用国内的
# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 4. 更新 yum 软件包索引
yum makecache fast
# 5. 安装 docker 相关的 docker-ce 社区版
yum install docker-ce docker-ce-cli containerd.io
# 6. 启动 docker
systemctl start docker
# 7. 使用 docker version 查看是否安装成功
docker version
# 8. 测试
docker run hello-world
```

### Ubuntu 安装方式

详见：[Ubuntu 安装方式](https://qq742971636.blog.csdn.net/article/details/134116129)

## 镜像命令

```powershell
docker images # 查看所有本地主机上的镜像，也可以使用 docker image ls 代替
docker search # 搜索镜像
docker pull # 下载镜像 docker image pull
docker rmi # 删除镜像 docker image rm
```

## 容器命令

```powershell
docker run 镜像id # 新建容器并启动 docker run -it centos /bin/bash
docker ps # 列出所有运行的容器 docker container list
docker rm 容器id # 删除指定容器
docker start 容器id # 启动容器
docker restart 容器id # 重启容器
docker stop 容器id # 停止当前正在运行的容器
docker kill 容器id # 强制停止当前容器
```

删除容器

```powershell
docker rm -f 容器id # 删除指定的容器，不能删除正在运行的容器，如果要强制删除 rm -rf
docker rm -f $(docker ps -aq) # 删除所有的容器
docker ps -a -q|xargs docker rm # 删除所有的容器
```

## 从压缩包加载镜像

使用 Docker 安装:

```bash
curl -fsSL https://get.docker.com | bash -s docker --mirror aliyun
```

拉取 Docker Hub 的镜像，最好在 Docker Hub 搜索后找到需要的镜像。加载本地镜像：

```bash
docker load -i wrf_v1.tar
```

后台运行镜像：

```bash
docker run –itd -v /home/wrf2/project10/data:/usr/ly/data -v /home/wrf2/project10/wrf_env/wrf_local/local:/usr/ly/local wrf:v1 /bin/bash
```

查看在运行的容器：

```bash
docker ps
```

查看所有容器，无论运行与否：

```bash
docker ps -a
```

进入一个正在运行的容器：

```bash
docker exec -it c42e6710b18e /bin/bash
```

要退出容器，且不让容器停止运行：

1. 先按快捷键 `ctrl+P`

2. 再按快捷键 `ctrl+Q`

## 容器 >> 镜像 >> 压缩包

将容器提交为镜像：

```powershell
docker commit -a "Kevin" -m "yolo" 73021fc5a50f yolov5image:v1
```

将镜像保存为

 RAR 压缩包：

```powershell
docker save -o my_ubuntu_v3.tar 794ee56580a5
```


# 清除掉状态是停止的容器

```bash
docker container prune
```


# 删除所有没有TAG的镜像

你可以使用 Docker 命令来删除没有 TAG 的镜像。以下是具体的命令：

```bash
docker rmi $(docker images -q -f dangling=true)
```

这个命令的含义是：

- `docker images`：列出所有镜像。

- `-q`：仅显示镜像 ID。

- `-f dangling=true`：过滤出没有 TAG 的镜像。

- `docker rmi`：删除选定的镜像。

这个命令将会删除所有没有 TAG 的镜像。

【运维】Docker 基本使用教程 dockerhub cookbook

我是一个专注技术分享的博主,尤其爱搞深度学习和单片机电子。你现在看到的是我的个人博客网站。