## 官网教程

https://www.yuque.com/baicaigongchang1145haoyuangong/ib3g1e/xyyqrfwiu3e2bgyk

https://github.com/RVC-Boss/GPT-SoVITS

## GPT-SoVITS原理

![在这里插入图片描述](/static/img/images/00065.png)

![在这里插入图片描述](/static/img/images/00066.png)

![在这里插入图片描述](/static/img/images/00067.png)

![在这里插入图片描述](/static/img/images/00068.png)




## 制作镜像

不用docker不行，不好分配显卡，

做个docker镜像：

```bash
docker pull pytorch/pytorch:2.1.2-cuda12.1-cudnn8-devel
```

执行：
```bash
docker run -it --gpus device=3 --net host -v /ssd/xd/tts/GPT-SoVITS:/ssd/xd/tts/GPT-SoVITS pytorch/pytorch:2.1.2-cuda12.1-cudnn8-devel bash
```

必要环境：
```bash
export http_proxy=101.136.19.261:10829
export https_proxy=101.136.19.261:10829
conda install -c conda-forge gcc -y
conda install -c conda-forge gxx -y
conda install ffmpeg cmake -y
cd /ssd/xd/tts/GPT-SoVITS
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
apt update && apt install -t git vim wget curl
```

加一句到~/.bashrc：

```go
export LD_LIBRARY_PATH=/opt/conda/lib/python3.10/site-packages/torch/lib:$LD_LIBRARY_PATH
```

一般的miniconda安装路径在这里：/root/miniconda3/envs/gsv/lib/python3.10/site-packages/torch/lib


设置容器语言环境：
你可以尝试在容器内设置语言环境，以支持中文字符显示。可以使用以下命令：


```bash
apt-get update && apt-get install -y locales
locale-gen zh_CN.UTF-8
export LANG=zh_CN.UTF-8
```

dockerfile:

```bash
RUN apt-get update && apt-get install -y locales \
    && locale-gen zh_CN.UTF-8 \
    && /usr/sbin/update-locale LANG=zh_CN.UTF-8
ENV LANG zh_CN.UTF-8

```


装一个合适的onnxruntime-gpu:

![image.png](/static/img/3693c08841ce7edb5b98f13213611672.image.webp)

https://onnxruntime.ai/docs/install/#requirements


```bash
wget https://aiinfra.pkgs.visualstudio.com/PublicPackages/_apis/packaging/feeds/d3daa2b0-aa56-45ac-8145-2c3dc0661c87/pypi/packages/ort-nightly-gpu/versions/1.17.dev20240118002/ort_nightly_gpu-1.17.0.dev20240118002-cp310-cp310-manylinux_2_28_x86_64.whl/content
mv content ort_nightly_gpu-1.17.0.dev20240118002-cp310-cp310-manylinux_2_28_x86_64.whl
pip install ort_nightly_gpu-1.17.0.dev20240118002-cp310-cp310-manylinux_2_28_x86_64.whl
pip install onnx
```




## docker push

push镜像给大家用：

```go
docker push kevinchina/deeplearning:2.1.2-cuda12.1-cudnn8-devel-gptsovitsv4
```


## 数据格式


![在这里插入图片描述](/static/img/images/00069.png)

## 拉取代码&下载模型

拉最新的代码：

```bash
cd /root/xiedong/tts
git clone https://github.com/RVC-Boss/GPT-SoVITS.git
```

需要下载一些文件到对应目录。

1. 下载预训练模型:

    ```bash
    # https://huggingface.co/lj1995/GPT-SoVITS/tree/main 下载预训练模型，并将其放置在 GPT_SoVITS/pretrained_models 目录中。
    我这里不再演示，注意，GPT-SoVITS项目下面的GPT-SoVITS目录里面有一个pretrained_models目录，别搞错了。
    scp -r -P 16120 xiedong@101.136.19.26:/ssd/xiedong/tts/GPT-SoVITS/GPT_SoVITS/pretrained_models ./
    ```


2. 从 G2PWModel_1.1.zip 下载模型，解压并重命名为 G2PWModel，然后将其放置在 GPT_SoVITS/text 目录中。（仅限中文TTS） https://paddlespeech.bj.bcebos.com/Parakeet/released_models/g2p/G2PWModel_1.1.zip


    ```bash
    scp -r -P 16120 xiedong@101.136.19.26:/ssd/xiedong/tts/GPT-SoVITS/GPT_SoVITS/text/G2PWModel ./
    ```

3. 对于 UVR5（人声/伴奏分离和混响移除，额外功能），从 UVR5 Weights 下载模型，并将其放置在 tools/uvr5/uvr5_weights 目录中。


    ```bash
    scp -r -P 16120 xiedong@101.136.19.26:/ssd/xiedong/tts/GPT-SoVITS/tools/uvr5/uvr5_weights/* ./
    ```

![image.png](/static/img/a3f8b19b209340ac57913c9dd770b400.image.webp)

4. 对于中文 ASR（额外功能），从 [Damo ASR Model](https://modelscope.cn/models/iic/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/files)、[Damo VAD Model](https://modelscope.cn/models/iic/speech_fsmn_vad_zh-cn-16k-common-pytorch/files) 和 [Damo Punc Model](https://modelscope.cn/models/iic/punc_ct-transformer_zh-cn-common-vocab272727-pytorch/files) 下载模型，并将它们放置在 tools/asr/models 目录中。
5. 对于英语或日语 ASR（额外功能），从 Faster Whisper Large V3 下载模型，并将其放置在 tools/asr/models 目录中。此外，其他模型 可能具有类似效果且占用更少的磁盘空间。
https://huggingface.co/Systran/faster-whisper-large-v3/tree/main



    ![image.png](/static/img/a87353aaee7ff2481efd16cebcc15f71.image.webp)



## 启动容器

目录介绍：
1. GPT-SoVITS/GPT_weights_v2/ 存放训练后的GPT模型，pt结尾
2. GPT-SoVITS/SoVITS_weights_v2/ 存放训练后的SoVITS模型，pth结尾


运行容器：

```bash
docker run -it --shm-size=16g --env=is_half=False --gpus all --net host -v /root/xiedong/tts:/root/xiedong/tts kevinchina/deeplearning:2.1.2-cuda12.1-cudnn8-devel-gptsovitsv4 bash
```


## 启动webui


```bash
cd /root/xiedong/tts/GPT-SoVITS-items
python webui.py
```

## 用自带的UVR5处理音频


### **第一步：分离人声**：
   - 人声/伴奏分离与混响去除的任务。使用 **model_bs_roformer_ep_317_sdr_12.9755** 模型进行处理，这是当前效果最好的模型，目的是提取人声。


    记住：一定要mkdir创建好文件目录再开始。我的wav文件目录是/root/xiedong/tts/datasets/shiyu，我vocal存/root/xiedong/tts/datasets/shiyu_uvr5，我accompaniment存/root/xiedong/tts/datasets/shiyu_uvr5_accompaniment。我就像下图设么设置。

![image.png](/static/img/0910e0d3161c3e87222f6e40263d6add.image.webp)

### **第二步：混响去除**：
   
   将输出的干声音频使用 **onnx_dereverb_By_FoxJoy** 处理去混响。

    再mkdir一个存人声的目录：mkdir /root/xiedong/tts/datasets/shiyu_uvr5_2,然后这样写入去除这个路径的混响：/root/xiedong/tts/datasets/shiyu_uvr5。这一步很慢。
   
![image.png](/static/img/f8d8d53cca5e65a3896a4f5d5360bd93.image.webp)
    

3. 第三步：混响去除 使用 **DeEcho-Aggressive** 进行最后的混响去除。


4. **输出格式**：
   - 输出格式选择 **wav**。

5. **输出路径**：
   - 默认输出文件夹为 **GPT-SoVITS-beta\output\uvr5_opt**，建议不要修改输出路径，避免后续找不到文件。

6. **处理结果文件说明**：
   - `(vocal)` 表示处理后的人声。
   - `(instrument)` 表示伴奏。
   - `(_vocal_main_vocal)` 表示无混响的音频文件。
   - `(others)` 是混响文件。
   - 最终使用的文件是 `(vocal)` 和 `(_vocal_main_vocal)`，其他文件可以删除。

7. **结束步骤**：
   - 处理结束后，记得在 **WebUI** 中关闭 **UVR5** 来节省显存。



## 切割音频

我不切

## 音频降噪

我不降噪

## 打标

开启打标后，模型会对所有wav打标记，生成一个文件/root/xiedong/tts/datasets/shiyu_uvr5/asr_opt/shiyu_uvr5.list

![image.png](/static/img/61d1a80d8c1aa34049f5ab015a6944a8.image.webp)

现在这个/root/xiedong/tts/datasets/shiyu_uvr5/asr_opt/shiyu_uvr5.list里是这个样子：



也就是这个格式：

```bash
vocal_path|speaker_name |language|text
```


## 校对标注

我其实本身有标注，我要把/root/xiedong/tts/datasets2/shiyuv2_vk2下面所有wav文件都标注出来。

我希望生成一个文件`/root/xiedong/tts/datasets2/shiyuv2_vk2.list`，每一行都是一个数据集的一个样本，格式是这样的：

```bash
vocal_path|speaker_name|language|text
```
1. vocal_path 是wav文件绝对路径
2. speaker_name 是说话人，我希望写成“shiyu”
3. language得看情况，tts文本如果全是中文，那就是zh；全是英文，那就是en；两者都有，那也给zh。
>     Language dictionary:
>     'zh': Chinese
>     'ja': Japanese
>     'en': English
>     'ko': Korean
>     'yue': Cantonese
4. text 是tts的文本。

我希望整体顺序是先zh，再en，最后中英混合的zh。




## 启动webui训练


```bash
cd /root/xiedong/tts/GPT-SoVITS-items
python webui.py
```

检查是否有这几个文件：


```bash
root@k8s-node-10:~/xiedong/tts/GPT-SoVITS# ll GPT_SoVITS/pretrained_models/gsv-v2final-pretrained/s2G2333k.pth
-rw-r--r-- 1 root root 106035259 Sep 12 03:09 GPT_SoVITS/pretrained_models/gsv-v2final-pretrained/s2G2333k.pth
root@k8s-node-10:~/xiedong/tts/GPT-SoVITS# ll GPT_SoVITS/pretrained_models/gsv-v2final-pretrained/s2D2333k.pth
-rw-r--r-- 1 root root 93534164 Sep 12 03:09 GPT_SoVITS/pretrained_models/gsv-v2final-pretrained/s2D2333k.pth
root@k8s-node-10:~/xiedong/tts/GPT-SoVITS# ll GPT_SoVITS/pretrained_models/gsv-v2final-pretrained/s1bert25hz-5kh-longer-epoch=12-step=369668.ckpt
-rw-r--r-- 1 root root 155315150 Sep 12 03:09 'GPT_SoVITS/pretrained_models/gsv-v2final-pretrained/s1bert25hz-5kh-longer-epoch=12-step=369668.ckpt'
```

### 0-前置数据集获取工具

一键三连：

![image.png](/static/img/a27b4ed243dcc0f5a024f8b7d3e6d438.image.webp)



### 1B-微调训练

![image.png](/static/img/7e3d8f21fd372e642692368406cd48fc.image.webp)



![image.png](/static/img/c0aec8992834bdf16d58b946e9490dc9.image.webp)


![image.png](/static/img/bc47b690648150fed6af2aedb3a4930b.image.webp)

###  1C-推理

![image.png](/static/img/02d4e33d7a01df320e169893f1849777.image.webp)



## 源码的推理

【深度学习】【语音TTS】GPT-SoVITS v2 实战，训练一个人的音色，Docker镜像

错误：





```go
-- Process 0 terminated with the following error:
Traceback (most recent call last):
  File "/opt/conda/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 74, in _wrap
    fn(i, *args)
  File "/ssd/xd/tts/GPT-SoVITS/GPT_SoVITS/s2_train.py", line 255, in run
    train_and_evaluate(
  File "/ssd/xd/tts/GPT-SoVITS/GPT_SoVITS/s2_train.py", line 340, in train_and_evaluate
    ) = net_g(ssl, spec, spec_lengths, text, text_lengths)
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1518, in _wrapped_call_impl
    return self._call_impl(*args, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1527, in _call_impl
    return forward_call(*args, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/parallel/distributed.py", line 1519, in forward
    else self._run_ddp_forward(*inputs, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/parallel/distributed.py", line 1355, in _run_ddp_forward
    return self.module(*inputs, **kwargs)  # type: ignore[index]
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1518, in _wrapped_call_impl
    return self._call_impl(*args, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1527, in _call_impl
    return forward_call(*args, **kwargs)
  File "/ssd/xd/tts/GPT-SoVITS/GPT_SoVITS/module/models.py", line 923, in forward
    ge = self.ref_enc(y[:,:704] * y_mask, y_mask)
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1518, in _wrapped_call_impl
    return self._call_impl(*args, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1527, in _call_impl
    return forward_call(*args, **kwargs)
  File "/ssd/xd/tts/GPT-SoVITS/GPT_SoVITS/module/modules.py", line 756, in forward
    x = x.masked_fill(mask.unsqueeze(-1), 0)
  File "/opt/conda/lib/python3.10/site-packages/torch/utils/data/_utils/signal_handling.py", line 66, in handler
    _error_if_any_worker_fails()
RuntimeError: DataLoader worker (pid 12218) is killed by signal: Bus error. It is possible that dataloader's workers are out of shared memory. Please try to raise your shared memory limit.
```

### 在 Docker 中处理 PyTorch DataLoader 内存不足的问题

当我们使用 Docker 容器进行深度学习任务时，有时会遇到以下错误：

```
RuntimeError: DataLoader worker (pid 12218) is killed by signal: Bus error. It is possible that dataloader's workers are out of shared memory. Please try to raise your shared memory limit.
```

这个错误通常出现在使用 PyTorch 的 DataLoader 时，尤其是在数据量大或者使用了多个 worker 进程的情况下。这篇博客将解释这个错误的原因，并介绍如何通过调整 Docker 配置来解决问题。

#### 什么是共享内存？

共享内存（shared memory）是一种进程间通信的方式，允许多个进程共享同一块内存区域。在深度学习任务中，DataLoader 的多个 worker 进程常常需要共享大量数据以高效处理数据加载。当共享内存不足时，便会导致上述错误。

#### Docker 默认的共享内存大小

在 Docker 中，默认的共享内存大小仅为 **64MB**。对于大多数深度学习任务来说，这个默认值往往是不够的，特别是在处理大量数据或使用多个 DataLoader worker 时。

#### 如何调整 Docker 的共享内存大小？

幸运的是，我们可以通过 Docker 的 `--shm-size` 参数来调整容器的共享内存大小。以下是具体的操作步骤：

1. **启动 Docker 容器时设置共享内存大小**  

   你可以在启动 Docker 容器时通过 `--shm-size` 参数来调整共享内存大小。例如，将共享内存设置为 1GB：

   ```bash
   docker run --shm-size=1g <your_docker_image>
   ```

2. **适当的共享内存设置**  

   - **64MB（默认）**: 适合一些简单、不需要大量内存的应用。

   - **1GB**: 对于大多数深度学习任务，这是一个合适的起点。

   - **2GB 或以上**: 如果你的任务数据量特别大，或者需要使用多个 DataLoader worker 进程，可能需要将共享内存增加到 2GB 或更高。

#### 其他建议

除了调整共享内存大小，你还可以通过以下方式进一步优化性能并减少内存问题：

- **减少 DataLoader 中的 worker 数量**：在 `DataLoader` 中将 `num_workers` 设置为较低的值，如 1 或 2，这样可以减少对共享内存的需求。

  

  ```python
  DataLoader(dataset, num_workers=2, ...)
  ```

- **调整批次大小（batch size）**：减小批次大小可以降低内存占用，从而减少发生内存不足错误的可能性。

- **使用 pin_memory**：如果你在使用 GPU，考虑在 DataLoader 中启用 `pin_memory=True`，这可以提高数据加载的效率。

#### 总结

当你在 Docker 容器中使用 PyTorch 进行深度学习任务时，默认的 64MB 共享内存可能不足，导致 DataLoader 出现内存不足的错误。通过调整 Docker 的 `--shm-size` 参数，你可以有效解决这个问题。对于大多数应用场景，建议将共享内存设置为至少 1GB，如果任务复杂或数据量较大，考虑增加到 2GB 或以上。同时，适当地减少 DataLoader 的 worker 数量或调整批次大小也是有效的优化手段。

通过这些调整，你可以更稳定高效地运行深度学习任务，避免因内存不足导致的错误。

【运维】out of shared memory. Please try to raise your shared memory limit

![在这里插入图片描述](/static/img/images/00070.png)







你可以使用Python程序或Linux命令来将M4A文件转换为WAV文件。下面分别介绍这两种方法。

### 方法一：使用FFmpeg命令行工具（Linux命令）

FFmpeg 是一个强大的多媒体处理工具，支持音视频转换、处理等操作。你可以在终端中使用以下命令将M4A文件转换为WAV文件：

```bash
ffmpeg -i input.m4a output.wav
```

这里`input.m4a`是你要转换的M4A文件的路径，`output.wav`是你希望生成的WAV文件的路径和文件名。

如果你的系统没有安装FFmpeg，可以通过以下命令安装：

- 在Ubuntu/Debian上：

  ```bash
  sudo apt-get install ffmpeg
  ```

- 在CentOS/RHEL上：

  ```bash
  sudo yum install ffmpeg
  ```

- 在macOS上（使用Homebrew）：

  ```bash
  brew install ffmpeg
  ```

### 方法二：使用Python中的`pydub`库

你也可以使用Python中的`pydub`库来实现M4A到WAV的转换。首先，需要安装`pydub`库和FFmpeg：

```bash
pip install pydub
```

你还需要确保系统上已经安装了FFmpeg，因为`pydub`依赖它来进行格式转换。

下面是一个Python示例代码，将M4A文件转换为WAV文件：

```python
from pydub import AudioSegment
# 打开M4A文件
audio = AudioSegment.from_file("input.m4a", format="m4a")
# 导出为WAV文件
audio.export("output.wav", format="wav")
```

这里`input.m4a`是输入的M4A文件路径，`output.wav`是输出的WAV文件路径。

### 总结

- **FFmpeg**: 适合直接在终端进行批量转换，非常快捷。

- **pydub**: 适合在Python程序中集成音频转换功能，灵活性高。

m4a转wav，使用FFmpeg和Python将M4A文件转换为WAV

![在这里插入图片描述](/static/img/images/00071.png)






深入理解 Linux 中的 `mv` 命令：移动文件和文件夹的艺术

在日常使用 Linux 的过程中，`mv`（move）命令是我们经常会用到的一个命令，它不仅可以用来移动文件和文件夹，还可以用于重命名。尽管 `mv` 看似简单，但在实际使用中，我们可以通过一些技巧使其更为强大和灵活。本篇博客将深入探讨 `mv` 命令的各种用法，并分享一些实用的小技巧，帮助你更高效地管理文件。

### 一、基本语法

`mv` 命令的基本语法如下：

```bash
mv [选项] 源文件 目标路径
```

其中，`源文件` 是你想要移动或重命名的文件或文件夹，`目标路径` 是你希望将其移动到的目的地。

### 二、基本用法

1. **移动文件：**

   ```bash
   mv filename.txt /home/user/documents/
   ```

   这条命令将 `filename.txt` 文件从当前目录移动到 `/home/user/documents/` 目录下。

2. **移动并重命名文件：**

   ```bash
   mv filename.txt /home/user/documents/newname.txt
   ```

   这条命令不仅移动了文件，还将文件重命名为 `newname.txt`。

3. **移动文件夹：**

   ```bash
   mv foldername /home/user/documents/
   ```

   这条命令将文件夹 `foldername` 及其内容移动到 `/home/user/documents/` 目录下。

### 三、使用 `mv` 移动所有文件但排除特定文件或文件夹

有时候，我们可能需要移动一个目录中的所有文件和文件夹，但希望排除某些特定的文件或文件夹。假设你要移动所有文件和文件夹，但排除 `.git` 文件夹，可以使用以下方法：

```bash
shopt -s extglob
mv !( .git ) /path/to/destination/
```

#### **命令解释：**

- `shopt -s extglob`：这是一个 Bash 内建命令，用于启用扩展模式匹配（extglob）。

- `mv !( .git ) /path/to/destination/`：在这个命令中，`!( .git )` 是一个模式匹配表达式，表示匹配除了 `.git` 文件夹之外的所有文件和文件夹。

这个命令会将当前目录下所有的文件和文件夹（除了 `.git`）移动到指定的目的地 `/path/to/destination/`。

### 四、其他常用选项

1. **覆盖提示：** 默认情况下，`mv` 会直接覆盖目标路径中的同名文件。如果你希望在覆盖文件之前得到提示，可以使用 `-i` 选项。

   ```bash
   mv -i filename.txt /home/user/documents/
   ```

2. **强制覆盖：** 如果你希望在移动文件时强制覆盖目标路径中的文件，可以使用 `-f` 选项。

   ```bash
   mv -f filename.txt /home/user/documents/
   ```

3. **显示移动过程：** 使用 `-v` 选项可以显示移动过程，便于调试。

   ```bash
   mv -v filename.txt /home/user/documents/
   ```

### 五、总结

通过本文的介绍，我们可以看到 `mv` 命令不仅仅是一个简单的移动工具，通过一些小技巧和选项，我们可以灵活地处理文件和文件夹的移动与重命名任务。特别是在需要排除特定文件或文件夹的情况下，使用扩展的模式匹配可以极大地方便操作。掌握这些技能，将有助于你更高效地管理 Linux 系统中的文件。

【运维】深入理解 Linux 中的 `mv` 命令，使用 `mv` 移动所有文件但排除特定文件或文件夹

![在这里插入图片描述](/static/img/images/00072.png)





# 报错信息

```go
able of handling various complex tasks. Please report the progress of this project to the team members.
 > ===========================
  0%|                                                                                                                                         | 0/7 [00:00<?, ?it/s]
Traceback (most recent call last):
  File "/ssd/xd/tts/MeloTTS/x01.py", line 37, in <module>
    model.tts_to_file(text, speaker_ids['EN-US'], output_path, speed=speed)
  File "/ssd/xd/tts/MeloTTS/melo/api.py", line 100, in tts_to_file
    bert, ja_bert, phones, tones, lang_ids = utils.get_text_for_tts_infer(t, language, self.hps, device, self.symbol_to_id)
  File "/ssd/xd/tts/MeloTTS/melo/utils.py", line 23, in get_text_for_tts_infer
    norm_text, phone, tone, word2ph = clean_text(text, language_str)
  File "/ssd/xd/tts/MeloTTS/melo/text/cleaner.py", line 12, in clean_text
    phones, tones, word2ph = language_module.g2p(norm_text)
  File "/ssd/xd/tts/MeloTTS/melo/text/english.py", line 242, in g2p
    phone_list = list(filter(lambda p: p != " ", _g2p(w)))
  File "/ssd/xd/miniconda3/envs/melotts/lib/python3.10/site-packages/g2p_en/g2p.py", line 162, in __call__
    tokens = pos_tag(words)  # tuples of (word, tag)
  File "/ssd/xd/miniconda3/envs/melotts/lib/python3.10/site-packages/nltk/tag/__init__.py", line 165, in pos_tag
    tagger = _get_tagger(lang)
  File "/ssd/xd/miniconda3/envs/melotts/lib/python3.10/site-packages/nltk/tag/__init__.py", line 107, in _get_tagger
    tagger = PerceptronTagger()
  File "/ssd/xd/miniconda3/envs/melotts/lib/python3.10/site-packages/nltk/tag/perceptron.py", line 183, in __init__
    self.load_from_json(lang)
  File "/ssd/xd/miniconda3/envs/melotts/lib/python3.10/site-packages/nltk/tag/perceptron.py", line 273, in load_from_json
    loc = find(f"taggers/averaged_perceptron_tagger_{lang}/")
  File "/ssd/xd/miniconda3/envs/melotts/lib/python3.10/site-packages/nltk/data.py", line 582, in find
    raise LookupError(resource_not_found)
LookupError:
**********************************************************************
  Resource averaged_perceptron_tagger_eng not found.
  Please use the NLTK Downloader to obtain the resource:
  >>> import nltk
  >>> nltk.download('averaged_perceptron_tagger_eng')
  For more information see: https://www.nltk.org/data.html
  Attempted to load taggers/averaged_perceptron_tagger_eng/
  Searched in:
    - '/home/xd/nltk_data'
    - '/ssd/xd/miniconda3/envs/melotts/nltk_data'
    - '/ssd/xd/miniconda3/envs/melotts/share/nltk_data'
    - '/ssd/xd/miniconda3/envs/melotts/lib/nltk_data'
    - '/usr/share/nltk_data'
    - '/usr/local/share/nltk_data'
    - '/usr/lib/nltk_data'
    - '/usr/local/lib/nltk_data'
    - '/home/xd/nltk_data'
***************************************************************
```

# 解决

python代码前加这几句，开魔法执行，会下载好对应包，就不会报错了。
```go
import nltk
nltk.data.path.append('/home/xd/nltk_data')  # 添加路径
nltk.download('averaged_perceptron_tagger_eng')
```

要有魔法才行，路径可以改为自己喜欢的，python能找到的。比如显示在这些地方找，那就选一个。

![在这里插入图片描述](/static/img/images/00073.png)

【运维】报错Resource averaged_perceptron_tagger_eng not found.

一直要求输入密码，很烦人：





![在这里插入图片描述](/static/img/images/00079.png)

如何免密连接？

1 重新打开gateway，来到这个界面点新建连接：

![在这里插入图片描述](/static/img/images/00080.png)

2 点这里设置：

![在这里插入图片描述](/static/img/images/00081.png)

3 在这一页，你可以改你的所有配置，只要设置为password并且保存密码，就可以一直爽：

![在这里插入图片描述](/static/img/images/00082.png)

【运维】JetBrains Gateway (Pycharm) SSH免密连接，改为免密连接

![在这里插入图片描述](/static/img/images/00083.png)





## 深入了解 `grep` 命令：全面指南

`grep` 是 Linux/Unix 系统中的一款非常强大的命令行工具，用于在文本中搜索特定的模式或字符串。无论是日常任务还是复杂的文本处理，`grep` 都能帮助你高效地找到所需的信息。在这篇博客中，我们将详细介绍 `grep` 的基本用法、常用选项以及一些高级技巧和实际应用场景。

### 基本用法

`grep` 的最基本用法如下：

```bash
grep 'pattern' filename
```

- **pattern**：你要搜索的字符串或正则表达式。

- **filename**：要在其中搜索的文件名。

#### 示例：查找文件 `sample.txt` 中包含 `hello` 的行

```bash
grep 'hello' sample.txt
```

这个命令将搜索 `sample.txt` 中所有包含 `hello` 字符串的行，并将匹配的行输出到终端。

### 选项和常用参数

`grep` 提供了多种选项，帮助用户更灵活地进行搜索。下面是一些常用的参数及其示例。

#### 1. 忽略大小写：`-i`

```bash
grep -i 'hello' sample.txt
```

此命令忽略大小写，找到所有形式的 `hello`（如 `HELLO`、`Hello` 等）。

#### 2. 显示行号：`-n`

```bash
grep -n 'hello' sample.txt
```

此命令会显示匹配行的行号，方便定位。

#### 3. 递归搜索：`-r`

```bash
grep -r 'hello' /path/to/directory
```

递归搜索指定目录下的所有文件，查找包含 `hello` 的行。

#### 4. 只显示匹配的行：`-o`

```bash
grep -o 'hello' sample.txt
```

只显示匹配的字符串，而不是整行内容。

#### 5. 显示匹配行的上下文：`-C`

```bash
grep -C 3 'hello' sample.txt
```

显示匹配行以及上下各三行的内容，以便了解匹配所在的上下文。

#### 6. 匹配整个单词：`-w`

```bash
grep -w 'hello' sample.txt
```

只匹配完整的单词，如 `hello`，而不会匹配 `helloworld`。

#### 7. 统计匹配的行数：`-c`

```bash
grep -c 'hello' sample.txt
```

统计文件中包含 `hello` 的行数。

### 使用正则表达式

`grep` 支持正则表达式，使其在处理复杂的文本匹配时更加得心应手。

#### 匹配以某字符串开头的行

```bash
grep '^hello' sample.txt
```

匹配以 `hello` 开头的行。

#### 匹配以某字符串结尾的行

```bash
grep 'hello$' sample.txt
```

匹配以 `hello` 结尾的行。

#### 匹配任意字符

```bash
grep 'h.llo' sample.txt
```

匹配 `h` 和 `llo` 之间有一个任意字符的行，如 `hello` 或 `hallo`。

### 实际应用场景

`grep` 的应用非常广泛，从搜索日志文件到查找特定的代码片段，以下是一些常见的使用场景。

#### 1. 查找日志文件中的错误信息

假设你有一个日志文件 `logfile.txt`，你希望找到所有包含 `error` 的行，并且忽略大小写，显示行号并提供上下文信息：

```bash
grep -inC 2 'error' logfile.txt
```

#### 2. 搜索特定文件类型

你可以通过 `grep` 在特定类型的文件中搜索。例如，要在一个目录及其子目录中的所有 `.py` 文件中搜索包含字符串 "reg_model.pt" 的文件：

```bash
grep -r --include="*.py" 'reg_model.pt' /path/to/directory
```

#### 3. 查找代码中的 `TODO` 注释

如果你想在项目中找到所有标记为 `TODO` 的注释：

```bash
grep -r --include="*.py" 'TODO' /home/user/projects
```

#### 4. 排除特定文件或目录

在递归搜索时，排除某些不相关的文件或目录可能会更有效率：

```bash
grep -r --exclude="*.log" 'failure' /var/logs
```

### 其他实用例子

#### 查找并高亮显示匹配项

你可以使用 `--color` 参数来高亮显示匹配到的内容：

```bash
grep --color 'pattern' filename.txt
```

#### 查找空行

查找文件中所有的空行（即没有任何字符的行）：

```bash
grep '^$' filename.txt
```

#### 查找不包含某个字符串的行

使用 `-v` 参数查找不包含特定字符串的行：

```bash
grep -v 'error' logfile.txt
```

### 总结

`grep` 是一个功能强大且灵活的工具，广泛应用于文本处理和日志分析。通过熟练掌握其各种选项和正则表达式，你可以更高效地处理日常任务。在工作中，`grep` 可以帮助你快速定位问题，提升工作效率。

无论你是新手还是经验丰富的开发者，`grep` 都是你工具箱中不可或缺的利器。通过不断实践和应用，你会发现 `grep` 的强大之处，并逐渐掌握它的高级用法。

【运维】深入了解 grep 命令，如何优雅地使用 grep 命令

### Linux 内核简介





Linux 内核是操作系统中最核心的部分，负责管理计算机的硬件资源，包括处理器、内存和外围设备。它为上层的应用程序提供了必要的系统服务，比如进程管理、文件系统控制和网络通信等。Linux 内核是一个开源项目，由 Linus Torvalds 在 1991 年首次发布，现在由全球的开发者共同开发和维护。

### 如何查看 Ubuntu 当前的内核版本

在 Ubuntu 系统中，查看当前正在使用的内核版本非常简单。你只需要打开终端（Terminal）并输入以下命令：

```bash
uname -r
```

这个命令会返回一个版本号，它表示了你的系统正在运行的内核版本。例如，输出 `5.4.0-42-generic` 表示你正在使用的是 5.4.0 版本的 Linux 内核。

### 如何更新 Linux 内核

更新 Ubuntu 的 Linux 内核可以通过几种方法实现，最常用的是使用系统自带的包管理工具。以下是通过命令行更新内核的步骤：

1. 首先，打开一个终端窗口。

2. 输入以下命令以更新你的包列表：

   ```bash
   sudo apt update
   ```

3. 接下来，可以安装推荐的内核更新：

   ```bash
   sudo apt full-upgrade
   ```

   或者，如果你知道特定的内核版本号，你可以直接安装：

   ```bash
   sudo apt install linux-image-你的内核版本-generic
   ```

### 更新内核的影响

更新 Linux 内核有其重要性，也带来一些影响，值得用户注意：

1. **性能提升**：新版本的内核通常包含了性能优化，能更有效地管理硬件资源，提升系统整体性能。

2. **安全性增强**：内核更新往往包括安全补丁，可以修复已知的安全漏洞，增强系统的安全性。

3. **支持更多硬件**：随着新硬件的发布，新版本的内核通常会加入对这些硬件的支持，如果你计划升级硬件，更新内核可能是必需的。

4. **可能的不兼容**：尽管不常见，新内核可能与某些旧的软件或驱动不兼容。因此，在更新内核之前，建议备份重要数据。

### 结语

理解 Linux 内核及其更新过程对于任何使用 Linux 系统的用户来说都是非常重要的。通过保持内核的更新，用户可以享受到更好的性能，更高的安全性以及更广泛的硬件支持。然而，也应注意更新可能带来的风险，合理安排内核的更新时间和测试，以确保系统的稳定运行。

【运维】什么是Linux 内核？如何更新内核版本？

cli：





[https://github.com/hiddify/hiddify-core/releases](https://github.com/hiddify/hiddify-core/releases)

web：

[https://github.com/hiddify/hiddify-next/releases](https://github.com/hiddify/hiddify-next/releases)

### 如何使用 HiddifyCli 或 Hiddify 命令行

此应用程序是为无桌面环境（如服务器）开发的，并支持所有处理器。

#### 下载

要下载此应用程序，请访问[此处](#)并下载与您的处理器相关的文件。

#### 在 HiddifyCli 中执行配置或订阅链接

要使用它，应使用以下命令：

```bash
HiddifyCli run -c <config file or sublink> -h <HiddifyApp config file or URL>
```

要连接到特定配置，只需按如下所示运行上述命令：

```bash
HiddifyCli run -c <config file>
```

在此，将您的配置文件替换为 `<config file>`。

您还可以在应用程序中运行订阅链接：

```bash
HiddifyCli run -c <sublink>
```

在此，将您的订阅链接替换为 `<sublink>`。

#### 使用 HiddifyApp 设置在 HiddifyCli 中运行配置或订阅链接

为此，您必须首先提取与 HiddifyApp 相关的设置。

##### 提取 HiddifyApp 设置

首先，从 HiddifyApp 中提取相关设置。

##### 使用从 HiddifyApp 提取的设置在 HiddifyCli 中运行配置或订阅链接

此外，如果您想使用您的 HiddifyApp 设置，应使用以下命令：

```bash
HiddifyCli run -c <config file or sublink> -h <HiddifyApp config file>
```

在此，将您的配置文件或订阅链接替换为 `<config file or sublink>`，并将从上一步骤中提取的 HiddifyApp 配置文件替换为 `<HiddifyApp config file>`。

您还可以使用 HiddifyApp 中的设置链接替代配置文件，链接放在 Github 上：

```bash
HiddifyCli run -c <config file or sublink> -h <HiddifyApp config URL>
```

在此，将您的配置文件或订阅链接替换为 `<config file or sublink>`，并将 HiddifyApp 中设置的链接替换为 `<HiddifyApp config URL>`。

联网工具hiddify

要在Linux中批量解压这些`.tar.gz`文件，你可以使用`tar`命令配合`find`或者`bash`的通配符功能。这里是一个简单的步骤来解压所有这些`.tar.gz`文件：





### 方法 1: 使用 `find` 命令

```sh
find . -type f -name "*.tar.gz" -exec tar -xzvf {} \;
```

这个命令的意思是从当前目录开始查找所有的`.tar.gz`文件，并且使用`-exec`选项来执行`tar`命令对每个找到的文件进行解压。

### 方法 2: 使用 `bash` 通配符

如果你在`bash` shell下，可以直接使用通配符：

```sh
for file in *.tar.gz; do tar -xzvf "$file"; done
```

这个命令会循环遍历当前目录下的所有`.tar.gz`文件并解压它们。

### 方法 3: 使用 `xargs`

另一种方法是使用`xargs`命令来处理`find`命令的结果：

```sh
find . -type f -name "*.tar.gz" | xargs -I{} tar -xzvf {}
```

### 注意事项:

1. **解压路径**: 如果你希望将文件解压到特定的目录，可以在`tar`命令中指定 `-C` 参数来设置目标目录。例如：`tar -C /path/to/extract -xzvf {}`。

2. **权限问题**: 如果遇到权限问题，你可能需要使用`sudo`或者以具有足够权限的用户身份运行这些命令。

3. **错误处理**: 如果某个文件出现问题，上述命令可能会停止执行。你可以加入错误处理逻辑来忽略有问题的文件，或者记录错误信息。

【运维】Linux如何批量解压文件夹下的很多个`.tar.gz`文件

邮箱2

github2

微信3