一大堆文件，如何去重？





你可以选择Duplicate Cleaner Pro:
```
链接：https://pan.baidu.com/s/1Xsd7J95Sd7PqtSLS-KOIzA 
提取码：nhna 
正常安装后将crack里面复制粘贴到安装路径以替换原路径内容，懂的吧。
```

使用非常简单：

1 选择图片模式就能图片去重，选择一些规则即可：

![在这里插入图片描述](/static/img/images/05009.png)

2 选择路径：

![在这里插入图片描述](/static/img/images/05010.png)

3 开始扫描即可，下图是我扫描结束后：

![在这里插入图片描述](/static/img/images/05011.png)

【图片去重工具】【Duplicate Cleaner】Duplicate Cleaner Pro_5.0.13 下载链接 使用方法

（1）创建 repos.txt，里面写想删除的仓库（用户名/仓库名）：





![在这里插入图片描述](/static/img/images/05024.png)

（2）拿个有删除权限的token  [https://github.com/settings/tokens](https://github.com/settings/tokens)


（3）把下面代码里的token  换掉，然后执行这个python代码。
```python
from time import sleep
import requests
headers = {
    "Accept": "application/vnd.github.v3+json",
    "Authorization": "token xxxxxxxxxxxxxxxxxx", # 此处的XXX代表上面的token
    "X-OAuth-Scopes": "repo"
}
with open('./repos.txt', 'r', encoding='utf-8') as f:
    data = f.readlines()
url = "https://api.github.com/repos/{}/{}"
urls = []
for line in data:
    name, repo = line.strip().split("/")
    urls.append(url.format(name, repo))
for l in urls:
    requests.delete(url=l, headers=headers)
    sleep(2)
```

参考：

[https://juejin.cn/post/6844903763996573704](https://juejin.cn/post/6844903763996573704)

【批量删除仓库】GitHub 如何使用Python调用接口批量删除GitHub仓库

在这个开发即运维的时代，Nginx 属于必会技能。





# Nginx特点

（1）反向代理

（2）负载均衡

（3）动静分离

# 安装Nginx 

安装Nginx依赖包：

```bash
yum install -y gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel
```

Nginx下载地址：[https://nginx.org/](https://nginx.org/)

下载，解压，配置检查
```bash
wget https://nginx.org/download/nginx-1.20.1.tar.gz
tar -zxvf nginx-1.20.1.tar.gz
cd nginx-1.20.1
./configure
```

可以看到一些有用的信息：
```bash
Configuration summary
  + using system PCRE library
  + OpenSSL library is not used
  + using system zlib library
  nginx path prefix: "/usr/local/nginx"
  nginx binary file: "/usr/local/nginx/sbin/nginx"
  nginx modules path: "/usr/local/nginx/modules"
  nginx configuration prefix: "/usr/local/nginx/conf"
  nginx configuration file: "/usr/local/nginx/conf/nginx.conf"
  nginx pid file: "/usr/local/nginx/logs/nginx.pid"
  nginx error log file: "/usr/local/nginx/logs/error.log"
  nginx http access log file: "/usr/local/nginx/logs/access.log"
  nginx http client request body temporary files: "client_body_temp"
  nginx http proxy temporary files: "proxy_temp"
  nginx http fastcgi temporary files: "fastcgi_temp"
  nginx http uwsgi temporary files: "uwsgi_temp"
  nginx http scgi temporary files: "scgi_temp"
```

安装Nginx ：

```bash
make && make install 
```

# 启动Nginx 

```bash
cd /usr/local/nginx/sbin
./nginx
```

看看有没有启动成功：

可以看看进程：

```bash
ps -aux|grep nginx
```

![在这里插入图片描述](/static/img/images/00230.png)

或者可以直接访问80端口：

因为`cat /usr/local/nginx/conf/nginx.conf` 里面写了：

![在这里插入图片描述](/static/img/images/00231.png)

浏览器输入 IP:80

![在这里插入图片描述](/static/img/images/00232.png)

搞定CentOS防火墙：

查看防火墙状态

```bash
firewall-cmd --state
```

停止firewall

```bash
systemctl stop firewalld.service
```

禁止firewall开机启动

```bash
systemctl disable firewalld.service 
```

查看防火墙开放的端口号：

```bash
firewall-cmd --list-all
```

设置开放防火墙端口号：

```bash
firewall-cmd --add-service=http --permanent
firewall-cmd --add-port=80/tcp --permanent
```

重启防火墙：

```bash
firewall-cmd --reload
```

# 常用命令

需要进入到sbin目录中去执行这些命令，其实就是sbin里面有nginx入口。
```bash
cd /usr/local/nginx/sbin
```

基本参数：
```bash
(base) [root@localhost sbin]# ./nginx -h
nginx version: nginx/1.20.1
Usage: nginx [-?hvVtTq] [-s signal] [-p prefix]
             [-e filename] [-c filename] [-g directives]
Options:
  -?,-h         : this help
  -v            : show version and exit
  -V            : show version and configure options then exit
  -t            : test configuration and exit
  -T            : test configuration, dump it and exit
  -q            : suppress non-error messages during configuration testing
  -s signal     : send signal to a master process: stop, quit, reopen, reload
  -p prefix     : set prefix path (default: /usr/local/nginx/)
  -e filename   : set error log file (default: logs/error.log)
  -c filename   : set configuration file (default: conf/nginx.conf)
  -g directives : set global directives out of configuration file
```

基本命令：
```bash
./nginx -v # 查看版本号
./nginx -s stop # 停止nginx
./nginx -s reload # 重加载nginx，配置文件会重新加载生效
./nginx  # 直接启动nginx
```

# Nginx 配置文件内容

```bash
vim /usr/local/nginx/conf/nginx.conf
```

**全局块：**

![在这里插入图片描述](/static/img/images/00233.png)

**events块：**

![在这里插入图片描述](/static/img/images/00234.png)

**http块：**

其中又含有http全局块和http的server块。

![在这里插入图片描述](/static/img/images/00235.png)

# Nginx 配置反向代理-实例

```bash
docker run -d -p 8080:8080 tomcat 　# 在Linux中启动一个tomcat服务
vim /usr/local/nginx/conf/nginx.conf # 编辑配置文件
```

![在这里插入图片描述](/static/img/images/00236.png)

```bash
./nginx -s reload
```

这个时候再访问这台服务器的80端口的服务，会看到是tomcat的服务页面。


# Nginx 配置

参考：[https://www.runoob.com/w3cnote/nginx-setup-intro.html](https://www.runoob.com/w3cnote/nginx-setup-intro.html)

参考：[https://www.nginx.cn/doc/](https://www.nginx.cn/doc/)
```bash
########### 每个指令必须有分号结束。#################
#user administrator administrators;  #配置用户或者组，默认为nobody nobody。
#worker_processes 2;  #允许生成的进程数，默认为1
#pid /nginx/pid/nginx.pid;   #指定nginx进程运行文件存放地址
error_log log/error.log debug;  #制定日志路径，级别。这个设置可以放入全局块，http块，server块，级别以此为：debug|info|notice|warn|error|crit|alert|emerg
events {
    accept_mutex on;   #设置网路连接序列化，防止惊群现象发生，默认为on
    multi_accept on;  #设置一个进程是否同时接受多个网络连接，默认为off
    #use epoll;      #事件驱动模型，select|poll|kqueue|epoll|resig|/dev/poll|eventport
    worker_connections  1024;    #最大连接数，默认为512
}
http {
    include       mime.types;   #文件扩展名与文件类型映射表
    default_type  application/octet-stream; #默认文件类型，默认为text/plain
    #access_log off; #取消服务日志    
    log_format myFormat '$remote_addr–$remote_user [$time_local] $request $status $body_bytes_sent $http_referer $http_user_agent $http_x_forwarded_for'; #自定义格式
    access_log log/access.log myFormat;  #combined为日志格式的默认值
    sendfile on;   #允许sendfile方式传输文件，默认为off，可以在http块，server块，location块。
    sendfile_max_chunk 100k;  #每个进程每次调用传输数量不能大于设定的值，默认为0，即不设上限。
    keepalive_timeout 65;  #连接超时时间，默认为75s，可以在http，server，location块。
    upstream mysvr {   
      server 127.0.0.1:7878;
      server 192.168.10.121:3333 backup;  #热备
    }
    error_page 404 https://www.baidu.com; #错误页
    server {
        keepalive_requests 120; #单连接请求上限次数。
        listen       4545;   #监听端口
        server_name  127.0.0.1;   #监听地址       
        location  ~*^.+$ {       #请求的url过滤，正则匹配，~为区分大小写，~*为不区分大小写。
           #root path;  #根目录
           #index vv.txt;  #设置默认页
           proxy_pass  http://mysvr;  #请求转向mysvr 定义的服务器列表
           deny 127.0.0.1;  #拒绝的ip
           allow 172.18.5.54; #允许的ip           
        } 
    }
}
```


# Nginx配置高可用集群


# Nginx原理

Nginx CookBook 手册 高性能HTTP和反向代理服务器

这个插件很好用。





![在这里插入图片描述](/static/img/images/00244.png)


![在这里插入图片描述](/static/img/images/00245.png)

找个文件试试：[https://github.com/xingyizhou/UniDet/blob/master/projects/UniDet/unidet_docs/REPRODUCE.md](https://github.com/xingyizhou/UniDet/blob/master/projects/UniDet/unidet_docs/REPRODUCE.md)

Google driver 云盘下载断点续传

身在Docker容器里身不由己，wget能很好解决：





下载：
```powershell
wget https://repo.anaconda.com/miniconda/Miniconda3-py38_4.9.2-Linux-x86_64.sh
```

安装：

-b是静默安装，无需交互。
```powershell
sh Miniconda3-py38_4.9.2-Linux-x86_64.sh -b
```

所以记住这2个仓库：

[https://repo.anaconda.com/miniconda/](https://repo.anaconda.com/miniconda/)

[https://repo.anaconda.com/archive/](https://repo.anaconda.com/archive/)

Linux wget miniconda 快速安装miniconda环境

我是一个专注技术分享的博主,尤其爱搞深度学习和单片机电子。你现在看到的是我的个人博客网站。