# 大夏龙雀科技4G Cat1 CT511-AT0 MQTT联网实战教程

本文将详细介绍如何搭建自己的MQTT Broker，并使用大夏龙雀科技4G Cat1 CT511-AT0模块进行MQTT联网实战。通过本教程，您将学会如何配置模块、连接MQTT服务器、订阅和发布消息等操作。



## 1. 搭建MQTT Broker

在开始之前，您需要搭建自己的MQTT Broker。匿名的Broker不需要用户名和密码即可使用。关于如何搭建MQTT Broker，可以参考以下链接：

[搭建MQTT Broker教程](https://www.dong-blog.fun/post/1959)

## 2. 获取大夏龙雀科技4G Cat1 CT511-AT0模块

大夏龙雀科技4G Cat1 CT511-AT0模块现以9.9元的价格提供样品。

### 资料下载

相关文档如下：

DX-CT511&CT511N_串口UART_应用指导.pdf

## 3. 硬件连接

按照以下步骤连接模块：

1. 将USB转串口模块的TX、RX、GND分别连接到DX-CT511/DX-CT511N模块的RX、TX、GND。
2. 插入SIM卡。
3. 连接4G天线，如果使用带N的模块，还需连接GPS天线。
4. 连接电源，确保模块正常供电。

![硬件连接示意图](/static/img/671afedee86bc9d1bb37820281984429.image.webp)

## 4. 模块串口配置

模块串口默认配置如下：

- 波特率：115200bps
- 数据位：8位
- 校验位：无
- 停止位：1位（115200/8/N/1）

## 5. 模块工作模式

模块支持三种工作模式：

1. **AT指令模式**（默认模式）
2. **数据传输模式**
3. **休眠模式**

说明：模块上电后默认进入AT指令模式。

## 6. 使用XCOM连接模块

打开电脑上的XCOM软件，并连接串口设备：

![XCOM连接示意图](/static/img/593738f3334b098e79c0e92bb49989a0.image.webp)

发送`AT`指令后，如果收到`OK`回复，说明模块工作正常：

![AT指令回复](/static/img/95a5bda10c240e72832ee59536066484.image.webp)

## 7. MQTT连接配置

接下来，参考以下图片进行MQTT连接配置：

![MQTT连接配置](/static/img/56f15f2a36617b2925e73a24085379c7.image.webp)

### 7.1 设置APN

当设备需要接入中国移动的NB-IoT网络时，需要通过以下指令设置APN。如果APN配置错误，设备将无法成功连接到网络。

```bash
AT+QICSGP=1,1,"cmnbiot","",""

OK
```

### 7.2 开启移动网络

```bash
AT+NETOPEN

OK

+NETOPEN: SUCCESS
```

### 7.3 设置客户端ID

设置客户端ID。指令 `AT+MCONFIG=<clientid>,[<username>,<password>][,<will_flag>,<will_qos>,<will_retain>,<will_topic>,<will_message>]` 用于配置MQTT连接的客户端ID（`<clientid>`）、用户名（`<username>`，最大长度256）、密码（`<password>`，最大长度256）以及遗嘱相关参数，包括遗嘱开关（`<will_flag>`，0表示禁用，1表示启用）、遗嘱QoS（`<will_qos>`，0-2分别表示最多一次、最少一次、只有一次）、遗嘱保留标志（`<will_retain>`，0表示服务器不存储，1表示存储）、遗嘱主题（`<will_topic>`，最大长度256）和遗嘱内容（`<will_message>`，最大长度1024），配置成功后返回 `OK`；通过 `AT+MCONFIG?` 可以查询当前配置，返回格式为 `<clientid>,[<username>],[<password>],[<will_flag>,<will_qos>,<will_retain>,<will_topic>,<will_message>]`，分别对应客户端ID、用户名、密码及遗嘱参数。


通过以下指令配置MQTT连接的客户端ID：

```bash
AT+MCONFIG="4G_TEST",,,1,2,1,"hello/topic","mcu is lost"

OK
```

![image.png](/static/img/c7d652e41d8d40b2f36e93245edcd2da.image.webp)

设备没心跳后，broker会发布遗嘱消息：


```
root@racknerd-b12da5f:~/mqtt5# mosquitto_sub -v -t 'hello/topic' -h localhost -p 9000
hello/topic mcu is lost
```



### 7.4 配置MQTT服务器信息

配置MQTT服务器信息：通过指令 `AT+MIPSTART=<ipaddress>,<port>[,<version>]` 可以配置MQTT服务器的IP地址（最大长度256字符）、端口号（范围0-65535，默认值为0）以及协议版本（3表示3.1版本，4表示3.1.1版本，可选），配置成功后返回 `OK`，并通过 `+MIPSTART: <result>` 反馈配置结果（`SUCCESS` 表示成功，`FAILURE` 表示失败）；使用 `AT+MIPSTART?` 可以查询当前配置，返回格式为 `<port>,<version>`，分别表示当前端口号和协议版本。

通过以下指令配置MQTT服务器的IP地址、端口号和协议版本：

```bash
AT+MIPSTART=198.12.95.182,9000,4

OK

+MIPSTART: SUCCESS
```

### 7.5 连接MQTT服务器

连接MQTT服务器。指令 `AT+MCONNECT=<clean_session>,<keepalive>` 用于连接MQTT服务器，其中 `<clean_session>` 指定会话模式（0表示持久会话模式，1表示临时会话模式），`<keepalive>` 设置心跳间隔时间（范围30-1800秒），连接成功后返回 `OK`，并通过 `+MCONNECT: <result>` 反馈连接结果（`SUCCESS` 表示成功，`FAILURE` 表示失败）；使用 `AT+MCONNECT?` 可以查询当前连接配置，返回格式为 `<clean_session>,<keepalive>`，分别表示会话模式和心跳间隔。

通过以下指令连接MQTT服务器：

```bash
AT+MCONNECT=1,60

OK

+MCONNECT: SUCCESS
```

### 7.6 订阅主题

订阅主题。指令 `AT+MSUB=<topic>,<qos>` 用于订阅MQTT主题，其中 `<topic>` 为主题名称（最大长度256，最多可订阅50个主题），`<qos>` 为服务质量等级（0表示最多一次，1表示最少一次，2表示只有一次），订阅成功后返回 `OK`，并根据 `AT+MQTTMIX` 的设置反馈结果：当 `AT+MQTTMIX=0` 时，通过 `+MSUB:<result>` 返回订阅结果（`SUCCESS` 表示成功，`FAILURE` 表示失败）；当 `AT+MQTTMIX=1` 时，通过 `+MSUBID: <packetid>` 返回数据包标识符（范围1-65535），并在订阅确认后通过 `+MSUBACK: <packetid>` 返回确认信息；使用 `AT+MSUB?` 可以查询当前订阅配置，返回格式为 `<topic>,<qos>`，分别表示主题和服务质量等级。

`<qos>` 是MQTT协议中 **服务质量等级（Quality of Service, QoS）** 的参数，用于定义消息传递的可靠性和保证机制。它有三个等级，分别如下：

1. **QoS 0：最多一次（At most once）**  
   - 消息发送后不保证接收方是否收到，也不进行确认和重传。  
   - 适用于对可靠性要求不高的场景，例如传感器数据丢失对系统影响较小的情况。  
 
 就像你随便把信扔进邮筒，邮局会尽力送，但不会告诉你信有没有送到。如果信丢了，你也不知道。

2. **QoS 1：最少一次（At least once）**  
   - 消息发送后，接收方会确认收到消息。如果发送方未收到确认，会重发消息。  
   - 确保消息至少被接收一次，但可能导致重复接收。  
   - 适用于需要保证消息到达但对重复数据不敏感的场景。  
   
  这次邮局会确认信送到了。如果没收到确认，邮局会再送一次。但可能会发生“信送到了，但邮局以为没送到，又送了一次”的情况，导致你的朋友收到两封信。

3. **QoS 2：只有一次（Exactly once）**  
   - 通过复杂的确认机制，确保消息只被接收一次，避免重复或丢失。  
   - 适用于对数据完整性和准确性要求极高的场景，例如金融交易或关键控制指令。  

  这次邮局会确保信只送一次，既不会丢，也不会重复。它会用一套复杂的流程来保证这一点。
  
`<qos>` 等级越高，消息传递的可靠性越强，但网络开销和延迟也会增加。选择适当的 QoS 等级需要根据具体应用场景的需求权衡。

通过以下指令订阅MQTT主题：

```bash
AT+MSUB="hello/topic_mcu_rev",0

OK

+MSUB: SUCCESS
```

比如我在linux客户端往这个主题发消息:

```
mosquitto_pub -t 'hello/topic_mcu_rev' -m 'hello MCU' -h localhost -p 9000
```

可以看到收到了消息：

![image.png](/static/img/6c09bac4ea2291a4d898c3862a9700d5.image.webp)


### 7.7 发布消息

发布消息。指令 `AT+MPUB=<topic>,<qos>,<retain>,<message>` 用于发布MQTT消息，其中 `<topic>` 为主题名称（最大长度256），`<qos>` 为服务质量等级（0表示最多一次，1表示最少一次，2表示只有一次），`<retain>` 为保留标志（0表示服务器不存储消息，1表示存储消息和QoS），`<message>` 为消息内容（最大长度512），发布成功后返回 `OK`，并根据 `AT+MQTTMIX` 的设置和 QoS 等级反馈结果：当 `AT+MQTTMIX=0` 时，通过 `+MPUB:<result>` 返回发布结果（`SUCCESS` 表示成功，`FAILURE` 表示失败）；当 `AT+MQTTMIX=1` 且 `QoS=1` 时，通过 `+MPUBACK: <packetid>` 返回数据包标识符（范围1-65535）；当 `AT+MQTTMIX=1` 且 `QoS=2` 时，通过 `+MPUBREC: <packetid>` 和 `+MPUBCOMP: <packetid>` 分别返回消息接收和完成确认；使用 `AT+MPUB?` 可以查询当前发布配置，返回格式为 `<topic>,<qos>,<retain>,<message>`，分别表示主题、服务质量等级、保留标志和消息内容。

通过以下指令发布MQTT消息：

```bash
AT+MPUB="hello/topic",0,0,"hello world"

OK
```

在别的客户端订阅了这个主题的会收到消息：

```
root@racknerd-b12da5f:~/mqtt5# mosquitto_sub -v -t 'hello/topic' -h localhost -p 9000
hello/topic hello world # 这是收到的消息
```



### 7.8 取消订阅

取消订阅:AT+MUNSUB="hello/topic". 可以订阅多个主题，所以不需要的主题也可以取消。

```bash
AT+MUNSUB="hello/topic"

OK

+MUNSUB: SUCCESS
```

### 7.9 断开MQTT连接

通过以下指令断开MQTT连接：

```bash
AT+MDISCONNECT
```

### 7.10 释放MQTT资源

通过以下指令释放MQTT资源：

```bash
AT+MIPCLOSE
```

## 8. 其他操作

### 8.1 查询SIM信号质量

通过以下指令查询SIM信号质量：

```bash
AT+CSQ

+CSQ: 21,99

OK
```

### 8.2 Ping服务器

通过以下指令Ping服务器，测试网络连通性：

```bash
AT+MPING=test.ranye-iot.net,1

OK

+MPING:3,0,0,0,0,0,0
```

## 结语

通过本教程，您已经成功配置并连接了大夏龙雀科技4G Cat1 CT511-AT0模块到MQTT服务器，并进行了消息的订阅和发布。希望本教程对您的开发工作有所帮助。

大夏龙雀科技4G Cat1 CT511-AT0 MQTT联网实战教程

# 使用Docker快速搭建Mosquitto MQTT代理服务器（支持SSL加密）

![MQTT协议示意图](https://via.placeholder.com/800x200.png?text=MQTT+Docker+部署教程)

本教程将指导您通过Docker容器快速部署支持WebSocket和SSL加密的Mosquitto MQTT代理服务器，适用于物联网项目、智能家居等场景。



---

## 一、环境准备
### 适用系统
- Ubuntu/Debian
- Raspberry Pi OS
- WSL2（Windows子系统）
- 其他基于Debian的Linux发行版

> 💡 非Debian系系统需调整安装命令

---

## 二、安装Docker引擎
```bash
# 使用官方脚本安装
curl -fsSL https://get.docker.com | sh

# 验证安装
sudo docker run hello-world
```
[最新安装指南](https://docs.docker.com/engine/install/ubuntu/)

---

## 三、项目目录结构
```bash
mkdir -p mqtt5/{config,data,log} && cd mqtt5
```
```
mqtt5/
├── config/     # 配置文件
├── data/       # 持久化数据
└── log/        # 运行日志
```

---

## 四、Mosquitto配置
### 1. 创建配置文件 `config/mosquitto.conf`
```ini
allow_anonymous true
listener 1883
listener 9001
protocol websockets
persistence true
password_file /mosquitto/config/pwfile
persistence_file mosquitto.db
persistence_location /mosquitto/data/
```

​1883 端口：适用于传统的 MQTT 客户端，使用标准的 MQTT 协议。

​9001 端口：适用于 WebSocket 客户端，使用 MQTT over WebSocket 协议。


### 2. 创建密码文件
```bash
touch config/pwfile
```

---

## 五、Docker部署
### 基础版docker-compose.yml
```yaml
version: "3.7"
services:
  # mqtt5 eclipse-mosquitto
  mqtt5:
    image: eclipse-mosquitto
    container_name: mqtt5
    ports:
      - "9000:1883" #default mqtt port
      - "9001:9001" #default mqtt port for websockets
    volumes:
      - ./config:/mosquitto/config:rw
      - ./data:/mosquitto/data:rw
      - ./log:/mosquitto/log:rw
    restart: unless-stopped

# volumes for mapping data,config and log
volumes:
  config:
  data:
  log:

networks:
  default:
    name: mqtt5-network
```

### 启动服务
```bash
sudo docker-compose -p mqtt5 up -d
```

---

## 六、用户管理
```bash
# 进入容器
sudo docker exec -it mqtt5 sh

# 创建用户（首次添加使用-c参数）
mosquitto_passwd -c /mosquitto/config/pwfile user1

# 添加更多用户
mosquitto_passwd /mosquitto/config/pwfile user2

# 删除用户
mosquitto_passwd -D /mosquitto/config/pwfile user2
```
下面是指令含义：

```
mosquitto_passwd is a tool for managing password files for mosquitto.

Usage: mosquitto_passwd [-H sha512 | -H sha512-pbkdf2] [-c | -D] passwordfile username
       mosquitto_passwd [-H sha512 | -H sha512-pbkdf2] [-c] -b passwordfile username password
       mosquitto_passwd -U passwordfile
 -b : run in batch mode to allow passing passwords on the command line.
 -c : create a new password file. This will overwrite existing files.
 -D : delete the username rather than adding/updating its password.
 -H : specify the hashing algorithm. Defaults to sha512-pbkdf2, which is recommended.
      Mosquitto 1.6 and earlier defaulted to sha512.
 -U : update a plain text password file to use hashed passwords
```

重启docker容器让设置的用户生效：

```
sudo docker restart mqtt5
```
---

## 七、进阶配置：SSL加密（Caddy Server）
### 1. 准备目录
```bash
mkdir {caddy_data,caddy_config}
```

### 2. DNS配置
```bash
# 创建A记录指向服务器IP
mqtt.yourdomain.com A 123.45.67.89
```
在cf上这样：

![image.png](/static/img/740c237c866b286bd73c1bdcefb8420f.image.webp)

### 3. Caddyfile配置

vim Caddyfile
```
mqtt.dong-play.fun {
    reverse_proxy /ws/* http://mqtt5:9001 {
        # 确保 WebSocket 连接被正确处理
        header_up X-Forwarded-Proto "https"
        header_up Host {host}
        header_up X-Real-IP {remote}
        header_up X-Forwarded-For {remote}
    }
}
```

Caddy 被用作 Mosquitto Websocket 的反向代理，并自动为 mqtt.dong-play.fun 生成 SSL/TLS 证书。

### 增强版docker-compose.yml

```yaml
version: "3.7"
services:
  # mqtt5 eclipse-mosquitto
  mqtt5:
    image: eclipse-mosquitto
    container_name: mqtt5
    ports:
      - "9000:1883" # default mqtt port
      - "9001:9001" # default mqtt port for websockets
    volumes:
      - ./config:/mosquitto/config:rw
      - ./data:/mosquitto/data:rw
      - ./log:/mosquitto/log:rw
    networks:
      - caddy-mqtt
    restart: unless-stopped

  # caddy for HTTPS and reverse-proxy
  caddy:
    image: caddy:latest
    container_name: caddy
    restart: unless-stopped
    ports:
      - "80:80"
      - "443:443"
      - "443:443/udp"
    volumes:
      - ./Caddyfile:/etc/caddy/Caddyfile
      - ./caddy_data:/data
      - ./caddy_config:/config
    networks:
      - caddy-mqtt

# volumes for mapping data,config and log
volumes:
  config:
  data:
  log:
  caddy_data:
  caddy_config:

networks:
  caddy-mqtt:
    name: caddy-mqtt
```


```
# MQTT Connection URL would be 
# WSS => Websocket Secure with SSL
wss://mqtt.dong-play.fun:443
```

---

## 八、测试验证

安装客户端：

```
sudo apt install mosquitto-clients -y
```
### 订阅消息

```bash
# Without authentication 匿名访问，执行下面这句后会一直等待消息
mosquitto_sub -v -t 'hello/topic' -h localhost -p 9000

# With authentication
mosquitto_sub -v -t 'hello/topic' -u user1 -P <password>  -h localhost -p 9000

# Alternate way in url format
# Format => mqtt(s)://[username[:password]@]host[:port]/topic
mosquitto_sub -v -L mqtt://user1:abc123@localhost/test/topic
```

### 发布消息
```bash
# Without authentication匿名访问，执行下面这句后就是发布了消息，在订阅哪里会收到消息
mosquitto_pub -t 'hello/topic' -m 'hello MQTT' -h localhost -p 9000

# 用IP访问，在主题上发布消息
mosquitto_pub -t 'hello/topic' -m 'hello MQTT' -h 198.12.95.182 -p 9000

# 用域名访问，在主题上发布消息

# With authentication
mosquitto_pub -t 'hello/topic' -m 'hello MQTT' -u user1 -P <password>

# Alternate way in url format 
# Format => mqtt(s)://[username[:password]@]host[:port]/topic
mosquitto_pub -L mqtt://user1:abc123@localhost/test/topic -m 'hello MQTT'

```

### URL格式测试
```bash
mosquitto_sub -L mqtts://user1:password@mqtt.yourdomain.com/test/topic
```

---

## 九、可视化客户端推荐

### 1. MQTTX桌面客户端
[官网下载](https://mqttx.app/)

### 2. Web客户端部署
```bash
sudo docker run -d --name mqttx-web -p 8080:80 emqx/mqttx-web
```
访问 `http://localhost:8080`

### 3. Python

```
pip install paho-mqtt
```
ws服务：

```

import time
import paho.mqtt.client as mqtt

# 定义回调函数，当连接成功时调用
def on_connect(client, userdata, flags, rc):
    if rc == 0:
        print("连接成功！")
        # 订阅主题
        client.subscribe("test/topic")
    else:
        print(f"连接失败，错误码：{rc}")

# 定义回调函数，当收到消息时调用
def on_message(client, userdata, msg):
    print(f"收到消息: {msg.payload.decode()} 来自主题: {msg.topic}")

# 创建 MQTT 客户端实例
client = mqtt.Client(transport="websockets")  # 使用 WebSocket 传输

# 设置回调函数
client.on_connect = on_connect
client.on_message = on_message

# 连接到 Mosquitto 服务器
client.connect("198.12.95.182", 9001, 60)  # 9001 是 WebSocket 端口

# 启动循环以保持连接
client.loop_start()

# 发布消息
try:
    while True:
        client.publish("hello/topic", "Hello from Python over WebSocket!")
        print("消息已发布")
        time.sleep(2)  # 每 2 秒发布一次消息
except KeyboardInterrupt:
    print("程序已停止")

# 停止循环并断开连接
client.loop_stop()
client.disconnect()
```

---

## 常见问题解答

**Q：为什么需要设置allow_anonymous为false？**  
A：出于安全考虑禁用匿名访问，必须通过用户名/密码认证

**Q：如何查看容器日志？**  
```bash
sudo docker logs mqtt5 --tail 100
```

**Q：SSL证书自动续期如何实现？**  
Caddy Server会自动处理Let's Encrypt证书的获取和续期

---

使用Docker设置 Mosquitto MQTT Broker

最近 VanBlog 后台缓慢进不去，我都差点转别的博客框架了，没想到万能群友有方案，真是万分感谢！




记录一下如何解决，我是docker compose启动的，docker ps看正在运行的容器：


![image.png](/static/img/84e46e6f9c7ea031e5e3f29937ff8937.image.webp)

进入van-blog容器：

```bash
docker exec -it 20eb3980e8cb sh
```

在容器里安装一些必要软件：

```bash
apk add cat
apk add busybox
```
修改这个js文件：

```bash
cd /app/server/utils

vim getVersion.js
```
写为这样：

```js
"use strict";
Object.defineProperty(exports, "__esModule", { value: true });
exports.getVersionFromServer = void 0;

const getVersionFromServer = async () => {
    // 直接返回固定版本信息
    return {
        version: '1.2.1', // 这里填写你想要的版本号
        updatedAt: '2024-02-18T00:00:00.000Z' // 这里填写更新时间
    };
};

exports.getVersionFromServer = getVersionFromServer;
```

退出容器，commit容器为新镜像：

```bash
docker commit 20eb3980e8cb mereith/van-blog:modify1.0
```

关闭当前的docker-compose：

```bash
docker-compose down
```
修改docker-compose.yaml为这样：


![image.png](/static/img/a342af3e14f5d2450ccd2631345a46a8.image.webp)

重启docker-compose：

```bash
docker-compose up -d
```
就可以了。

 VanBlog 后台缓慢进不去的解决办法

部分云服务提供商的 MQTT Broker 提供免费额度或免费试用，适合小型项目或个人开发者使用。以下是几个提供免费 MQTT Broker 的云服务：



---

### **1. EMQX Cloud (Serverless)**
- **简介**：EMQX 提供全托管的 MQTT Broker 服务，Serverless 版本提供免费额度。
- **免费额度**：
  - 每月 1000 分钟连接时间。
  - 每月 1000 条消息。
- **官网**：https://www.emqx.io/cloud
- **适用场景**：小型项目、个人开发者、测试环境。

---

### **2. HiveMQ Cloud (Free Tier)**
- **简介**：HiveMQ 提供全托管的 MQTT Broker 服务，免费版适合小规模使用。
- **免费额度**：
  - 最多 100 个并发连接。
  - 每月 100 MB 消息流量。
- **官网**：https://www.hivemq.com/cloud/
- **适用场景**：小型项目、测试环境。

---

### **3. AWS IoT Core (Free Tier)**
- **简介**：AWS IoT Core 提供 MQTT Broker 服务，免费版适合小规模使用。
- **免费额度**：
  - 每月 250,000 条消息。
  - 每月 500 MB 数据传输。
- **官网**：https://aws.amazon.com/iot-core/
- **适用场景**：小型项目、测试环境。

---

### **4. Alibaba Cloud IoT Platform (Free Trial)**
- **简介**：阿里云 IoT 平台提供 MQTT Broker 服务，新用户可享受免费试用。
- **免费额度**：
  - 新用户免费试用 1 个月。
  - 每月 1000 条消息。
- **官网**：https://www.aliyun.com/product/iot
- **适用场景**：小型项目、测试环境。

---

### **5. Tencent Cloud IoT Hub (Free Tier)**
- **简介**：腾讯云 IoT Hub 提供 MQTT Broker 服务，新用户可享受免费额度。
- **免费额度**：
  - 每月 1000 条消息。
  - 每月 100 MB 数据传输。
- **官网**：https://cloud.tencent.com/product/iothub
- **适用场景**：小型项目、测试环境。

---

### **6. Google Cloud IoT Core (Free Tier)**
- **简介**：Google Cloud IoT Core 提供 MQTT Broker 服务，免费版适合小规模使用。
- **免费额度**：
  - 每月 250 MB 数据传输。
  - 每月 250,000 条消息。
- **官网**：https://cloud.google.com/iot-core
- **适用场景**：小型项目、测试环境。

---

### **7. Microsoft Azure IoT Hub (Free Tier)**
- **简介**：Azure IoT Hub 提供 MQTT Broker 服务，免费版适合小规模使用。
- **免费额度**：
  - 每月 8,000 条消息。
  - 每月 0.5 GB 数据传输。
- **官网**：https://azure.microsoft.com/en-us/services/iot-hub/
- **适用场景**：小型项目、测试环境。

---

### **免费云服务 Broker 的对比**

| **服务**              | **免费额度**                          | **适用场景**              |
|-----------------------|--------------------------------------|--------------------------|
| **EMQX Cloud**        | 1000 分钟连接时间，1000 条消息        | 小型项目、个人开发者      |
| **HiveMQ Cloud**      | 100 并发连接，100 MB 消息流量         | 小型项目、测试环境        |
| **AWS IoT Core**      | 250,000 条消息，500 MB 数据传输       | 小型项目、测试环境        |
| **阿里云 IoT 平台**   | 1 个月免费试用，1000 条消息           | 小型项目、测试环境        |
| **腾讯云 IoT Hub**    | 1000 条消息，100 MB 数据传输          | 小型项目、测试环境        |
| **Google IoT Core**   | 250 MB 数据传输，250,000 条消息       | 小型项目、测试环境        |
| **Azure IoT Hub**     | 8,000 条消息，0.5 GB 数据传输         | 小型项目、测试环境        |

---

### **如何选择免费云服务 Broker？**
1. **项目规模**：
   - 如果项目规模较小（如设备数量 < 100，消息量 < 1000 条/月），可以选择免费额度较大的服务（如 AWS IoT Core 或 Google IoT Core）。
   
2. **功能需求**：
   - 如果需要高级功能（如设备管理、规则引擎），可以选择支持这些功能的云服务（如阿里云 IoT 平台或腾讯云 IoT Hub）。

3. **试用期限**：
   - 如果需要长期免费使用，可以选择提供永久免费额度的服务（如 EMQX Cloud 或 HiveMQ Cloud）。

4. **技术支持**：
   - 如果需要技术支持，可以选择提供社区或文档支持的服务（如 AWS IoT Core 或 Azure IoT Hub）。

---

### **示例：使用 EMQX Cloud 的免费 MQTT Broker**
1. **注册 EMQX Cloud 账号**：
   - 访问 https://www.emqx.io/cloud 并注册账号。
2. **创建 Serverless 实例**：
   - 在控制台中创建 Serverless 实例，获取连接地址和端口。
3. **使用 `paho-mqtt` 连接**：
   ```python
   import paho.mqtt.client as mqtt

   broker = "your-instance.emqx.cloud"
   port = 1883
   client_id = "your-client-id"
   username = "your-username"
   password = "your-password"

   client = mqtt.Client(mqtt.CallbackAPIVersion.VERSION2, client_id)
   client.username_pw_set(username, password)
   client.connect(broker, port)
   client.loop_start()

   client.publish("your/topic", "Hello from paho-mqtt")
   client.loop_stop()
   ```

---

通过以上免费云服务 Broker，你可以快速开始 MQTT 实验或小型项目。

MQTT Broker  免费额度或免费试用

参考：
- github仓库：https://github.com/stepfun-ai/Step-Video-T2V
- Step-Vedio-T2V模型下载：https://huggingface.co/stepfun-ai/stepvideo-t2v
- Step-Vedio-T2V-Turbo模型：https://huggingface.co/stepfun-ai/stepvideo-t2v-turbo




Step-Video-T2V是一款由StepFun团队发布的最先进（SoTA）的文本生成视频预训练模型。该模型拥有300（即30B）亿参数，并能生成长达204帧的视频。其核心技术包括深度压缩的视频变分自编码器（Video-VAE）、3D完全注意力机制的DiT架构、中英双语预训练的文本编码器、人类偏好优化（DPO）技术。
该模型在专门设计的视频生成基准测试Step-Video-T2V-Eval上表现卓越，全面超越其他开源和商业引擎。
Step-Video-T2V-Turbo是Step-Video-T2V模型的高效推理版本，通过蒸馏技术进行优化。两个模型在推理时候的配置参数建议为下表。


| 模型                                  | 推理步数  | 配置比例 | 时间偏移 | 帧数     |
|---------------------------------------|-----------|----------|----------|----------|
| Step-Video-T2V                        | 30-50     | 9.0      | 13.0     | 204      |
| Step-Video-T2V-Turbo（推理步数蒸馏）   | 10-15     | 5.0      | 17.0     | 204      |

## 1. 核心技术

下图是Step-Video-T2V 的整体模型架构。
- 设计高压缩率视频变分自编码器 (Video-VAE)，实现了 16x16 空间和 8x 时间压缩，显著降低了大规模视频生成训练的计算复杂度。Video-VAE采用新颖的双路径架构，通过 3D 卷积和优化像素解混洗操作实现统一的空间时间压缩。
- 使用 Hunyuan-CLIP 和 Step-LLM 两个双语文本编码器处理用户文本提示，支持中英双语输入。
- 使用 Flow Matching 训练了具有 3D 全注意力的 DiT，用于将输入噪声去噪成潜在帧，文本嵌入和时间步作为调节因素。比空间时间注意力机制更高效，且在生成具有平滑且一致运动的视频方面表现更优。
- 为了进一步增强生成视频的视觉质量，应用了一种基于视频的 DPO 方法，有效减少了伪影，确保视频输出更流畅、更加真实。


![image.png](/static/img/c2fc347220df7083d6daf75f2dcd189f.image.webp)

下图是带 3D 全注意力机制的 DiT模型架构。
Step-Video-T2V 建立在 DiT 架构之上，该架构有 48 层，每层包含 48 个注意力头，每个注意力头的尺寸设置为 128。利用 AdaLN-Single 来纳入时间步条件，同时引入自注意力机制中的 QK-Norm 来确保训练稳定性。此外，还采用了 3D RoPE，在处理不同视频长度和分辨率的序列时发挥着关键作用。


![image.png](/static/img/0dbd615f0267f2248b5e90a23566fd09.image.webp)

StepFun团队开发了一套精细的训练系统，要点有：
- Step Emulator (SEMU) - 训练框架优化: SEMU 是一个高度准确且高效的模拟器，用于估计训练过程中的资源消耗和端到端性能。
- 分布式训练 - 并行策略: Step-Video-T2V 采用 8-way 张量并行 (TP) 策略，结合序列并行 (SP) 和 Zero1 技术，以实现较高的模型浮点运算利用率 (MFU)。为了降低 TP 的开销，开发了 StepCCL 集合通信库，实现数据传输和 GEMM 计算的并行执行。对于数据并行 (DP) 过程，采用参数和梯度传递的混合重叠策略，提高训练效率。
- 定制计算和通信模块: 在 VAE 部分，采用通道后格式和多 GPU 并行，加速卷积操作并支持长视频和高分辨率视频。在 DiT 部分，使用定制的 RoPE-3D 内核和时步调制优化，提高效率和内存利用率。
- DP 负载平衡: 针对 DP 训练中不同分辨率视频和图像导致的负载不均衡问题，提出混合粒度负载平衡策略。
- StepRPC - 高性能通信框架: StepRPC 利用分布式命名管道作为核心编程抽象，实现服务器之间的无缝通信。它支持 Tensor-Native Communication over RDMA 和 TCP，直接传输张量内存中的数据，提高通信效率。
- StepTelemetry - 训练框架可观测性: StepTelemetry 是一个训练框架的可观测性套件，用于收集、后处理和分析训练相关的数据。它采用基于 CUDA 事件的异步数据收集管道，降低开销。
- StepMind - 分布式训练平台: StepMind 是一个为大规模机器学习工作负载设计的分布式训练平台。它实现了高可用性和高效的 GPU 利用率，通过精细粒度监控和故障检测，确保训练任务的稳定运行。


Step-Vedio-T2V的预训练数据: 包含 20 亿视频-文本对和 38 亿图像-文本对的大规模数据集。通过视频分割、视频质量评估、视频运动评估、视频字幕生成、视频概念平衡和视频-文本对齐等多阶段处理，确保数据高质量和多样性。
- 视频分割: 使用 PySceneDetect 和 FFmpeg 将视频拆分为单镜头片段，删除不稳定帧。
- 视频质量评估: 评估标签包括美学、NSFW、水印、字幕、饱和度、模糊和黑边检测。
- 视频运动评估: 计算光流平均幅度，引入运动平均值、最大和最小运动幅度标签。
- 视频字幕生成: 生成简短标题、密集字幕和原始标题，以提升生成模型的表现。
- 视频概念平衡: 使用 VideoCLIP 模型和 K-means 聚类解决类别不平衡。
- 视频-文本对齐: 计算 CLIP 分数评估视频与文本的对齐程度。


## 2. 竞品比较
与开源模型HunyuanVideo对比
Step-Video-T2V-Eval 是 Step-Video-T2V 论文提出的一个新型基准数据集，旨在评估文本到视频生成模型的性能。它包含了来自真实用户的 128 个中文提示，涵盖了 11 个不同的类别，包括：体育、 美食、 风景、 动物、 节日、 混合概念、 超现实、 人物、 3D 动画、 电影制作、 风格。
下表展示了Step-Video-T2V模型与开源模型HunyuanVideo的综合表现对比。每个单元格代表两个模型在特定指标上的得分。评价维度包括遵循指令、运动流畅度、物理合理性和美学吸引力。表格中以绿色标记的部分表示Step-Video-T2V模型在该指标上优于HunyuanVideo模型的得分。


![image.png](/static/img/9684a0f1074c2577e78c474c64f2e5ae.image.webp)

与Runway Gen-3 Alpha模型对比

![image.png](/static/img/e3bdaf04e1a26466adbdcce69a656ec5.image.webp)

在Movie Gen Video Bench上对比
下表中，将Step-Video-T2V与Movie Gen Video和HunyuanVideo进行了比较。与Movie Gen Video相比，Step-Video-T2V表现相当，但由于其预训练的视频数量只有27.3M，不到Movie Gen Video的三分之一，基础训练仍显不足。此外，Movie Gen Video生成的720P视频质量比Step-Video-T2V的540P更高。对比结果显示Step-Video-T2V在多个分类上的表现与其它两者互有胜负，其中在总评、人体和物理学等类别上分别有485-315-489和615-313-361的表现。


![image.png](/static/img/1581296fdab5c29e956aa03b85f26ae8.image.webp)

## 3. Docker

单卡体验

魔搭社区开源项目 DiffSynth-Studio（https://github.com/modelscope/DiffSynth-Studio）对 Step-Video-T2V 模型进行了显存管理优化，使其能够在单张 80G 显存的 A100 显卡上进行推理。


以下是一些有用的指令，可以用于安装和运行 `DiffSynth-Studio` 项目：

1. docker run：
    ```bash
    docker run -it --gpus '"device=7"' --net host -v /data/xiedong:/data/xiedong/ pytorch/pytorch:2.5.0-cuda12.4-cudnn9-devel bash
    ```

2. 更新并安装必要的包：
    ```bash
    apt update && apt install vim git -y
    ```

3. 克隆 `DiffSynth-Studio` 仓库：
    ```bash
    git clone https://github.com/modelscope/DiffSynth-Studio.git
    cd DiffSynth-Studio
    ```

4. 安装Python包：
    ```bash
    pip install -e .
    ```

5. 编辑示例代码（可选，使用vim编辑器）：
    ```bash
    vim examples/stepvideo/stepvideo_text_to_video.py
    ```

6. 运行示例代码：
    ```bash
    python examples/stepvideo/stepvideo_text_to_video.py
    ```

7. 如果遇到库文件依赖问题，可以安装必要的库：
    ```bash
    apt-get install libgl1-mesa-glx -y
    apt-get install -y libglib2.0-0 libsm6 libxrender1 libxext6 -y
    ```

通过以上指令，可以帮助你安装和运行 `DiffSynth-Studio` 项目的主要步骤。

运行 Step-Video-T2V 模型：

```bash
python examples/stepvideo/stepvideo_text_to_video.py
```

提示词和帧数等参数可以在样例代码 `stepvideo_text_to_video.py` 中进行修改。

运行这个：


```python
# Run!
video = pipe(
    prompt="一名宇航员在月球上发现一块石碑，上面印有“stepfun”字样，闪闪发光。超高清、HDR 视频、环境光、杜比全景声、画面稳定、流畅动作、逼真的细节、专业级构图、超现实主义、自然、生动、超细节、清晰。",
    negative_prompt="画面暗、低分辨率、不良手、文本、缺少手指、多余的手指、裁剪、低质量、颗粒状、签名、水印、用户名、模糊。",
    num_inference_steps=30, cfg_scale=9, num_frames=51, seed=1
)
save_video(
    video, "video.mp4", fps=25, quality=5,
    ffmpeg_params=["-vf", "atadenoise=0a=0.1:0b=0.1:1a=0.1:1b=0.1"]
)
```

单卡显存占用：

![image.png](/static/img/3a625e3bb1d349522b988feeedf19934.image.webp)


也可以使用我打包好的镜像：

```bash
docker pull kevinchina/deeplearning:2.5.0-cuda12.4-cudnn9-devel-DiffSynth
```

## 4. 打包好的镜像

```bash
docker run -it --gpus '"device=7"' --net host -v /data/xiedong:/data/xiedong/ kevinchina/deeplearning:2.5.0-cuda12.4-cudnn9-devel-DiffSynth bash

pip install cpm_kernels

cd /workspace/DiffSynth-Studio

vim examples/stepvideo/stepvideo_text_to_video.py

python examples/stepvideo/stepvideo_text_to_video.py
```

阶跃星辰 Step-Vedio-T2V Docker 推理

我是一个专注技术分享的博主,尤其爱搞深度学习和单片机电子。你现在看到的是我的个人博客网站。