部分云服务提供商的 MQTT Broker 提供免费额度或免费试用，适合小型项目或个人开发者使用。以下是几个提供免费 MQTT Broker 的云服务：



---

### **1. EMQX Cloud (Serverless)**
- **简介**：EMQX 提供全托管的 MQTT Broker 服务，Serverless 版本提供免费额度。
- **免费额度**：
  - 每月 1000 分钟连接时间。
  - 每月 1000 条消息。
- **官网**：https://www.emqx.io/cloud
- **适用场景**：小型项目、个人开发者、测试环境。

---

### **2. HiveMQ Cloud (Free Tier)**
- **简介**：HiveMQ 提供全托管的 MQTT Broker 服务，免费版适合小规模使用。
- **免费额度**：
  - 最多 100 个并发连接。
  - 每月 100 MB 消息流量。
- **官网**：https://www.hivemq.com/cloud/
- **适用场景**：小型项目、测试环境。

---

### **3. AWS IoT Core (Free Tier)**
- **简介**：AWS IoT Core 提供 MQTT Broker 服务，免费版适合小规模使用。
- **免费额度**：
  - 每月 250,000 条消息。
  - 每月 500 MB 数据传输。
- **官网**：https://aws.amazon.com/iot-core/
- **适用场景**：小型项目、测试环境。

---

### **4. Alibaba Cloud IoT Platform (Free Trial)**
- **简介**：阿里云 IoT 平台提供 MQTT Broker 服务，新用户可享受免费试用。
- **免费额度**：
  - 新用户免费试用 1 个月。
  - 每月 1000 条消息。
- **官网**：https://www.aliyun.com/product/iot
- **适用场景**：小型项目、测试环境。

---

### **5. Tencent Cloud IoT Hub (Free Tier)**
- **简介**：腾讯云 IoT Hub 提供 MQTT Broker 服务，新用户可享受免费额度。
- **免费额度**：
  - 每月 1000 条消息。
  - 每月 100 MB 数据传输。
- **官网**：https://cloud.tencent.com/product/iothub
- **适用场景**：小型项目、测试环境。

---

### **6. Google Cloud IoT Core (Free Tier)**
- **简介**：Google Cloud IoT Core 提供 MQTT Broker 服务，免费版适合小规模使用。
- **免费额度**：
  - 每月 250 MB 数据传输。
  - 每月 250,000 条消息。
- **官网**：https://cloud.google.com/iot-core
- **适用场景**：小型项目、测试环境。

---

### **7. Microsoft Azure IoT Hub (Free Tier)**
- **简介**：Azure IoT Hub 提供 MQTT Broker 服务，免费版适合小规模使用。
- **免费额度**：
  - 每月 8,000 条消息。
  - 每月 0.5 GB 数据传输。
- **官网**：https://azure.microsoft.com/en-us/services/iot-hub/
- **适用场景**：小型项目、测试环境。

---

### **免费云服务 Broker 的对比**

| **服务**              | **免费额度**                          | **适用场景**              |
|-----------------------|--------------------------------------|--------------------------|
| **EMQX Cloud**        | 1000 分钟连接时间，1000 条消息        | 小型项目、个人开发者      |
| **HiveMQ Cloud**      | 100 并发连接，100 MB 消息流量         | 小型项目、测试环境        |
| **AWS IoT Core**      | 250,000 条消息，500 MB 数据传输       | 小型项目、测试环境        |
| **阿里云 IoT 平台**   | 1 个月免费试用，1000 条消息           | 小型项目、测试环境        |
| **腾讯云 IoT Hub**    | 1000 条消息，100 MB 数据传输          | 小型项目、测试环境        |
| **Google IoT Core**   | 250 MB 数据传输，250,000 条消息       | 小型项目、测试环境        |
| **Azure IoT Hub**     | 8,000 条消息，0.5 GB 数据传输         | 小型项目、测试环境        |

---

### **如何选择免费云服务 Broker？**
1. **项目规模**：
   - 如果项目规模较小（如设备数量 < 100，消息量 < 1000 条/月），可以选择免费额度较大的服务（如 AWS IoT Core 或 Google IoT Core）。
   
2. **功能需求**：
   - 如果需要高级功能（如设备管理、规则引擎），可以选择支持这些功能的云服务（如阿里云 IoT 平台或腾讯云 IoT Hub）。

3. **试用期限**：
   - 如果需要长期免费使用，可以选择提供永久免费额度的服务（如 EMQX Cloud 或 HiveMQ Cloud）。

4. **技术支持**：
   - 如果需要技术支持，可以选择提供社区或文档支持的服务（如 AWS IoT Core 或 Azure IoT Hub）。

---

### **示例：使用 EMQX Cloud 的免费 MQTT Broker**
1. **注册 EMQX Cloud 账号**：
   - 访问 https://www.emqx.io/cloud 并注册账号。
2. **创建 Serverless 实例**：
   - 在控制台中创建 Serverless 实例，获取连接地址和端口。
3. **使用 `paho-mqtt` 连接**：
   ```python
   import paho.mqtt.client as mqtt

   broker = "your-instance.emqx.cloud"
   port = 1883
   client_id = "your-client-id"
   username = "your-username"
   password = "your-password"

   client = mqtt.Client(mqtt.CallbackAPIVersion.VERSION2, client_id)
   client.username_pw_set(username, password)
   client.connect(broker, port)
   client.loop_start()

   client.publish("your/topic", "Hello from paho-mqtt")
   client.loop_stop()
   ```

---

通过以上免费云服务 Broker，你可以快速开始 MQTT 实验或小型项目。

MQTT Broker  免费额度或免费试用

参考：
- github仓库：https://github.com/stepfun-ai/Step-Video-T2V
- Step-Vedio-T2V模型下载：https://huggingface.co/stepfun-ai/stepvideo-t2v
- Step-Vedio-T2V-Turbo模型：https://huggingface.co/stepfun-ai/stepvideo-t2v-turbo




Step-Video-T2V是一款由StepFun团队发布的最先进（SoTA）的文本生成视频预训练模型。该模型拥有300（即30B）亿参数，并能生成长达204帧的视频。其核心技术包括深度压缩的视频变分自编码器（Video-VAE）、3D完全注意力机制的DiT架构、中英双语预训练的文本编码器、人类偏好优化（DPO）技术。
该模型在专门设计的视频生成基准测试Step-Video-T2V-Eval上表现卓越，全面超越其他开源和商业引擎。
Step-Video-T2V-Turbo是Step-Video-T2V模型的高效推理版本，通过蒸馏技术进行优化。两个模型在推理时候的配置参数建议为下表。


| 模型                                  | 推理步数  | 配置比例 | 时间偏移 | 帧数     |
|---------------------------------------|-----------|----------|----------|----------|
| Step-Video-T2V                        | 30-50     | 9.0      | 13.0     | 204      |
| Step-Video-T2V-Turbo（推理步数蒸馏）   | 10-15     | 5.0      | 17.0     | 204      |

## 1. 核心技术

下图是Step-Video-T2V 的整体模型架构。
- 设计高压缩率视频变分自编码器 (Video-VAE)，实现了 16x16 空间和 8x 时间压缩，显著降低了大规模视频生成训练的计算复杂度。Video-VAE采用新颖的双路径架构，通过 3D 卷积和优化像素解混洗操作实现统一的空间时间压缩。
- 使用 Hunyuan-CLIP 和 Step-LLM 两个双语文本编码器处理用户文本提示，支持中英双语输入。
- 使用 Flow Matching 训练了具有 3D 全注意力的 DiT，用于将输入噪声去噪成潜在帧，文本嵌入和时间步作为调节因素。比空间时间注意力机制更高效，且在生成具有平滑且一致运动的视频方面表现更优。
- 为了进一步增强生成视频的视觉质量，应用了一种基于视频的 DPO 方法，有效减少了伪影，确保视频输出更流畅、更加真实。


![image.png](/static/img/c2fc347220df7083d6daf75f2dcd189f.image.webp)

下图是带 3D 全注意力机制的 DiT模型架构。
Step-Video-T2V 建立在 DiT 架构之上，该架构有 48 层，每层包含 48 个注意力头，每个注意力头的尺寸设置为 128。利用 AdaLN-Single 来纳入时间步条件，同时引入自注意力机制中的 QK-Norm 来确保训练稳定性。此外，还采用了 3D RoPE，在处理不同视频长度和分辨率的序列时发挥着关键作用。


![image.png](/static/img/0dbd615f0267f2248b5e90a23566fd09.image.webp)

StepFun团队开发了一套精细的训练系统，要点有：
- Step Emulator (SEMU) - 训练框架优化: SEMU 是一个高度准确且高效的模拟器，用于估计训练过程中的资源消耗和端到端性能。
- 分布式训练 - 并行策略: Step-Video-T2V 采用 8-way 张量并行 (TP) 策略，结合序列并行 (SP) 和 Zero1 技术，以实现较高的模型浮点运算利用率 (MFU)。为了降低 TP 的开销，开发了 StepCCL 集合通信库，实现数据传输和 GEMM 计算的并行执行。对于数据并行 (DP) 过程，采用参数和梯度传递的混合重叠策略，提高训练效率。
- 定制计算和通信模块: 在 VAE 部分，采用通道后格式和多 GPU 并行，加速卷积操作并支持长视频和高分辨率视频。在 DiT 部分，使用定制的 RoPE-3D 内核和时步调制优化，提高效率和内存利用率。
- DP 负载平衡: 针对 DP 训练中不同分辨率视频和图像导致的负载不均衡问题，提出混合粒度负载平衡策略。
- StepRPC - 高性能通信框架: StepRPC 利用分布式命名管道作为核心编程抽象，实现服务器之间的无缝通信。它支持 Tensor-Native Communication over RDMA 和 TCP，直接传输张量内存中的数据，提高通信效率。
- StepTelemetry - 训练框架可观测性: StepTelemetry 是一个训练框架的可观测性套件，用于收集、后处理和分析训练相关的数据。它采用基于 CUDA 事件的异步数据收集管道，降低开销。
- StepMind - 分布式训练平台: StepMind 是一个为大规模机器学习工作负载设计的分布式训练平台。它实现了高可用性和高效的 GPU 利用率，通过精细粒度监控和故障检测，确保训练任务的稳定运行。


Step-Vedio-T2V的预训练数据: 包含 20 亿视频-文本对和 38 亿图像-文本对的大规模数据集。通过视频分割、视频质量评估、视频运动评估、视频字幕生成、视频概念平衡和视频-文本对齐等多阶段处理，确保数据高质量和多样性。
- 视频分割: 使用 PySceneDetect 和 FFmpeg 将视频拆分为单镜头片段，删除不稳定帧。
- 视频质量评估: 评估标签包括美学、NSFW、水印、字幕、饱和度、模糊和黑边检测。
- 视频运动评估: 计算光流平均幅度，引入运动平均值、最大和最小运动幅度标签。
- 视频字幕生成: 生成简短标题、密集字幕和原始标题，以提升生成模型的表现。
- 视频概念平衡: 使用 VideoCLIP 模型和 K-means 聚类解决类别不平衡。
- 视频-文本对齐: 计算 CLIP 分数评估视频与文本的对齐程度。


## 2. 竞品比较
与开源模型HunyuanVideo对比
Step-Video-T2V-Eval 是 Step-Video-T2V 论文提出的一个新型基准数据集，旨在评估文本到视频生成模型的性能。它包含了来自真实用户的 128 个中文提示，涵盖了 11 个不同的类别，包括：体育、 美食、 风景、 动物、 节日、 混合概念、 超现实、 人物、 3D 动画、 电影制作、 风格。
下表展示了Step-Video-T2V模型与开源模型HunyuanVideo的综合表现对比。每个单元格代表两个模型在特定指标上的得分。评价维度包括遵循指令、运动流畅度、物理合理性和美学吸引力。表格中以绿色标记的部分表示Step-Video-T2V模型在该指标上优于HunyuanVideo模型的得分。


![image.png](/static/img/9684a0f1074c2577e78c474c64f2e5ae.image.webp)

与Runway Gen-3 Alpha模型对比

![image.png](/static/img/e3bdaf04e1a26466adbdcce69a656ec5.image.webp)

在Movie Gen Video Bench上对比
下表中，将Step-Video-T2V与Movie Gen Video和HunyuanVideo进行了比较。与Movie Gen Video相比，Step-Video-T2V表现相当，但由于其预训练的视频数量只有27.3M，不到Movie Gen Video的三分之一，基础训练仍显不足。此外，Movie Gen Video生成的720P视频质量比Step-Video-T2V的540P更高。对比结果显示Step-Video-T2V在多个分类上的表现与其它两者互有胜负，其中在总评、人体和物理学等类别上分别有485-315-489和615-313-361的表现。


![image.png](/static/img/1581296fdab5c29e956aa03b85f26ae8.image.webp)

## 3. Docker

单卡体验

魔搭社区开源项目 DiffSynth-Studio（https://github.com/modelscope/DiffSynth-Studio）对 Step-Video-T2V 模型进行了显存管理优化，使其能够在单张 80G 显存的 A100 显卡上进行推理。


以下是一些有用的指令，可以用于安装和运行 `DiffSynth-Studio` 项目：

1. docker run：
    ```bash
    docker run -it --gpus '"device=7"' --net host -v /data/xiedong:/data/xiedong/ pytorch/pytorch:2.5.0-cuda12.4-cudnn9-devel bash
    ```

2. 更新并安装必要的包：
    ```bash
    apt update && apt install vim git -y
    ```

3. 克隆 `DiffSynth-Studio` 仓库：
    ```bash
    git clone https://github.com/modelscope/DiffSynth-Studio.git
    cd DiffSynth-Studio
    ```

4. 安装Python包：
    ```bash
    pip install -e .
    ```

5. 编辑示例代码（可选，使用vim编辑器）：
    ```bash
    vim examples/stepvideo/stepvideo_text_to_video.py
    ```

6. 运行示例代码：
    ```bash
    python examples/stepvideo/stepvideo_text_to_video.py
    ```

7. 如果遇到库文件依赖问题，可以安装必要的库：
    ```bash
    apt-get install libgl1-mesa-glx -y
    apt-get install -y libglib2.0-0 libsm6 libxrender1 libxext6 -y
    ```

通过以上指令，可以帮助你安装和运行 `DiffSynth-Studio` 项目的主要步骤。

运行 Step-Video-T2V 模型：

```bash
python examples/stepvideo/stepvideo_text_to_video.py
```

提示词和帧数等参数可以在样例代码 `stepvideo_text_to_video.py` 中进行修改。

运行这个：


```python
# Run!
video = pipe(
    prompt="一名宇航员在月球上发现一块石碑，上面印有“stepfun”字样，闪闪发光。超高清、HDR 视频、环境光、杜比全景声、画面稳定、流畅动作、逼真的细节、专业级构图、超现实主义、自然、生动、超细节、清晰。",
    negative_prompt="画面暗、低分辨率、不良手、文本、缺少手指、多余的手指、裁剪、低质量、颗粒状、签名、水印、用户名、模糊。",
    num_inference_steps=30, cfg_scale=9, num_frames=51, seed=1
)
save_video(
    video, "video.mp4", fps=25, quality=5,
    ffmpeg_params=["-vf", "atadenoise=0a=0.1:0b=0.1:1a=0.1:1b=0.1"]
)
```

单卡显存占用：

![image.png](/static/img/3a625e3bb1d349522b988feeedf19934.image.webp)


也可以使用我打包好的镜像：

```bash
docker pull kevinchina/deeplearning:2.5.0-cuda12.4-cudnn9-devel-DiffSynth
```

## 4. 打包好的镜像

```bash
docker run -it --gpus '"device=7"' --net host -v /data/xiedong:/data/xiedong/ kevinchina/deeplearning:2.5.0-cuda12.4-cudnn9-devel-DiffSynth bash

pip install cpm_kernels

cd /workspace/DiffSynth-Studio

vim examples/stepvideo/stepvideo_text_to_video.py

python examples/stepvideo/stepvideo_text_to_video.py
```

阶跃星辰 Step-Vedio-T2V Docker 推理

# 免费Copilot替代方案：CodeGPT——如何调用自定义大模型API进行代码补全

**痛点与解决方案**  
作为开发者，你是否因Copilot的高昂费用而犹豫？别担心，今天为大家推荐一款完全免费的替代方案——CodeGPT！它不仅支持代码智能补全，更可自定义接入私有化大模型API，实现个性化开发体验。本文手把手教你如何配置CodeGPT插件，打造专属AI编程助手。



## 一、插件安装指南
1. 访问JetBrains插件市场：[Proxy AI插件页面](https://plugins.jetbrains.com/plugin/21056-proxy-ai)  
2. 在PyCharm中搜索安装**CodeGPT**插件  
![插件安装示意图](/static/img/934d5e49ba79b4a65988a2c295652eeb.image.webp)  
3. 重启IDE后，在右下角工具栏可见CodeGPT图标  
![插件位置示意图](/static/img/0a3922a4ea3a0354fce058d6bee708e1.image.webp)

---

## 二、模型API配置详解
### 基础设置
1. 点击CodeGPT图标 ➔ 进入设置面板  
2. 选择**Providers** ➔ **Custom OpenAI**  
![基础配置示意图](/static/img/06b993e273ee056c780206a78c1b818a.image.webp)

---

### 进阶配置（通过LiteLLM代理）
> 推荐通过LiteLLM统一管理多模型API接入，详见[《LiteLLM大模型网关使用指南》](https://www.dong-blog.fun/post/1965)

#### 1. 聊天功能配置（Chat Completions）
• **Custom provider name**：自定义服务名称（如LiteLLM）  
• **API Key**：LiteLLM服务密钥或第三方平台API Key  
• **API URL**：`http://your_domain:8000/v1/chat/completions`  
• **Model**：实际调用模型（如DeepSeek-R1-Distill-Qwen-32B）  
![聊天功能配置示意图](/static/img/5e611bec90c47d2493901c7095a73443.image.webp)

#### 2. 代码补全配置（Code Completions）
• **API URL**：`http://your_domain:8000/v1/completions`  
• **Model**：指定代码模型（如qwen2.5-32B）  
![代码补全配置示意图](/static/img/b7a4c302b6fddab62ad19621b418561e.image.webp)

**配置提醒**：输入模型名称后需按回车键生效，最后点击Apply保存配置。

---

## 三、实战效果演示
### 代码自动补全
输入代码时，CodeGPT会根据上下文实时推荐补全建议，按Tab键即可快速插入：  
![代码补全效果](/static/img/0834fa87bc0f83262de72237e6029231.image.webp)

### 侧边栏AI对话
通过右侧聊天面板，可直接与模型进行技术交流：  
![对话功能演示](/static/img/b6907273bcc0025813fdeb55dae45a51.image.webp)

---

**技术文档参考**  
• [Proxy AI官方文档](https://docs.tryproxy.io/)  
• [LiteLLM多模型管理方案](https://www.dong-blog.fun/post/1965)

通过以上配置，您即可在PyCharm中零成本享受媲美Copilot的智能开发体验，同时完全掌控模型调用权限。欢迎在评论区交流使用心得！

Copilot替代品代码补全插件——免费的CodeGPT——如何调用自己的大模型API

deepseekv3对Qwen-2.5-14B进行蒸馏，模型如下：

https://huggingface.co/arcee-ai/Virtuoso-Small-v2

sglang运行指令：
```bash
docker run --gpus '"device=5"' \
    --shm-size 32g \
    -d -p 7890:7890 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    -v /data/xiedong/Virtuoso-Small-v2:/data/xiedong/Qwen2.5-32B-Instruct-GPTQ-Int4 \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server --model-path /data/xiedong/Qwen2.5-32B-Instruct-GPTQ-Int4 --host 0.0.0.0 --port 7890 --tp 1 --api-key "ns34xx.."

```
sglang运行速度：42.27 T/s 




llama.cpp 量化此模型：

https://huggingface.co/bartowski/arcee-ai_Virtuoso-Small-v2-GGUF/blob/main/arcee-ai_Virtuoso-Small-v2-Q8_0.gguf

llama.cpp 教程：

https://github.com/ggml-org/llama.cpp/blob/master/examples/server/README.md

llama.cpp server执行指令：

```bash
docker pull ghcr.io/ggml-org/llama.cpp:server-cuda


docker run --gpus '"device=7"' \
    --shm-size 32g \
    -v /data/xiedong:/models -p 7893:8000 ghcr.io/ggml-org/llama.cpp:server-cuda -m /models/arcee-ai_Virtuoso-Small-v2-Q6_K_L.gguf --port 8000 --host 0.0.0.0 -n 512

```

llama.cpp 跑 qwen2.5 量化模型

## 传统专家混合模型（Mixture-of-Experts, MoE）在 Transformer 中的实现

在标准 Transformer 模型中，每一层包含一个自注意力模块（Self-Attention）和一个前馈神经网络（FFN）。MoE 的核心思想是用多个专家（Expert）替代 FFN，每个专家本身也是一个 FFN，但通过动态路由机制（门控网络）选择对每个输入 token 最相关的少数专家进行计算。这种设计可以在不显著增加计算量的情况下，大幅提升模型容量。



### MoE 的架构设计
#### 1. **标准 Transformer 模块**
标准 Transformer 层的计算流程如下：
- **自注意力**：  
  $$
  u_{1:T}^l = \text{Self-Att}(h_{1:T}^{l-1}) + h_{1:T}^{l-1}
  $$
- **前馈网络**：  
  $$
  h_t^l = \text{FFN}(u_t^l) + u_t^l
  $$

#### 2. **用 MoE 替代 FFN**
在 MoE 化的 Transformer 中，部分 FFN 层被替换为 MoE 层（通常每隔几层替换一次）。MoE 层的计算步骤如下：

**（1）专家定义**  
- 每个 MoE 层包含 $ N $ 个专家，每个专家 $ \text{FFN}_i $ 的结构与标准 FFN 相同。

**（2）门控机制（Gating Mechanism）**  
- 对每个输入 token $ u_t^l $，计算其与所有专家的“亲和度”（Affinity）：  
  $$
  s_{i,t} = \text{Softmax}_i(u_t^l \cdot e_i^l)
  $$
  其中 $ e_i^l $ 是第 $ i $ 个专家的质心向量（可学习参数）。

**（3）稀疏路由（Sparse Routing）**  
- 选择亲和度最高的 $ K $ 个专家（通常 $ K=1 $ 或 $ 2 $）：  
  $$
  g_{i,t} = 
  \begin{cases} 
  s_{i,t}, & \text{if } s_{i,t} \in \text{TopK}(\{s_{j,t}\}, K) \\
  0, & \text{otherwise}
  \end{cases}
  $$

**（4）加权输出**  
- 对选中的专家输出进行加权求和，并与残差连接结合：  
  $$
  h_t^l = \sum_{i=1}^N g_{i,t} \cdot \text{FFN}_i(u_t^l) + u_t^l
  $$


### 关键特性
#### 1. **计算效率**
- **稀疏性**：每个 token 仅由 $ K $ 个专家处理（而非所有 $ N $ 个），保持计算量与标准 FFN 接近。例如，当 $ K=1 $、$ N=8 $ 时，计算量约为标准 FFN 的 2 倍（假设每个专家的参数量与 FFN 相同）。

#### 2. **动态路由**
- **自适应分配**：门控网络根据输入 token 的语义动态选择专家。例如，某些专家可能擅长处理名词，而另一些擅长处理动词。

#### 3. **模型容量扩展**
- **参数规模**：MoE 层的参数量为 $ N \times \text{FFN\_size} $，但计算量仅与 $ K \times \text{FFN\_size} $ 相关，实现了高效的参数扩展。


### 挑战与优化
1. **负载均衡（Load Balancing）**  
   - 需避免某些专家被过度使用（如通过辅助损失函数惩罚不均衡的路由）。

2. **训练稳定性**  
   - 稀疏路由可能导致梯度传播不稳定，需结合动态路由调整策略。

3. **通信开销（分布式训练）**  
   - 不同专家可能分布在不同的设备上，需优化跨设备数据传输。


### 示例代码（简化版）
```python
class MoELayer(nn.Module):
    def __init__(self, num_experts, hidden_size, expert_size, k=1):
        super().__init__()
        self.experts = nn.ModuleList([FFN(hidden_size, expert_size) for _ in range(num_experts)])
        self.gate = nn.Linear(hidden_size, num_experts)  # 门控网络
        self.k = k

    def forward(self, x):
        # 计算亲和度
        logits = self.gate(x)  # [batch_size, seq_len, num_experts]
        scores = torch.softmax(logits, dim=-1)
        
        # 选择 Top-K 专家
        topk_scores, topk_indices = torch.topk(scores, self.k, dim=-1)  # [batch, seq_len, k]
        
        # 稀疏计算（仅用选中的专家）
        outputs = []
        for i in range(self.k):
            expert_idx = topk_indices[:, :, i]
            expert_output = self.experts[expert_idx](x)  # 伪代码，需具体实现
            outputs.append(expert_output * topk_scores[:, :, i].unsqueeze(-1))
        
        return sum(outputs) + x  # 加权求和 + 残差连接
```

## DeepSeekMoE

下图是DeepSeekMoE 的示意图。子图(a)展示了采用传统 top-2 路由策略的 MoE 层。子图(b)说明了细粒度专家分割策略。随后，子图(c)展示了共享专家隔离策略的集成，构成了完整的 DeepSeekMoE 架构。值得注意的是，在这三种架构中，专家参数的数量和计算成本保持不变。

![image.png](/static/img/78fe5410fd380048e32c81e058f3779e.image.webp)



DeepSeekMoE 是在传统混合专家（MoE）架构上的创新改进，通过**细粒度专家分割**和**共享专家隔离**两大核心策略，显著提升模型的专业化能力与参数效率，同时保持计算成本不变。以下是其核心设计理念与技术实现：


#### 一、细粒度专家分割（Fine-Grained Expert Segmentation）

##### 1. **动机**
- **问题**：传统 MoE 中，每个专家（FFN）参数量较大，但每个 token 仅激活少量专家（如 Top-2）。这导致单个专家需学习多种类型知识，难以充分专业化。
- **解法**：将大专家拆分为多个小专家，允许每个 token 激活更多专家组合，促进知识分解与专业化学习。

##### 2. **实现**
- **专家拆分**：  
  将每个原始专家 FFN 的中间隐藏层维度缩小为原来的 $1/m$，分割为 $m$ 个更小的子专家。例如，原 FFN 中间层维度为 $d$，分割后每个子专家维度为 $d/m$。
- **激活策略调整**：  
  每个 token 激活的子专家数从 $K$ 增加到 $mK$，但每个子专家的计算量降为 $1/m$，**总计算量保持不变**。  
  **公式**：  
  $$
  h_t^l = \sum_{i=1}^{mN} g_{i,t} \cdot \text{FFN}_i(u_t^l) + u_t^l
  $$
  其中 $g_{i,t}$ 仅对 Top-$mK$ 专家非零，$mN$ 为总子专家数。

##### 3. **优势**
- **组合灵活性爆炸式增长**：  
  例如，当 $N=16$ 个专家拆分为 $m=4$ 个子专家（共 $64$ 个），每个 token 激活 $mK=8$ 个子专家时，组合数从传统 Top-2 的 $120$ 种激增至 $4.4 \times 10^9$ 种。
- **知识解耦**：不同子专家专注于更细粒度的知识单元（如词性、句法结构），模型表达能力增强。

---

#### 二、共享专家隔离（Shared Expert Isolation）

##### 1. **动机**
- **问题**：传统路由中，不同专家可能重复学习通用知识（如语法规则），导致参数冗余。
- **解法**：固定分配部分专家作为**共享专家**，强制所有 token 经过它们，专用于捕获通用知识；其余专家专注于领域特异性。

##### 2. **实现**
- **固定路由共享专家**：  
  设定 $K_s$ 个共享专家，每个 token **必须** 经过这些专家，其余路由专家激活数减少至 $mK - K_s$。  
  **公式**：  
  $$
  h_t^l = \underbrace{\sum_{i=1}^{K_s} \text{FFN}_i(u_t^l)}_{\text{共享专家}} + \underbrace{\sum_{i=K_s+1}^{mN} g_{i,t} \cdot \text{FFN}_i(u_t^l)}_{\text{路由专家}} + u_t^l
  $$
- **参数效率**：共享专家集中学习通用知识，减少其他专家的冗余参数。

##### 3. **优势**
- **减少冗余**：通用知识由共享专家统一处理，路由专家专注于差异化任务。
- **训练稳定性**：共享专家作为知识“基座”，缓解稀疏路由带来的梯度不稳定问题。

---

#### 三、负载均衡优化

##### 1. **专家级均衡损失（Expert-Level Balance Loss）**
- **目标**：防止某些专家被过度使用（路由坍塌）。  
  **公式**：  
  $$
  \mathcal{L}_{\text{ExpBal}} = \alpha_1 \sum_{i=1}^{N'} f_i P_i
  $$
  - $f_i$：专家 $i$ 被选中的频率（需接近均匀分布）。
  - $P_i$：专家 $i$ 的平均门控值。

##### 2. **设备级均衡损失（Device-Level Balance Loss）**
- **目标**：在分布式训练中，均衡不同设备上的计算负载。  
  **公式**：  
  $$
  \mathcal{L}_{\text{DevBal}} = \alpha_2 \sum_{i=1}^D f_i' P_i'
  $$
  - 将专家分组到 $D$ 个设备，确保每组计算量均衡。
  - 优先保证设备间平衡，放宽专家级约束以避免性能损失。

---

#### 四、性能与效果

1. **计算效率**：  
   总计算量与传统 MoE 相同（通过细粒度分割与激活数调整实现）。
2. **参数量**：  
   总参数量与传统 MoE 一致，但分配更高效（共享专家 + 细粒度路由专家）。
3. **训练稳定性**：  
   双层级负载均衡损失有效缓解路由坍塌和设备间负载不均问题。

---

#### 五、代码示意（关键逻辑）

```python
class DeepSeekMoELayer(nn.Module):
    def __init__(self, num_experts, m, K, Ks):
        super().__init__()
        # 细粒度分割：每个专家拆分为 m 个子专家
        self.sub_experts = nn.ModuleList([
            SmallFFN(hidden_dim // m) for _ in range(num_experts * m)
        ])
        self.shared_experts = nn.ModuleList([  # 共享专家
            SmallFFN(hidden_dim // m) for _ in range(Ks)
        ])
        self.gate = nn.Linear(hidden_dim, num_experts * m)  # 门控网络
        self.K = K
        self.Ks = Ks

    def forward(self, x):
        # 共享专家计算（强制所有 token 经过）
        shared_out = sum([expert(x) for expert in self.shared_experts])

        # 细粒度路由计算
        logits = self.gate(x)
        scores = torch.softmax(logits, dim=-1)
        topk_scores, topk_indices = torch.topk(scores, self.K - self.Ks, dim=-1)
        
        # 加权求和路由专家输出
        routed_out = 0
        for i in range(self.K - self.Ks):
            expert_idx = topk_indices[:, :, i]
            routed_out += self.sub_experts[expert_idx](x) * topk_scores[:, :, i]

        return shared_out + routed_out + x  # 总输出
```

https://joelotepawembo.medium.com/deepseekmoe-bridging-efficiency-and-capacity-in-large-language-models-using-deepseek-model-from-dbd4e852a637

![image.png](/static/img/6c1a3e85bcdcf98c0c6c7452f24fe72b.image.webp)

DeepSeekMoE

我是一个专注技术分享的博主,尤其爱搞深度学习和单片机电子。你现在看到的是我的个人博客网站。