FireRedTTS2 streaming Docker 流式 TTS 服务


# LiveKit Server 安装指南 (Linux x86_64)

## 前提确认
*   操作系统: Linux
*   架构: x86_64
*   当前状态: 未安装 `livekit-server`

## 安装方法 (官方推荐)
最直接的安装方式是使用官方提供的安装脚本。

### 标准安装 (需要 `sudo` 权限)
```bash
curl -sSL https://get.livekit.io | bash
```


docker 启动型安装：
```bash
docker run --rm -it --name livekit \
  -p 7880:7880 -p 7881:7881 -p 7882:7882 \
  -e LIVEKIT_API_KEY=devkey -e LIVEKIT_API_SECRET=secret \
  livekit/livekit-server:latest \
  --dev --bind 0.0.0.0
```


### 用户目录安装 (无需 `sudo` 权限)
如果无法写入系统目录 (`/usr/local/bin`)，可安装到当前用户目录：
```bash
mkdir -p ~/.local/bin
INSTALL_PATH=$HOME/.local/bin curl -sSL https://get.livekit.io | bash
export PATH="$HOME/.local/bin:$PATH"
```

## 验证安装
安装完成后，验证命令是否可用：
```bash
livekit-server --version
```

## 启动服务器 (开发模式)
要启动一个监听所有网卡 (`0.0.0.0`) 的开发服务器：
```bash
livekit-server --dev --bind 0.0.0.0
```
**开发模式默认凭据:**
*   **API Key:** `devkey`
*   **API Secret:** `secret`

## 重要提醒
1.  **网络访问**: 如果希望其他设备能够访问此服务器，请确保防火墙/安全组已开放 **7880** 端口。
2.  **路径持久化**: 如果使用用户目录安装，建议将 `export PATH="$HOME/.local/bin:$PATH"` 添加到你的 Shell 配置文件 (如 `~/.bashrc` 或 `~/.zshrc`) 中，使其永久生效。

## 参考链接
*   https://docs.livekit.io/transport/self-hosting/local/
*   https://get.livekit.io/


LiveKit Server 安装指南 (Linux x86_64)

dockerfile里安装：

```bash
# 安装 Node.js 和 npm
RUN apt-get update && apt-get install -y --no-install-recommends nodejs npm

# 安装 codex
RUN npm install -g @openai/codex
```



codex 安装和使用

Qwen3 TTS，流式服务PCM chuck

FunASR VAD+ASR docker 部署

Qwen3.5-35B-A3B vllm docker 部署

https://github.com/wwbin2017/bailing

看代码好像不支持WebRTC，但 readme 说支持？


![image.png](/static/img/3467a741851df3f79698df226bcf0acc.image.webp)




可以，先给你一个清晰结论：**核心语音链路基本可以改成全本地**，但“所有功能”想 100% 本地要做一些取舍。

## 当前各模块：本地 / 云端

- **ASR（语音识别）**
  - 当前：`FunASR` + `models/SenseVoiceSmall`
  - 类型：**本地**
- **VAD（语音活动检测）**
  - 当前：`SileroVAD`
  - 类型：**本地**（首次可能下载权重，之后本地）
- **LLM（主对话）**
  - 当前：`OpenAILLM` 指向 OpenRouter
  - 类型：**云端**
  - 可改本地：**可以**，改成 `OllamaLLM`
- **Memory（记忆总结）**
  - 当前：也是 OpenRouter
  - 类型：**云端**
  - 可改本地：**可以**，前提是代码支持把 Memory 也走本地模型（当前 `memory.py` 用的是 OpenAI 兼容调用）
- **TTS（语音合成）**
  - `EdgeTTS`：**云端**
  - `GTTS`：**云端**
  - `CHATTTS`：**本地**
  - `KOKOROTTS`：**本地**（可能首次拉取 HuggingFace 模型）
  - `MacTTS`：**本地**（仅 macOS）
- **RAG**
  - 代码里 `rag.py` 基本是注释状态，未在主链路启用
  - 你 `config` 里的 `Rag.model_name/url/api_key` 是云端配置，但当前主流程里影响不大
- **插件工具（天气/网页搜索等）**
  - 多数依赖外部 API/网络
  - 类型：**云端或联网功能**

---

## 你能否“都改为本地执行”

**可以实现“主对话链路全本地”**（ASR + VAD + LLM + TTS 全本地）。  
但如果你要求“项目全部功能都离线”，要注意：

- `web_search`、天气等工具天然依赖网络，无法离线等价替代
- 若保留这些插件，就不是完全离线系统

---

## 建议的本地化配置方向（最实用）

在 `config/config.yaml` 里改这几项：

- `selected_module.LLM: OllamaLLM`
- `LLM.OllamaLLM.model_name: <你的本地模型名>`（如 `qwen2.5:7b`）
- `LLM.OllamaLLM.url: http://localhost:11434/api/chat`
- `selected_module.TTS: KOKOROTTS`（或 `CHATTTS`）
- 保持 `ASR: FunASR`、`VAD: SileroVAD`

另外：
- 把 `TaskManager.aigc_manus_enabled: false`（你现在已经是 false）
- 不用会联网的工具插件时，禁掉相关函数加载（可进一步精简）

---

如果你要，我可以下一步直接给你一份**“最小全本地 config 样例”**（可直接粘贴替换）。另外提醒一下：你现在配置里出现了明文 OpenRouter key，建议尽快在 OpenRouter 后台旋转/废弃这个 key。

ai 语音对话，bailing

效果不好，还是算了，想部署看这里：https://github.com/xxddccaa/WebRTC_Demo

ai 视频对话，miniCPM-o-4-5

GitHub CLI（`gh`）是 GitHub 官方出品的命令行工具，让你不用打开浏览器就能完成绝大多数 GitHub 操作——创建仓库、提交 PR、管理 Issue、查看 CI 运行结果等，全部在终端搞定。它的核心价值在于：用 `gh auth login` 一次浏览器授权替代了以前繁琐的 SSH 密钥配置，同时把 GitHub 的工作流无缝嵌入到你的终端开发流程中。对于需要向开源项目提交代码、管理多个仓库、或者在服务器上自动化 GitHub 操作的开发者来说，`gh` 是一个值得上手的效率工具。


`gh` 指令：

```bash
gh auth status                    # 查看当前登录状态
gh repo list --limit 20           # 列出自己的仓库
gh pr create \
  --repo modelscope/ms-swift \        # 目标上游仓库
  --head xxddccaa:feat/xxx \          # 来源：fork用户:分支名
  --base main \                       # 目标分支
  --title 'PR标题' \
  --body '正文内容'                    # 创建 PR
```



---

下面是我整理的 **gh 常用场景速查**：

## 安装

**Ubuntu / Debian**

```bash
sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://cli.github.com/packages/githubcli-archive-keyring.gpg \
  | sudo tee /etc/apt/keyrings/githubcli-archive-keyring.gpg > /dev/null

echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/githubcli-archive-keyring.gpg] \
  https://cli.github.com/packages stable main" \
  | sudo tee /etc/apt/sources.list.d/github-cli.list > /dev/null

sudo apt update && sudo apt install gh
```

**CentOS / RHEL / Fedora**

```bash
sudo dnf install 'dnf-command(config-manager)'
sudo dnf config-manager --add-repo https://cli.github.com/packages/rpm/gh-cli.repo
sudo dnf install gh
```

**macOS**

```bash
brew install gh
```

**验证安装**

```bash
gh --version
```

---

## 登录

**方式一：浏览器授权（推荐，最简单）**

```bash
gh auth login
```

按提示选择：
- `GitHub.com`（公有云）或 `GitHub Enterprise`（私有部署）
- 协议选 `HTTPS`
- 是否用浏览器登录选 `Yes`

浏览器会打开 GitHub 授权页，点击授权后自动完成，终端会显示 `Logged in`。

**方式二：用 Token 登录（服务器无浏览器场景）**

先去 GitHub 网页手动生成 Token：
> Settings → Developer settings → Personal access tokens → Tokens (classic) → Generate new token

勾选权限：`repo`、`workflow`、`read:org`（按需）

然后在终端：

```bash
gh auth login
# 选择 HTTPS，最后选 "Paste an authentication token"
# 粘贴刚才生成的 token
```

或者直接用环境变量（CI 场景常用）：

```bash
export GH_TOKEN=your_token_here
gh auth status   # 验证是否生效
```

**验证登录状态**

```bash
gh auth status
```

输出示例：

```
github.com
  ✓ Logged in to github.com as xxddccaa
  ✓ Git operations for github.com configured to use https protocol.
  ✓ Token: *******************
```



## 仓库操作

```bash
# 列出自己的仓库
gh repo list
gh repo list --limit 50

# 创建新仓库
gh repo create my-repo --public
gh repo create my-repo --private --description "描述"

# Clone 仓库（自动处理认证）
gh repo clone owner/repo

# Fork 一个仓库
gh repo fork owner/repo
gh repo fork owner/repo --clone   # fork 并立即 clone 到本地

# 查看仓库信息
gh repo view owner/repo
gh repo view owner/repo --web     # 在浏览器打开
```

## Issue 操作

```bash
# 列出 issue
gh issue list
gh issue list --repo owner/repo
gh issue list --state closed
gh issue list --label bug

# 创建 issue
gh issue create --title "Bug标题" --body "描述"

# 查看某个 issue
gh issue view 123
gh issue view 123 --web

# 关闭 / 重开 issue
gh issue close 123
gh issue reopen 123

# 给自己分配 issue
gh issue edit 123 --add-assignee @me
```

## PR 操作

```bash
# 列出 PR
gh pr list
gh pr list --repo owner/repo
gh pr list --state merged

# 创建 PR（当前分支 → 默认主分支）
gh pr create
gh pr create --title "标题" --body "描述"
gh pr create --draft                   # 草稿 PR

# 向上游 fork 提交 PR（fork 场景）
gh pr create \
  --repo upstream-owner/repo \
  --head your-username:your-branch \
  --base main \
  --title "标题" \
  --body "描述"

# 查看 PR
gh pr view 123
gh pr view 123 --web

# checkout 到某个 PR 的分支（review 用）
gh pr checkout 123

# 合并 PR
gh pr merge 123
gh pr merge 123 --squash
gh pr merge 123 --rebase

# 关闭 PR
gh pr close 123
```

## CI / Workflow 操作

```bash
# 查看 workflow 运行列表
gh run list

# 查看某次运行的详情和日志
gh run view 1234567
gh run view 1234567 --log

# 手动触发 workflow
gh workflow run ci.yml

# 查看所有 workflow
gh workflow list
```

## Release 操作

```bash
# 列出 release
gh release list

# 创建 release
gh release create v1.0.0
gh release create v1.0.0 --title "v1.0.0" --notes "更新内容"

# 上传附件到 release
gh release upload v1.0.0 ./dist/app.tar.gz

# 下载 release 的附件
gh release download v1.0.0
```

## 其他实用指令

```bash
# 在浏览器打开当前仓库
gh browse

# 查看通知
gh notification list

# 搜索仓库
gh search repos "关键词" --limit 10

# 用 gh 直接调用 GitHub API（高级用法）
gh api repos/owner/repo
gh api repos/owner/repo/pulls --jq '.[].title'
```

GitHub Cli gh指令操作

# Qwen3-Omni 多模态 Token 计算说明

本文说明在 LLaMA-Factory 中，使用 `qwen3_omni_nothink` 模板训练 **Qwen3-Omni-30B-A3B-Instruct** 时，**视频**与**音频**如何被编码成 token，以及如何从日志中的 `grid_thw`、时长等反推和验算 token 数量。



---

## 一、整体流程

1. **视频**：按 `video_fps` 抽帧 → 每帧按 `video_max_pixels` 做等比 resize → 送入 Qwen 的 video processor → 得到 3D 网格 `grid_thw`，再按 `merge_size` 合并得到 **视频 token 数**。
2. **音频**：按 `audio_sampling_rate` 读取 → 经 feature extractor（如 Whisper 编码器风格）→ 得到 **音频 token 数**。
3. 若开启 `use_audio_in_video=True`，同一段视频与对应音频会按时间轴 **chunk 交叠**，生成交织的 video/audio token 序列。

下文分别说明视频 token、音频 token 以及交叠模式的计算方式。

---

## 二、视频 Token 计算

### 2.1 抽帧与 Resize（LLaMA-Factory 侧）

- **抽帧**：根据 `video_fps`（默认 2.0）和 `video_maxlen`（默认 128）计算采样帧数：
  - `sample_frames = min(total_frames, video_maxlen, floor(duration × video_fps))`
  - 在时间轴上均匀取 `sample_frames` 帧。
- **Resize**：每帧只按 **总像素数** 约束，不强制宽高为 patch 的倍数：
  - 若 `width × height > video_max_pixels`：按面积等比缩小到 `≤ video_max_pixels`。
  - 若 `width × height < video_min_pixels`：按面积等比放大到 `≥ video_min_pixels`。
  - 宽高为 `int(w × factor)`、`int(h × factor)`，因此可能出现如 376×815 这种非 32 倍数；最终送入模型前的对齐由 **transformers 的 video_processor** 内部完成。

### 2.2 grid_thw 的含义

Qwen 的 video processor 会输出 **grid_thw**，形状为 `(T, H, W)`：

| 维度 | 含义 | 计算方式 |
|------|------|----------|
| **T** | 时间维格点数 | `采样帧数 ÷ temporal_patch_size`（一般为 2，即每 2 帧合并为一个时间格点） |
| **H** | 高度方向 patch 数 | `resize 后的高度 ÷ patch_size`（如 16），取整 |
| **W** | 宽度方向 patch 数 | `resize 后的宽度 ÷ patch_size`，取整 |

示例：132 帧、resize 后 376×815（宽×高）、`temporal_patch_size=2`、`patch_size=16`：

- T = 132 / 2 = **66**
- W = 376 / 16 ≈ **24**
- H = 815 / 16 ≈ **50**

即 `grid_thw = [66, 50, 24]`。

### 2.3 视频 Token 数公式

空间上还有 **merge**（一般为 `merge_size=2`，即 2×2 patch 合并为 1 个 token）：

```
video_tokens = T × ⌊H / merge_size⌋ × ⌊W / merge_size⌋
```

同上例：`66 × (50/2) × (24/2) = 66 × 25 × 12 = 19800`。

---

## 三、音频 Token 计算

- 音频时长（秒）由 **采样点数 ÷ 采样率** 得到；在 LLaMA-Factory 中会先 `_regularize_audios`（重采样到 `audio_sampling_rate`，默认 16000）。
- 经过 Qwen Omni 的 **feature extractor**（类 Whisper 编码器）后，会再做若干次下采样；Qwen3Omni 的 token 数与 `feature_attention_mask` 的长度有一组固定换算（与 100、2 等池化步长相关）。
- 日志中的 `audio_tokens` 即为该段音频在模型中占用的 **音频 token 数**，大致与时长正相关（例如约 12–13 token/秒量级，以实际日志为准）。

---

## 四、音视频交叠模式（use_audio_in_video=True）

当 `use_audio_in_video=True` 且数据中同时提供与视频一一对应的音频时：

- 每个 `<video><audio>` 占位符会被替换成 **按时间 chunk 交叠** 的 token 序列：  
  `vision_bos + audio_bos + [video_chunk_1_tokens + audio_chunk_1_tokens + video_chunk_2_tokens + audio_chunk_2_tokens + …] + audio_eos + vision_eos`。
- chunk 划分由 processor 的 `get_chunked_index` 与固定步长（如 50）决定，保证同一时间段内的视频 token 与音频 token 在序列中交替出现，便于模型做多模态对齐。
- 此时 **不再**单独输出“一段视频 token + 一段音频 token”，而是一段 **交织序列**，日志中的 `video_tokens` / `audio_tokens` 分别为该段中所有 video/audio token 的合计。

---

## 五、如何从日志验算（LLaMA-Factory 中的 Omni 日志）

开启训练后，前若干条多模态样本会打印类似：

```
[OmniPlugin] sample #1 multimodal token stats  (use_audio_in_video=True):
  video[0]: duration=66.17s  sampled_frames=132  video_tokens=19800
  video frame size after resize: 376x815 px
  video[0] grid_thw (T,H_patches,W_patches)=[66, 50, 24]  (T*H*W // merge_size^2 = video_tokens)
  audio[0]: duration=66.08s  audio_tokens=860
  TOTAL: video_tokens=19800  audio_tokens=860  mm_tokens=20660
```

验算建议：

1. **T**：`sampled_frames / temporal_patch_size` 应等于 `grid_thw[0]`（如 132/2=66）。
2. **H、W**：resize 后的高、宽分别除以 patch_size（如 16）取整，应接近 `grid_thw[1]`、`grid_thw[2]`（如 815/16≈50，376/16≈24）。
3. **video_tokens**：`T × (H/merge_size) × (W/merge_size)`，如 66×25×12=19800。
4. **audio_tokens**：由 processor 内部计算，与时长和采样率相关，可与日志对比确认数量级。

---

## 六、相关配置参数（yaml）

| 参数 | 默认 | 说明 |
|------|------|------|
| `video_max_pixels` | 256×256 | 单帧 resize 后允许的最大像素数（面积） |
| `video_min_pixels` | 16×16 | 单帧允许的最小像素数 |
| `video_fps` | 2.0 | 抽帧时每秒采样帧数 |
| `video_maxlen` | 128 | 单视频最多保留的帧数 |
| `use_audio_in_video` | false | 是否启用音视频按时间交叠 |

以上参数在训练/推理的 yaml 中可直接设置，会通过 `patch_processor` 注入到 processor，进而影响抽帧、resize 以及 token 数量。

---

## 七、小结

- **视频 token**：由 `grid_thw=(T,H,W)` 与 `merge_size` 决定，公式为  
  `video_tokens = T × (H/merge_size) × (W/merge_size)`。  
  T 与抽帧数和 temporal_patch_size 有关，H、W 与 resize 后的高、宽及 patch_size 有关。
- **音频 token**：由时长与 feature extractor 的下采样/池化规则决定，具体数量以日志为准。
- **交叠模式**：`use_audio_in_video=True` 时，同一段视频与音频会按时间 chunk 交替排列成一段 token 序列，便于模型做细粒度音画对齐。

理解上述关系后，即可根据日志中的 duration、resize 尺寸、`grid_thw` 和 `video_tokens`/`audio_tokens` 自行验算并调整 `video_fps`、`video_max_pixels` 等参数，以控制显存与效果。