Milvus使用教程（二）Schema

Milvus使用教程（一）集合操作

## 流式请求

```python

import requests
import json
import time

def chat_completion_generator(query, timeout=50):
    baidu_url = 'https://llm_ip/v1/chat-messages'
    baidu_headers = {
        'Authorization': 'Bearer app-2IdfEuDM0EwoKGVxEjC8',
        'Content-Type': 'application/json'
    }
    baidu_data = {
        "inputs": {},
        "query": query,
        "response_mode": "streaming",  # 假设API支持streaming模式
        "user": "abc-123"
    }

    try:
        # 设置stream=True以启用流式处理
        response = requests.post(baidu_url, headers=baidu_headers, json=baidu_data, timeout=timeout, stream=True)

        if response.status_code == 200:
            # 使用迭代的方式逐步获取数据
            for line in response.iter_lines():
                if line:
                    # 去除前缀 "data: "
                    line = line.decode('utf-8').strip()
                    if line.startswith("data:"):
                        line = line[5:].strip()
                    try:
                        # 解析JSON数据
                        event_data = json.loads(line)
                        # 处理不同的事件类型
                        event = event_data.get('event')
                        if event == 'message':
                            answer = event_data.get('answer', '')
                            # 流式输出answer内容
                            for char in answer:
                                print(char,end='', flush=True)
                                time.sleep(0.05)
                    except json.JSONDecodeError as e:
                        print(f"Failed to decode JSON: {e}")
        else:
            print(f"Error: {response.status_code}")
    except Exception as e:
        print(f"Request failed, error: {e}")

# 示例调用
query = "你能告诉我今天天气怎么样吗？"
chat_completion_generator(query)

```



## 包装接口，流式返回


```bash
import requests
import json
import time
from fastapi import FastAPI, Request
from fastapi.responses import StreamingResponse

app = FastAPI()

def chat_completion_generator(query, timeout=50):
    baidu_url = 'https://llm-api/v1/chat-messages'
    baidu_headers = {
        'Authorization': 'Bearer app-2IdfEuDtM0C8',
        'Content-Type': 'application/json'
    }
    baidu_data = {
        "inputs": {},
        "query": query,
        "response_mode": "streaming",  # 假设API支持streaming模式
        "user": "abc-123"
    }

    try:
        # 设置stream=True以启用流式处理
        response = requests.post(baidu_url, headers=baidu_headers, json=baidu_data, timeout=timeout, stream=True)

        if response.status_code == 200:
            # 使用迭代的方式逐步获取数据
            for line in response.iter_lines():
                if line:
                    # 去除前缀 "data: "
                    line = line.decode('utf-8').strip()
                    if line.startswith("data:"):
                        line = line[5:].strip()                
                    try:
                        # 解析JSON数据
                        event_data = json.loads(line)
                        # 处理不同的事件类型
                        event = event_data.get('event')
                        if event == 'message':
                            answer = event_data.get('answer', '')
                            # 流式输出answer内容
                            for char in answer:
                                print(char,end='', flush=True)
                                yield char
                                time.sleep(0.05)
                    except json.JSONDecodeError as e:
                        print(f"Failed to decode JSON: {e}")
            #yield "流式获取数据完成"
        else:
            yield f"Error: {response.status_code}"
    except Exception as e:
        yield f"Request failed, error: {e}"

@app.post("/DocQA_streeam")
async def doc_qa_stream(request: Request):
    form_data = await request.form()
    query = form_data.get("text")
    return StreamingResponse(chat_completion_generator(query), media_type="text/event-stream")

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8100)
```

## 阻塞请求

```python
import requests


def get_chat_completion_content(query="小狐狸", timeout=50):
    baidu_url = 'https://llm-api/v1/chat-messages'
    baidu_headers = {
        'Authorization': 'Bearer app-2IdfEuEjC8',
        'Content-Type': 'application/json'
    }
    baidu_data = {
        "inputs": {},
        "query": query,
        "response_mode": "blocking",
        "user": "abc-123"
    }
    try:
        response = requests.post(baidu_url, headers=baidu_headers, json=baidu_data, timeout=timeout)
        result = response.json()
        return result['answer'], response.status_code
    except:
        return None, 508


print(get_chat_completion_content("小狗"))

```

Dify流式请求示例

mini-omni2

https://arxiv.org/abs/2410.11190

https://github.com/gpt-omni/mini-omni2





![](https://www.dong-blog.fun/static/img/8509791e8851e45789c6cbd7603e3206.image.webp)


多阶段训练：我们提出一种有效的对齐训练方法，并在三阶段训练中分别进行编码器自适应、模态对齐和多模态微调。

![](https://www.dong-blog.fun/static/img/eb6f7a108cb7f794b0559c5aca7a421e.image.webp)


### 训练策略

在本节中，我们将介绍 Mini-Omni2 模型的训练阶段。Mini-Omni2 的整体训练流程如图 5 所示。训练过程分为三个阶段，每个阶段均采用多任务训练。在图中，除了第 1 阶段外，还额外引入了一项基础的文本到文本任务，但未明确展示。我们将整个训练过程划分为以下三个阶段：

1. **多模态编码器适配**  
   在第 1 阶段，我们采用快速的小规模训练，仅针对连接语言模型与编码器的线性层权重进行训练。第 1 阶段的目标是确保模型接收到的多模态特征与模型嵌入层中表示的文本标记特征高度相似。我们认为这种方法有两个主要优势：
   - 它使模型能够在后续训练中专注于基于模态特定问题回答的逻辑推理。
   - 它将语言模型核心参数的变化最小化，避免因适配其他模态而导致较大的参数调整。

2. **模态对齐**  
   在第 2 阶段，模型训练的主要任务是将基于文本输入的问题回答能力迁移到基于图像和音频的问题回答能力上。在此步骤中，第 1 阶段训练的适配器会被暂时冻结，语言模型的权重则参与训练。在这一阶段，所有任务均不涉及音频输出。对于基于图像和音频的问题回答任务，仅生成基于文本的回答，以建立模型的基础逻辑能力。语音输出仅是这种逻辑能力在不同模态上的延伸。

3. **后训练**  
   在第 3 阶段，模型的任务是扩展输出模态以包含音频响应生成。如图 5 所示，模型将在第 1 阶段和第 2 阶段的所有任务上进行训练，但所有问题回答任务的输出均为音频标记。此外，模型还将学习中断机制，这是一种将在下一节介绍的算法。
   
   
   
   
### 双向交互

实时对话模型需要具备双向交互能力，以便实现更灵活的互动。然而，这种中断机制不应仅仅是一个基于 VAD（语音活动检测）的简单系统，而应是一个能够判断用户是否有意打断模型的系统。此外，模型的能力需要具备高度的鲁棒性，能够应对各种外部情况（例如噪声、其他对话和无关声音）。我们通过基于命令的任务来探索这一功能，在该任务中，当用户说“停止 Omni”时，模型将立即停止讲话。此外，这种方法可以自然地扩展，融入更复杂的语义中断机制，通过开发更具上下文适应性的中断数据集来实现。

**背景噪声选择**：
1. 我们随机选用了来自 Libri-tts 数据集的多种语音识别样本作为原始的人类噪声数据样本。
2. 我们使用了来自 MUSAN[Snyder et al., 2015] 数据集的样本，其中包括音乐、人类语音、白噪声和城市噪声。

**语义中断构建**：  
我们合成了带有随机语音音色的“停止 Omni”短语，并将其与噪声混合。具体的数据构建方法将在下一节中介绍。

结合上述数据，模型将接收到包含“停止 Omni”短语的长序列数据，数据中穿插着各种噪声。模型将在实时生成过程中生成两种类型的状态标记：irq 和 n-irq，分别表示用户有意中断和无意中断。当推理时，若模型输出 irq 标记，它将停止生成过程并开始聆听新的问题。对于此任务，我们使用标记作为输入，以增强模型的实时处理能力。

mini-omni2 语音对话模型 论文

https://arxiv.org/abs/2402.12226

https://github.com/OpenMOSS/AnyGPT

我没实际测试，但我估计效果不好，这做下来工作量可是非常大的。






论文中对于统一多模态语言模型的实现，特别是如何提取和编码多模态数据，采用了如下方法来完成跨模态的统一处理：

---

### **1. 多模态离散化（Multimodal Discretization）**
核心在于将多模态的连续输入（如图像、语音和音乐）离散化为统一的标记序列，具体方法如下：

#### **图像离散化**
- 使用 **SEED Tokenizer**：
  - **编码器**：ViT（视觉Transformer）将输入的224×224 RGB图像分割为16×16的补丁。
  - **特征转换**：因果 Q-Former 将图像补丁特征转换为32个因果嵌入。
  - **量化处理**：通过一个包含8192个条目的VQ代码本将嵌入离散化为离散标记。
  - **与语言模型对齐**：通过MLP将视觉标记对齐到预训练的unCLIP稳定扩散（unCLIP-SD）的潜在空间。
  - **恢复阶段**：使用UNet解码器将生成嵌入恢复为原始图像。

#### **语音离散化**
- 使用 **SpeechTokenizer**（基于RVQ-VAE结构）：
  - **编码器-解码器架构**：将语音数据压缩为离散的矩阵，帧率为50 Hz。
  - **多层量化**：使用8层分层量化器，每层包含1024个条目。
  - **语义和副语言信息分离**：
    - 第一层捕获语义信息。
    - 后续层补充声学和副语言细节。
  - **语音标记表示**：10秒的语音被编码为一个500×8的矩阵，转换为语义标记和声学标记。
  - **在语言模型中使用**：LLM仅处理语义标记，副语言信息由专门的语音克隆模型处理。

#### **音乐离散化**
- 使用 **Encodec**：
  - **卷积自编码器**：将32kHz的单声道音频数据量化。
  - **残差量化**：采用4层RVQ量化器，每层有2048个条目。
  - **音乐标记表示**：5秒钟的音乐被编码为250个帧，生成250×4的代码矩阵。
  - **因果序列展开**：将四层音乐标记逐帧展平为因果序列，供语言模型按帧逐步预测。

---

### **2. 扩展语言模型的词汇表**
为了使语言模型处理离散化的多模态标记，论文对预训练语言模型（如LLaMA-2）进行了词汇表扩展：
- **新增模态标记**：将每个模态的特定标记加入语言模型的词汇表。
- **嵌入对齐**：对新加入的模态标记嵌入和预测层进行扩展，使其与语言模型的共享表示空间对齐。
- **统一标记序列**：将不同模态的标记组合成一个统一的多模态交错序列，用于语言模型训练。

---

### **3. 基于序列预测的统一训练**
- 使用 **下一个标记预测（Next Token Prediction）** 任务，训练语言模型以统一处理多模态标记序列。
- **多模态表示融合**：
  - 通过统一的标记序列，模型在感知、理解、推理和生成任务中实现跨模态对齐。
  - 各模态的语义信息在语言模型中共享和对齐。

---

### **4. 高质量多模态生成**
论文提出通过两阶段生成框架解决多模态高保真生成的挑战：
- **第一阶段：语义建模**
  - 使用语言模型生成语义级标记，这些标记包含经过模态间对齐的语义信息。
- **第二阶段：感知建模**
  - 使用非自回归模型（如扩散模型和SoundStorm）将语义标记还原为高保真模态内容。

具体方法：
- **图像生成**：将语义级的SEED标记通过扩散模型解码为高质量图像。
- **语音生成**：使用SoundStorm将语义标记转换为声学标记，并通过SpeechTokenizer解码为原始语音。
- **音乐生成**：Encodec标记被重建为高保真音乐。

---

### **5. 统一的数据预处理与增强**
论文还提到通过标准化数据集和统一处理机制，确保多模态数据在语言模型中以离散化标记的形式表现，从而实现跨模态对齐与处理。

这套方法以离散化为核心，将多模态数据转化为语言模型能直接处理的离散标记序列，并通过统一训练目标实现了跨模态的语义对齐和生成能力。

AnyGPT 论文解析

我是一个专注技术分享的博主,尤其爱搞深度学习和单片机电子。你现在看到的是我的个人博客网站。

管理 Schema

流式请求