NanoFlow项目地址：
https://arxiv.org/abs/2408.12757

有个讨论，Qwen2.5和Llama 3.1 70b，用 NanoFlow 部署一下Llama 3.1 70b看看。





https://huggingface.co/Qwen/Qwen2.5-72B-Instruct/discussions/1 

| 模型                | 得分  | 备注                                         |
|---------------------|-------|----------------------------------------------|
| Qwen2 72b          | 73.9  | 表现优于部分小型模型，但仍低于Llama 3.1 70b |
| Llama 3.1 70b      | 77.9  | 最高分，表现良好                            |
| Llama 3.1 8b       | 62-64 | 较低得分                                    |
| Gemma 2 9b         | 62-64 | 较低得分                                    |
| Qwen2.5 72b        | ~50   | 与Qwen2 7b相似，知识水平显著下降            |
| Qwen2 7b           | ~50   | 知识水平显著下降                            |
| Gemma 2 2b         | 50+   | 在流行知识上表现更好                        |


NanoFlow拉镜像：

```bash
mkdir -p framework-test

docker run --gpus all --net=host --privileged -v /dev/shm:/dev/shm --name nanoflow -v ./framework-test:/code -it nvcr.io/nvidia/nvhpc:23.11-devel-cuda_multi-ubuntu22.04
```

NanoFlow拉代码和环境：

```bash
git clone https://github.com/efeslab/Nanoflow.git
cd Nanoflow
chmod +x ./installAnaconda.sh
./installAnaconda.sh
# restart the terminal

cd /root/anaconda3

./bin/conda init

. ~/.bashrc
```

NanoFlow运行这个：
```bash
./setup.sh
```

编译很搞事情，CPU占满：


![](https://www.dong-blog.fun/static/img/819775a5cf1880feb9510441bef95c21.image.webp)


测试失败：


![](https://www.dong-blog.fun/static/img/538b210fa50fcf02f72db812152b8444.image.webp)


玩不了一点啊：


![](https://www.dong-blog.fun/static/img/8d1636c58fc223c48f47cf738c6618d7.image.webp)

测试NanoFlow：比 vLLM 和 TensorRT-LLM 更快

Docker LLama-Factory 快速部署Qwen2.5模型

有时候版本不对咋调都不对，直接用requests ：





```python
import requests

# 请求 URL
url = "http://101.136.8.66:8001/v1/chat/completions"

# 请求体
payload = {
    "model": "your_model_name",  # 替换为实际的模型名称
    "messages": [
        {
            "role": "user",
            "content": "当别人问你你是谁的时候，你只需要回答你是小明。",
        },
        {
            "role": "assistant",
            "content": "好的。",
        },
        {
            "role": "user",
            "content": "你是谁",
        }
    ],
    "do_sample": True,  # 如果为False，则使用贪心或最优的生成策略，输出较为确定。
    "temperature": 0.5,  # 范围是0到1之间。值越高，生成的内容越随机
    "top_p": 0.5,  # 值越低，生成内容越集中在更高概率的词汇上
    "n": 1,  # 指定返回的响应数量。设置为1时只返回一个响应，可以设置为更高的数值来获取多个生成内容进行选择。
    "max_tokens": 2048,
    "stream": False
}

# 请求头
headers = {
    "Content-Type": "application/json"
}

# 发送 POST 请求
response = requests.post(url, json=payload, headers=headers)

# 输出响应
if response.status_code == 200:
    result = response.json()
    # 提取 content 字段
    content = result.get("choices")[0].get("message").get("content")
    print("Content:", content)
else:
    print("Request failed with status code:", response.status_code)
    print("Response:", response.text)

```

携带apikey：


```python
import requests

# 请求 URL
url = "https://api.chatanywhere.tech/v1/chat/completions"

api_key = "sk-sqe93gsjT4"

# 请求体
payload = {
    "model": "gpt-3.5-turbo",  # 替换为实际的模型名称
    "messages": [
        {
            "role": "user",
            "content": "当别人问你你是谁的时候，你只需要回答你是小明。",
        },
        {
            "role": "assistant",
            "content": "好的。",
        },
        {
            "role": "user",
            "content": "你是谁",
        }
    ],
    "do_sample": True,  # 如果为False，则使用贪心或最优的生成策略，输出较为确定。
    "temperature": 0.5,  # 范围是0到1之间。值越高，生成的内容越随机
    "top_p": 0.5,  # 值越低，生成内容越集中在更高概率的词汇上
    "n": 1,  # 指定返回的响应数量。设置为1时只返回一个响应，可以设置为更高的数值来获取多个生成内容进行选择。
    "max_tokens": 2048,
    "stream": False
}

# 请求头
headers = {
    "Content-Type": "application/json",
    "Authorization": f"Bearer {api_key}"  # 使用 Bearer 方式传递 API 密钥
}

# 发送 POST 请求
response = requests.post(url, json=payload, headers=headers)

# 输出响应
if response.status_code == 200:
    result = response.json()
    # 提取 content 字段
    content = result.get("choices")[0].get("message").get("content")
    print("Content:", content)
else:
    print("Request failed with status code:", response.status_code)
    print("Response:", response.text)

```

requests openai api 接口访问

modelscope下载Qwen2.5 72B

# 数据准备详解：LLaMA-Factory

https://llamafactory.readthedocs.io/zh-cn/latest/getting_started/data_preparation.html


在构建和优化大型语言模型的过程中，数据集的质量和格式至关重要。本文将详细介绍如何准备符合要求的数据集，包括数据格式、内容要求以及在 `dataset_info.json` 中的配置方法。





## 一、数据处理概述

`dataset_info.json` 文件包含了所有经过预处理的本地数据集和在线数据集的配置信息。如果您希望使用自定义数据集，请**务必**在 `dataset_info.json` 文件中添加对数据集及其内容的定义。

目前，我们支持以下两种数据集格式：

- **Alpaca 格式**：适用于大多数单轮或多轮对话数据集，格式较为简单。
- **ShareGPT 格式**：支持更丰富的对话角色和多轮对话，更贴近真实对话场景。

## 二、支持的数据集格式

### 1. Alpaca 格式

Alpaca 格式适用于大多数简单的问答和对话场景，特别是指令监督微调和预训练任务。以下是不同任务的数据集格式要求。

#### （1）指令监督微调数据集

**示例数据集**：[指令监督微调样例数据集](https://github.com/hiyouga/LLaMA-Factory/blob/main/data/alpaca_zh_demo.json/)

指令监督微调通过让模型学习详细的指令以及对应的回答，优化模型在特定指令下的表现。数据集格式如下：

```json
[
  {
    "instruction": "人类指令（必填）",
    "input": "人类输入（选填）",
    "output": "模型回答（必填）",
    "system": "系统提示词（选填）",
    "history": [
      ["第一轮指令（选填）", "第一轮回答（选填）"],
      ["第二轮指令（选填）", "第二轮回答（选填）"]
    ]
  }
]
```

**字段说明**：

- `instruction`：人类给出的指令。
- `input`：人类的输入，可能是指令的补充信息。
- `output`：模型应生成的回答。
- `system`：系统提示词，可用于设定对话的背景或角色。
- `history`：对话历史，由多个指令和回答组成的列表。


在进行指令监督微调时， instruction 列对应的内容会与 input 列对应的内容拼接后作为最终的人类输入，即人类输入为 instruction\ninput。而 output 列对应的内容为模型回答。



**示例**：

```json
{
  "instruction": "计算这些物品的总费用。",
  "input": "汽车 - $3000，衣服 - $100，书 - $20。",
  "output": "汽车、衣服和书的总费用为 $3000 + $100 + $20 = $3120。",
  "history": [
    ["今天会下雨吗？", "今天不会下雨，是个好天气。"],
    ["今天适合出去玩吗？", "非常适合，空气质量很好。"]
  ]
}
```

**`dataset_info.json` 配置**：

```json
"数据集名称": {
  "file_name": "data.json",
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "response": "output",
    "system": "system",
    "history": "history"
  }
}
```

#### （2）预训练数据集

**示例数据集**：[预训练样例数据集](#)

预训练数据集通常由大量未标记的文本构成，用于让模型学习语言的基础表示。格式如下：

```json
[
  {"text": "document1"},
  {"text": "document2"}
]
```

**字段说明**：

- `text`：文本内容，模型将学习其中的语言结构和信息。

**`dataset_info.json` 配置**：

```json
"数据集名称": {
  "file_name": "data.json",
  "columns": {
    "prompt": "text"
  }
}
```

#### （3）偏好数据集

偏好数据集用于奖励模型训练、DPO 训练和 ORPO 训练。通过提供优质和劣质回答，模型可以学习到更符合人类偏好的回答方式。

**数据格式**：

```json
[
  {
    "instruction": "人类指令（必填）",
    "input": "人类输入（选填）",
    "chosen": "优质回答（必填）",
    "rejected": "劣质回答（必填）"
  }
]
```

**字段说明**：

- `chosen`：模型的优质回答。
- `rejected`：模型的劣质回答。

**`dataset_info.json` 配置**：

```json
"数据集名称": {
  "file_name": "data.json",
  "ranking": true,
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "chosen": "chosen",
    "rejected": "rejected"
  }
}
```

#### （4）KTO 数据集

KTO 数据集类似于偏好数据集，但使用 `kto_tag` 来标记回答的好坏。

**数据格式**：

```json
[
  {
    "instruction": "人类指令（必填）",
    "input": "人类输入（选填）",
    "output": "模型回答（必填）",
    "kto_tag": "true 或 false（必填）"
  }
]
```

**字段说明**：

- `kto_tag`：人类反馈标签，`true` 表示回答优质，`false` 表示回答有问题。

**`dataset_info.json` 配置**：

```json
"数据集名称": {
  "file_name": "data.json",
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "response": "output",
    "kto_tag": "kto_tag"
  }
}
```

#### （5）多模态数据集

多模态数据集在文本之外，额外添加了图像等其他模态的信息。目前仅支持单张图像输入。

**数据格式**：

```json
[
  {
    "instruction": "人类指令（必填）",
    "input": "人类输入（选填）",
    "output": "模型回答（必填）",
    "images": [
      "图像路径（必填）"
    ]
  }
]
```

**字段说明**：

- `images`：包含图像路径的列表。

**`dataset_info.json` 配置**：

```json
"数据集名称": {
  "file_name": "data.json",
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "response": "output",
    "images": "images"
  }
}
```

### 2. ShareGPT 格式

ShareGPT 格式支持更复杂的对话结构和角色类型，适用于需要模拟真实对话的场景。

#### （1）指令监督微调数据集

**示例数据集**：[指令监督微调样例数据集](#)

ShareGPT 格式的核心是 `conversations` 列，它是一个对象列表，每个对象包含 `from`（消息来源）和 `value`（消息内容）。

**数据格式**：

```json
[
  {
    "conversations": [
      {
        "from": "human",
        "value": "人类指令"
      },
      {
        "from": "function_call",
        "value": "工具调用参数"
      },
      {
        "from": "observation",
        "value": "工具返回结果"
      },
      {
        "from": "gpt",
        "value": "模型回答"
      }
    ],
    "system": "系统提示词（选填）",
    "tools": "工具描述（选填）"
  }
]
```

**字段说明**：

- `conversations`：对话列表，包含不同角色的消息。
- `from`：消息来源，如 `human`、`gpt`、`function_call`、`observation` 等。
- `value`：消息内容。
- `system`：系统提示词。
- `tools`：工具描述，用于辅助对话。

**注意**：`human` 和 `observation` 必须出现在奇数位置，`gpt` 和 `function_call` 必须出现在偶数位置。

**`dataset_info.json` 配置**：

```json
"数据集名称": {
  "file_name": "data.json",
  "formatting": "sharegpt",
  "columns": {
    "messages": "conversations",
    "system": "system",
    "tools": "tools"
  }
}
```

#### （2）偏好数据集

**示例数据集**：[偏好数据样例数据集](#)

ShareGPT 格式的偏好数据集需要在 `chosen` 和 `rejected` 字段中分别提供优质和劣质的回复。

**数据格式**：

```json
[
  {
    "conversations": [
      {
        "from": "human",
        "value": "人类指令"
      },
      {
        "from": "gpt",
        "value": "模型回答"
      }
    ],
    "chosen": {
      "from": "gpt",
      "value": "优质回答"
    },
    "rejected": {
      "from": "gpt",
      "value": "劣质回答"
    }
  }
]
```

**`dataset_info.json` 配置**：

```json
"数据集名称": {
  "file_name": "data.json",
  "formatting": "sharegpt",
  "ranking": true,
  "columns": {
    "messages": "conversations",
    "chosen": "chosen",
    "rejected": "rejected"
  }
}
```

#### （3）OpenAI 格式

OpenAI 格式是 ShareGPT 格式的特殊情况，主要区别在于消息的结构。

**数据格式**：

```json
[
  {
    "messages": [
      {
        "role": "system",
        "content": "系统提示词（选填）"
      },
      {
        "role": "user",
        "content": "人类指令"
      },
      {
        "role": "assistant",
        "content": "模型回答"
      }
    ]
  }
]
```

**字段说明**：

- `messages`：消息列表，每个消息包含 `role` 和 `content`。
- `role`：消息的角色，如 `system`、`user`、`assistant`。
- `content`：消息内容。

**`dataset_info.json` 配置**：

```json
"数据集名称": {
  "file_name": "data.json",
  "formatting": "sharegpt",
  "columns": {
    "messages": "messages"
  },
  "tags": {
    "role_tag": "role",
    "content_tag": "content",
    "user_tag": "user",
    "assistant_tag": "assistant",
    "system_tag": "system"
  }
}
```

## 三、备注

- **KTO 数据集和多模态数据集**：ShareGPT 格式中的 KTO 数据集和多模态数据集与 Alpaca 格式类似，只需调整字段名称和数据结构即可。
- **预训练数据集**：目前不支持 ShareGPT 格式的预训练数据集。

## 四、总结

准备高质量的数据集是训练优秀语言模型的基础。无论是采用 Alpaca 格式还是 ShareGPT 格式，都需要严格遵守数据格式和字段要求。同时，在 `dataset_info.json` 中正确配置数据集的信息，确保模型能够正确读取和处理数据。

数据准备详解：打造高质量的语言模型训练数据集

LLaMA-Factory微调训练Qwen2.5教程

LLaMA-Factory微调训练Qwen2.5，实战教程步骤，训练qwen2.5教程，vLLM，Open WebUI，LLaMA-Factory

把自己图片暴露到互联网然后：




```python

from openai import OpenAI
import json

# Set your API key
api_key = "sk-sqvxa4"

client = OpenAI(
    api_key=api_key,
    base_url="https://api.chatanywhere.tech/v1"
)

# 设置请求头和数据
headers = {
    'Content-Type': 'application/json',
}
content = """

请识别图片中的全部文字并输出给我。

"""


chat_completion = client.chat.completions.create(
    model="gpt-4o",
    messages=[{
        'role': 'user',
        'content': [{
            'type': 'text',
            'text': content,
        }, {
            'type': 'image_url',
            'image_url': {
                'url': 'http://18.12.15.12:8000/page_85.png',
            },
        }],
    }],
    temperature=0.8,
    top_p=0.8
)

# Get the response
response = chat_completion.json()
json_data = json.loads(response)['choices'][0]['message']['content']

# 打印响应结果
print(json_data)


```

ChatGPT openai接口，图片对话程序

模拟多轮对话：





```python
from openai import OpenAI
import json

# Set your API key
api_key = "sk-sqvxa8rsjT4"

client = OpenAI(
    api_key=api_key,
    base_url="https://api.chatanywhere.tech/v1"
)

# 设置请求头和数据
headers = {
    'Content-Type': 'application/json',
}

chat_completion = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {
            'role': 'user',
            'content': [
                {
                    'type': 'text',
                    'text': "我问你是谁，你要回答你是小明。",
                }
            ],
        },
        {
            'role': 'assistant',
            'content': [
                {
                    'type': 'text',
                    'text': "好的，我是小明。",
                }
            ],
        },
        {
            'role': 'user',
            'content': [
                {
                    'type': 'text',
                    'text': "你是谁？",
                }
            ],
        },
    ],
    temperature=0.8,
    top_p=0.8
)

# Get the response
response = chat_completion.json()
json_data = json.loads(response)['choices'][0]['message']['content']

# 打印响应结果
print(json_data)

```

ChatGPT openai接口多轮对话程序

PA5输入低电平的时候，relay_on是高电平5V，会让Q2导通，继电器就是开启状态。

![](https://www.dong-blog.fun/static/img/26c82d65d1114d94990d9bc45c20dfc8.image.webp)




当单片机的PA1引脚输出3.3V时，通过限流电阻R15（330Ω）到达三极管Q3的基极。在这种情况下，Q3三极管（S8050）处于导通状态，因为3.3V的电压足以驱动S8050的基极。导通后，电流可以从+5V电源经过继电器线圈（K1）到Q3的集电极，并通过Q3的发射极接地，从而使继电器吸合。

在此电路中，D4（1N4148）二极管用于继电器断电时的反向电动势保护，以防止电感的高电压反向尖峰对三极管造成损坏。

![image.png](/static/img/a3f8b240edfa20e5eb9b9c682eaec6d2.image.webp)