该文章已加密，点击 阅读全文 并输入密码后方可查看。

Transformer中的Attention机制：为何选择点乘而非加法？

Transformer模型在自然语言处理中的广泛应用主要得益于其核心机制——Attention机制。Attention机制通过衡量不同单词之间的相关性，使模型能够捕捉长距离依赖关系。在Attention计算中，通常选择使用**点乘（Dot Product）**来衡量Query和Key之间的相关性。一个常见的问题是：为什么选择点乘而不是加法？本文将详细探讨两者在计算复杂度和效果上的差异，并给出相关代码示例。

为什么Transformer中Q和K使用不同的权重矩阵生成？

在Transformer架构中，自注意力机制依赖于查询（Query）、键（Key）、和值（Value）之间的关系。查询和键是生成注意力权重的关键元素，而值则是实际进行加权的元素。我们具体来分析为什么在生成Q和K时要使用不同的权重矩阵，而不能直接用同一个值进行自身点乘。

Transformer 为什么使用多头注意力，而不是单头？

在现代深度学习中，Transformer 模型的多头注意力（Multi-Head Attention）机制被证明是自然语言处理和其他领域中极其强大的工具。一个常见的问题是：为什么 Transformer 使用多头注意力，而不是简单地使用一个头的注意力？ 本文将从公式推导和代码实现的角度进行详细且专业的讲解。

提示词：推荐博客的软文撰写者

如何理解多模态模型Qwen2-VL中的MIN_PIXELS和MAX_PIXELS

在多模态模型Qwen2-VL中，MIN_PIXELS 和 MAX_PIXELS 的设定决定了图像输入的最小和最大像素限制。这些设定帮助模型在保证图像质量的前提下，控制计算成本和资源消耗。本文将结合源码详细介绍这些变量的意义及其实现细节。完整代码可以在 Qwen2-VL的GitHub仓库 中找到。

项目概述

本项目旨在构建一个基于InternVL2-40B模型的多模态API服务。该服务使用Docker环境，利用lmdeploy库进行模型部署，并通过API接口接收图像和文本输入，生成描述性文本输出。

环境准备

相关资源链接

• 项目模型地址
• lmdeploy文档
• Dockerfile
• 所有InternVL2模型

文献是记录有（ ）和( )的一切载体【多选】

按照国际标准，“文献”的定义是“记录有知识和信息的一切载体”，按载体说，包括纸草文献、泥板文献、甲骨文献、金文文献、石刻文献、简牍文献、纸质文献、音像文献、机读文献等。

该文章已加密，点击 阅读全文 并输入密码后方可查看。

• Qwen2-VL GitHub项目：Qwen2-VL
• Qwen2-VL-7B-Instruct Hugging Face模型仓库：Qwen2-VL-7B-Instruct

vllm 的 api方式 【显存占用有问题】

启动镜像并安装必要环境

首先，使用以下命令启动 Docker 镜像，并挂载指定目录到容器中：

bash
展开代码
docker run --gpus all -it --shm-size 16G --rm -v /root/xiedong/Qwen2-VL-7B-Instruct:/Qwen2-VL-7B-Instruct --net host qwenllm/qwenvl:2-cu121 bash

接下来，在容器内安装必要的依赖包：

bash
展开代码
pip install git+https://github.com/huggingface/transformers@21fac7abba2a37fae86106f87fcf9974fd1e3830
pip install accelerate
pip install -U qwen-vl-utils

# 根据你的 CUDA 版本安装 vllm
CUDA_VERSION=cu121
pip install 'vllm==0.6.1' --extra-index-url https://download.pytorch.org/whl/${CUDA_VERSION}

如何在 Linux 上使用 Python 快速搭建 HTTP 服务来共享图片

在许多开发和数据处理场景中，快速共享文件，尤其是图片文件，是一项重要的需求。本文将介绍如何在 Linux 系统上使用 Python 的内置库快速搭建一个 HTTP 服务，以便其他服务器或客户端可以通过 URL 访问和下载指定目录中的图片。

为什么选择 Python 的 HTTP 服务？

Python 是一种简单易学且功能强大的编程语言，其内置的 http.server 模块可以帮助我们轻松创建一个 HTTP 服务器。与其他复杂的网络框架相比，http.server 提供了一个快速的解决方案，适合需要临时文件共享或开发测试的场景。

使用 Docker 容器下载 laion_aesthetics_1024_33M_9.parquet 文件示例

我下载了一个示例文件 laion_aesthetics_1024_33M_9.parquet 并存放在 /ssd/xiedong/parquet_test 目录中，接下来，我将通过启动 Docker 容器来完成该文件的数据下载。

核心思路是：每个容器配备一个配置文件，配置文件内定义了下载设置（如输入和输出文件位置等）。容器启动后会依据配置文件执行任务，任务完成后容器自动关闭。

下载并配置Qwen2-VL-72B-Instruct-GPTQ-Int4模型

首先，下载Qwen2-VL-72B-Instruct-GPTQ-Int4模型到指定路径（例如：/root/xiedong/Qwen2-VL-72B-Instruct-GPTQ-Int4）。该路径可以根据实际情况调整。

部署 Qwen2-VL-72B-Instruct-GPTQ-Int4 模型

在之前的文章 【深度学习】LLaMA-Factory部署Qwen2-VL 中，已经介绍了如何部署未量化的模型。本篇将讨论如何部署量化过的模型，即 Qwen2-VL-72B-Instruct-GPTQ-Int4。

AutoGPTQ 安装教程与问题解决

参考教程：

官方教程地址：[AutoGPTQ 教程](https://github.com/AutoGPTQ/AutoGPTQ/blob/main/README_zh.md

初始化：

c
展开代码
void OLED_Init(void)
{
    oled_port_init();
    delay(4000);       //初始化之前的延时很重要！

    OLED_WR_Byte_(0xAE, OLED_CMD); //--display off
    OLED_WR_Byte_(0x00, OLED_CMD); //---set low column address
    OLED_WR_Byte_(0x10, OLED_CMD); //---set high column address
    OLED_WR_Byte_(0x40, OLED_CMD); //--set start line address
    OLED_WR_Byte_(0xB0, OLED_CMD); //--set page address
    OLED_WR_Byte_(0x81, OLED_CMD); // contract control
    OLED_WR_Byte_(0xFF, OLED_CMD); //--128
    OLED_WR_Byte_(0xA1, OLED_CMD); //set segment remap
    OLED_WR_Byte_(0xA6, OLED_CMD); //--normal / reverse
    OLED_WR_Byte_(0xA8, OLED_CMD); //--set multiplex ratio(1 to 64)
    OLED_WR_Byte_(0x3F, OLED_CMD); //--1/32 duty
    OLED_WR_Byte_(0xC8, OLED_CMD); //Com scan direction
    OLED_WR_Byte_(0xD3, OLED_CMD); //-set display offset
    OLED_WR_Byte_(0x00, OLED_CMD); //
    OLED_WR_Byte_(0xD5, OLED_CMD); //set osc division
    OLED_WR_Byte_(0x80, OLED_CMD); //
    OLED_WR_Byte_(0xD8, OLED_CMD); //set area color mode off
    OLED_WR_Byte_(0x05, OLED_CMD); //
    OLED_WR_Byte_(0xD9, OLED_CMD); //Set Pre-Charge Period
    OLED_WR_Byte_(0xF1, OLED_CMD); //
    OLED_WR_Byte_(0xDA, OLED_CMD); //set com pin configuartion
    OLED_WR_Byte_(0x12, OLED_CMD); //
    OLED_WR_Byte_(0xDB, OLED_CMD); //set Vcomh
    OLED_WR_Byte_(0x30, OLED_CMD); //
    OLED_WR_Byte_(0x8D, OLED_CMD); //set charge pump enable
    OLED_WR_Byte_(0x14, OLED_CMD); //

    OLED_Clear();
    OLED_WR_Byte_(0xAF, OLED_CMD); //--turn on oled panel

}

博客文章：理解 Python 中的 multiprocessing.set_start_method('spawn')

在 Python 的并发编程领域，如何管理进程的启动对于确保程序稳定性和合理管理资源至关重要。multiprocessing 模块为启动子进程提供了几种方法，其中 spawn 是在某些场景下特别有用和稳健的选项。

在本篇文章中，我们将介绍 FLUX.1 文生图技术，并进行实际操作演示。

什么是 FLUX.1？

FLUX.1 是 Black Forest Labs 推出的文生图模型，详细介绍请参考官方文章：Black Forest Labs 公告

项目地址及配置指南

我们使用合成数据和经过筛选的公开数据来训练我们的模型。该模型已在 10 亿张图像上进行了预训练。微调数据包括 3000 万张专注于特定视觉内容和风格的高质量美学图像，以及 300 万张偏好数据图像。

项目地址：Stable Diffusion 3 Medium

为了顺利拉取项目资源，您需要科学上网，并获取 Hugging Face Token。下面是获取 Token 的步骤。

如何获取 Hugging Face Token

1. 前往 Hugging Face 官方教程，了解 Token 相关信息。
2. 访问 Hugging Face Token 管理页面，并确保您已注册或登录账号。
3. 在 Token 页面点击“新增 Token”，并确保赋予仓库访问权限。参考下图：

4. 成功生成的 Token 格式类似如下：

展开代码
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

复制并保存该 Token。