https://arxiv.org/pdf/2502.13923

Qwen2.5-VL 技术报告总结

1. 模型概述
Qwen2.5-VL 是通义千问系列的最新多模态大模型，在视觉-语言理解、对象定位、文档解析及长视频分析等任务中表现卓越。通过动态分辨率处理、窗口注意力机制和绝对时间编码等技术创新，模型能够原生感知空间尺度和时间动态，无需依赖传统归一化技术。提供 72B、7B 和 3B 三种版本，分别适用于高性能计算和资源受限场景。

2. 核心技术创新

• 动态分辨率与窗口注意力：视觉编码器采用窗口注意力机制，显著降低计算复杂度，支持原生分辨率输入（如图像、长视频），同时保持高效推理。
• 绝对时间编码：扩展 Rotary Position Embedding (RoPE) 至时间维度，通过时间戳对齐实现精准秒级事件定位，提升长视频理解能力。
• 多模态数据融合：通过 MLP 压缩视觉特征序列，动态适配不同模态输入长度，提升跨模态对齐效率。

3. 训练与数据

• 数据规模：预训练数据从 1.2 万亿 token 扩展至 4.1 万亿 token，涵盖图像描述、文档解析（表格/图表/公式）、视频定位及多语言 OCR 等多样化模态。
• 训练策略：分阶段训练（视觉预训练、多模态联合训练、长上下文优化），动态打包数据以平衡计算负载，并通过数据清洗和合成提升质量。

4. 实验结果

• 多模态任务：72B 版本在 MMMU（大学级问题）、MathVista（数学推理）、MMBench（视觉问答）等基准上达到 SOTA，接近 GPT-4o 和 Claude 3.5 Sonnet。
• 文档与 OCR：在 CC-OCR、OmniDocBench 等文档解析任务中表现最佳，支持多语言、手写体及复杂图表的结构化提取。
• 视频理解：处理长达数小时的视频，实现秒级事件定位，性能优于 Gemini 1.5-Pro 等竞品。
• 轻量级版本：7B 和 3B 模型在资源受限场景下仍保持竞争力，如 MMStar 数据集上分别达 63.9% 和 55.9% 准确率。

5. 实际应用
Qwen2.5-VL 可作为智能代理，结合精准对象定位和推理能力，应用于计算机/手机操作、多模态交互等场景。其文档解析能力支持发票、表格等结构化数据提取，适用于企业自动化流程。

6. 结论
Qwen2.5-VL 通过架构创新与大规模多模态训练，在性能和效率上实现突破，为复杂视觉-语言任务提供了高效解决方案，同时兼顾不同场景的部署需求。