个人总结
LLaVA-o1把问题的回答拆解为这四个阶段：
- 总结阶段：简要概述问题和任务
- 描述阶段：详细描述图像中的相关部分
- 推理阶段：系统化地分析问题并进行推理
- 结论阶段：给出最终答案
https://arxiv.org/html/2406.12793v1
ChatGPT和GLM系列模型的发展
ChatGPT展现了卓越的能力，其最初在2022年11月由GPT-3.5模型[25]驱动，后来在2023年3月升级为GPT-4[27]。根据OpenAI的说法，GPT-3.5系列通过整合指令调优、监督微调（SFT）和/或来自人类反馈的强化学习（RLHF）[28]，在GPT-3的基础上进行了改进。最初的GPT-3在2020年发布[3]，标志着从GPT-1的1.17亿参数和GPT-2的15亿参数大幅提升至1750亿参数。这种规模的提升使GPT-3具备了上下文学习和通用能力，推动了大型语言模型（LLMs）的出现[6; 41]。
https://arxiv.org/abs/2310.11441
SoM（Set-of-Mark）提示是一种新的提示机制，具体来说，就是在图像的不同区域上添加一组视觉标记。通过在输入图像上覆盖数字、字母、掩码或框等各种格式的标记，SoM帮助模型更好地理解和定位图像中的语义上有意义的区域。这样做的目的是增强模型在视觉内容上的定位能力，使其能够更准确地将答案与相应的图像区域关联起来。
也就是改了图的。
https://arxiv.org/abs/2401.01614
摘要
最近在大型多模态模型（LMMs）上的发展，尤其是GPT-4V(ision)和Gemini，迅速扩展了多模态模型的能力边界，超越了传统任务如图像字幕生成和视觉问答。在这项研究中，我们探讨了像GPT-4V这样的LMMs作为通用网络代理的潜力，该代理可以遵循自然语言指令在任何给定网站上完成任务。我们提出了SEE ACT，这是一种通用的网络代理，利用LMMs的力量在网络上进行集成的视觉理解和操作。我们在最近的MIND2WEB基准上进行了评估。除了在缓存网站上的标准离线评估外，我们还开发了一种工具，使得能够在在线网站上运行网络代理的新在线评估设置成为可能。我们展示了GPT-4V在网络代理方面的巨大潜力——如果我们手动将其文本计划落实为网站上的动作，它可以成功完成51.1%的在线网站任务。这大大优于文本仅限于LLMs如GPT-4或专门为网络代理微调的小型模型（FLAN-T5和BLIP-2）。然而，落实仍然是一个主要的挑战。现有的LMM落实策略，如标记集合提示，事实证明对网络代理无效，而我们在本文中开发的最佳落实策略利用了HTML结构和视觉。然而，与理想的落实相比，仍然存在显著差距，为进一步改进留下了充足的空间。所有代码、数据和评估工具均可在 https://github.com/OSU-NLP-Group/SeeAct 获取。
