https://arxiv.org/abs/2411.10323

摘要

最近发布的Claude 3.5计算机使用模型脱颖而出，成为首个在公开测试版中提供计算机使用功能的图形用户界面（GUI）代理。作为一个早期测试版，其在复杂的现实环境中的能力仍然未知。在这项探索Claude 3.5计算机使用的案例研究中，我们精心设计并组织了一系列跨越多个领域和软件的任务。通过这些案例的观察，我们展示了Claude 3.5计算机使用在从语言到桌面操作的端到端能力上的前所未有的表现。与此同时，我们还提供了一个开箱即用的代理框架，方便用户部署基于API的GUI自动化模型并轻松实现。本案例研究旨在展示Claude 3.5计算机使用的能力和局限性的基础工作，并通过详细的分析提出关于规划、行动和批判的问题，这些问题必须考虑在内以推动未来的改进。我们希望这项初步探索能激发未来在GUI代理领域的研究。本文中的所有测试案例可以通过以下项目进行尝试：https://github.com/showlab/computer_use_ootb 。

个人总结

LLaVA-o1把问题的回答拆解为这四个阶段：

1. 总结阶段：简要概述问题和任务
2. 描述阶段：详细描述图像中的相关部分
3. 推理阶段：系统化地分析问题并进行推理
4. 结论阶段：给出最终答案

sglang

项目github仓库：

https://github.com/sgl-project/sglang

项目说明书：

https://sgl-project.github.io/start/install.html

资讯：

https://github.com/sgl-project/sgl-learning-materials?tab=readme-ov-file#the-first-sglang-online-meetup

https://arxiv.org/html/2406.12793v1

ChatGPT和GLM系列模型的发展

ChatGPT展现了卓越的能力，其最初在2022年11月由GPT-3.5模型[25]驱动，后来在2023年3月升级为GPT-4[27]。根据OpenAI的说法，GPT-3.5系列通过整合指令调优、监督微调（SFT）和/或来自人类反馈的强化学习（RLHF）[28]，在GPT-3的基础上进行了改进。最初的GPT-3在2020年发布[3]，标志着从GPT-1的1.17亿参数和GPT-2的15亿参数大幅提升至1750亿参数。这种规模的提升使GPT-3具备了上下文学习和通用能力，推动了大型语言模型（LLMs）的出现[6; 41]。

https://arxiv.org/abs/2310.11441

SoM（Set-of-Mark）提示是一种新的提示机制，具体来说，就是在图像的不同区域上添加一组视觉标记。通过在输入图像上覆盖数字、字母、掩码或框等各种格式的标记，SoM帮助模型更好地理解和定位图像中的语义上有意义的区域。这样做的目的是增强模型在视觉内容上的定位能力，使其能够更准确地将答案与相应的图像区域关联起来。

也就是改了图的。