https://arxiv.org/abs/2401.01614
摘要
最近在大型多模态模型（LMMs）上的发展，尤其是GPT-4V(ision)和Gemini，迅速扩展了多模态模型的能力边界，超越了传统任务如图像字幕生成和视觉问答。在这项研究中，我们探讨了像GPT-4V这样的LMMs作为通用网络代理的潜力，该代理可以遵循自然语言指令在任何给定网站上完成任务。我们提出了SEE ACT，这是一种通用的网络代理，利用LMMs的力量在网络上进行集成的视觉理解和操作。我们在最近的MIND2WEB基准上进行了评估。除了在缓存网站上的标准离线评估外，我们还开发了一种工具，使得能够在在线网站上运行网络代理的新在线评估设置成为可能。我们展示了GPT-4V在网络代理方面的巨大潜力——如果我们手动将其文本计划落实为网站上的动作，它可以成功完成51.1%的在线网站任务。这大大优于文本仅限于LLMs如GPT-4或专门为网络代理微调的小型模型（FLAN-T5和BLIP-2）。然而，落实仍然是一个主要的挑战。现有的LMM落实策略，如标记集合提示，事实证明对网络代理无效，而我们在本文中开发的最佳落实策略利用了HTML结构和视觉。然而，与理想的落实相比，仍然存在显著差距，为进一步改进留下了充足的空间。所有代码、数据和评估工具均可在 https://github.com/OSU-NLP-Group/SeeAct 获取。
https://arxiv.org/abs/2201.11903
作者单位：谷歌的研究团队
摘要
我们探讨了如何通过生成一个思维链——一系列中间推理步骤——显著提高大型语言模型执行复杂推理的能力。尤其是，我们展示了在足够大的语言模型中，这种推理能力如何通过一种简单的方法自然地涌现，这种方法称为思维链提示（chain-of-thought prompting），其中提供少量的思维链示例作为提示中的范例。
在三个大型语言模型上的实验表明，思维链提示在一系列算术、常识和符号推理任务上提高了性能。实证收益可能非常显著。例如，仅用八个思维链示例提示一个PaLM 540B模型，就能在数学文字题的GSM8K基准测试中达到最新的准确性，甚至超过了经过微调并带有验证器的GPT-3。
https://arxiv.org/abs/2210.03629
作者单位：
普林斯顿大学计算机科学系 谷歌研究，大脑团队
个人总结
模型回答问题，我们当然期望是由问题直接映射到回答，这需要太多先验数据集训练，在世界上你总能找到问题是没出现在训练集的。这时候就需要一些策略让模型变得聪明一点，而类似CoT，或者本文的ReAct ，就是在试图让大模型变得会思考问题，人思考一个问题有可能会发散，比如问题是"你是人吗"，那么人的大脑直接回答"我是人",那如果问题是"腾讯投资的前个公司叫啥名"，人就会借助工具开始发散了。
一些复杂问题或者密集问题，人都需要发散思考，然后得到答案，而解决问题的途径，正是这些框架想做的事情。
Android Instruct 数据集，该数据集包含 94.3k 条操作记录，用于细调模型。
A NDROID L AB 基准测试提出了显著的挑战，因为即使是领先的模型 GPT-4o 也只能达到 31.16% 的成功率。
ANDROID L AB 定义了一组动作空间和两种操作模式，形成了 ANDROID L AB 环境。我们采用了前人工作中的主要动作空间，并增加了一个模型返回值（完成动作）。这两种基本的操作模式是 SoM（Yang et al., 2023a）和仅 XML 模式，区别在于代理是否可以访问手机屏幕的快照。
