Tool Documentation Enables Zero-Shot Tool-Usage with Large Language Models

本文是LLM系列文章的内容，针对《Tool Documentation Enables Zero-Shot Tool-Usage with Large Language Models》的翻译。

摘要

如今，大型语言模型（LLM）通过提供一些工具用法的演示来学习使用新工具。不幸的是，演示很难获得，如果选择了错误的演示，可能会导致不希望的有偏见的使用。即使在极少数情况下，演示很容易获得，也没有原则性的选择协议来确定提供多少演示以及提供哪些演示。随着任务变得越来越复杂，选择搜索组合增长，并且总是变得棘手。我们的工作提供了一种替代演示的方法：工具文档。我们提倡使用工具文档——对单个工具使用的描述——而不是演示。我们通过对视觉和语言模式中的6项任务的三个主要实证发现来证实我们的说法。首先，在现有的基准测试中，只有工具文档的零样本提示就足以引发正确的工具使用，实现与很少的零样本提示相当的性能。其次，在一个新收集的具有数百个可用工具API的真实工具使用数据集上，我们表明工具文档比演示更有价值，零样本文档显著优于没有文档的小样本。第三，我们强调了工具文档的好处，通过使用刚刚发布的未公开的最先进模型作为工具来处理图像生成和视频跟踪。最后，我们强调了使用工具文档自动启用新应用程序的可能性：通过只使用GroundingDino、Stable Diffusion、XMem和SAM的文档，LLM可以重新发明刚刚发布的Grounded SAM和Track Anything模型的功能。

1 引言

2 相关工作

3 实验设置

3.1 常规的工作流

3.2 工具使用提示方法

3.3 评估任务

4 实证研究结果

4.1 文档避开了示范的必要性

4.2 使用文档可以有效的扩展工具

4.3 使用新的照片与视频工具即插即用

4.4 性能与文档质量

5 结论

在本文中，我们检查了工具文档在使用LLM启用零样本工具方面的有效性。我们首先表明，当提供工具文档时，LLM可以实现与小样本同类产品相当或更好的性能。然后，我们仅通过文档在新收集的API上扩展到一个更大的工具集。通过简单地插入新工具及其文档，LLM能够在无需进一步演示的情况下处理图像编辑和视频跟踪中看不见的任务，并复制最近流行项目的功能，这表明了自动知识发现的潜力。总的来说，我们通过关注LLM在文档中的内部规划和推理能力，而不是通过演示明确指导其行为，为LLM的工具使用提供了新的视角。