FireAct：使用智能体（agent）微调大语言模型

1.概述

        近年来，针对语言模型（LMs）的研究致力于探索其与外部工具或环境互动的能力，以推进新型语言代理的发展。此类代理具备从环境反馈中汲取新知识、通过语言推理进行连续决策，以及借助自我反思提升任务解决能力的能力。工业界的进展，如ChatGPT插件，凸显了语言代理在实际应用中的巨大潜力和价值。

        目前，为便于实施，大多数语言代理倾向于采用现成的LMs并辅以少量的提示。然而，值得注意的是，现有的LMs并非针对生成行动或自我评估等代理使用场景而设计，这种少量提示的技术策略仅能提供有限的学习支持，从而导致LMs在作为代理时表现出较差且不稳定的性能。尽管有先进的代理（如Yao等人2023和Wang等人2023的研究所示）能够由GPT-4提供支持，但这种方法成本高昂、存在延迟，且面临着可控性和可重复性的挑战。

        微调技术被视为解决上述问题的有效途径。已有研究指出，经过微调的较小LMs在特定推理和行动需求上，能够超越使用提示的较大LMs，并且在推理时间和费用方面具备显著优势。然而，尽管关于语言代理和LM微调的研究众多，但专门针对代理的LM微调研究却相对有限。目前，仅有少数先前的工作对用于网页导航或API工具使用的LMs进行了微调，并进行了针对特定模型类型的初步扩展分析。

        鉴于此，作者提出了FireAct，