ReAct论文阅读笔记总结
ReAct：Synergizing Reasoning and Acting in Language Models
背景
最近的研究结果暗示了在自主系统中结合语言推理与交互决策的可能性。
- 一方面，经过适当Prompt的大型语言模型（LLMs）已经展示了在算术、常识和符号推理任务中通过多步推理推导问题答案的新兴能力。然而，这种“思维链(CoT)”推理是一个静态的黑箱，因为模型依赖其内部表示生成思维，并未与外部世界建立联系，这限制了其进行反应性推理或更新知识的能力。这可能导致诸如事实幻觉和推理过程中的错误传播等问题
- 另一方面，近期的研究探索了利用预训练语言模型在交互环境中进行规划和行动的可能性 。然而，这些方法并未利用语言模型进行高层次目标的抽象推理，也未维护一个工作记忆以支持行动。
上图表示4种提示方法的比较。(1a）表示普通方法，(1b)表示CoT，即只有Reason。(1c)表示仅行动，(1d)表示ReACT，即Reason+Act
上图表示基于AlfWorld解决方案的Act和ReAct方法比较。(2a)表示只有行动，(2b)表示ReAct
研究目的、动机
如何以协同的方式结合推理与行动，以及这种结合是否能带来相较于单独推理或行动的系统性优势。
成果
- 作者提出了ReAct，这是一种将推理和行动与语言模型相结合的一般范式，用于解决不同的语言推理和决策务。 提示LLMs以交错方式生成与任务相关的语言推理跟踪和动作，这允许模型执行动态推理以创建、维护和调整高级行动计划（Reason to Act），同时还与外部环境（例如维基百科）交互以将其他信息纳入推理（Act to Reason）。
- 在问答、事实验证、基于文本的游戏和网页导航进行评测，证明了提出方法的有效性，与精心设计的CoT相竞争。总体上最好的方法是ReAct和CoT的组合，允许在推理过程中同时使用内部知识和外部获得的信息。
收获
- ReAct思想简述：
思考：涉及对下一个行动进行推理。在这一步需要评估当前情况并考虑可能的行动方案。
行动：基于思考的结果，决定采取什么行动。
观察：执行行动后，需要观察并收集反馈。对行动结果进行评估，它可能影响或改变下一轮思考的方向。
While(目标未完成)：Thought；Action；Observation
- 对于ReAct来说，采取行动检索准确和最新的知识至关重要
- ReAct+CoT结合效果会更好一些
- 存在的问题。尽管ReAct可以提高模型的可信度，但这种结构约束也降低了其制定推理步骤的灵活性，导致推理错误率高于 CoT。 且ReAct具有一种常见错误模式，会重复生成之前的想法和行动，作者将其归类为 “推理错误” 的一部分，因为模型未能推理出正确的下一步行动并跳出循环。
- 此外作者对这四种方法在Prompt和微调（基于3000样本点对模型做了微调）上进行了测试，表明ReAct更适合微调后的场景。可能是前者本质上是教模型记住（可能是幻觉的）知识事实，而后者教模型如何（推理和）行动以访问维基百科的信息，这是一种更通用的知识推理技能。
举例四种方式的Prompt案例
- normal
Question: 哪位演员出演了《肖申克的救赎》，并且还出演了另一部由弗兰克·德拉邦特执导的电影？Answer： 摩根·弗里曼Question:《肖申克的救赎》的导演是谁？Answer：弗兰克·德拉邦特Question:摩根·弗里曼在《绿色奇迹》中扮演了什么角色？Answer：他饰演了角色“艾利斯·波伊德·瑞德”。Question:《绿色奇迹》是哪一年上映的？Answer： 1999年
- Act
Question: 哪位演员出演了《肖申克的救赎》，并且还出演了另一部由弗兰克·德拉邦特执导的电影？Action 1：查询关于《肖申克的救赎》的文档。Observation 1: 《肖申克的救赎》是一部1994年的电影，由弗兰克·德拉邦特执导，主演包括蒂姆·罗宾斯和摩根·弗里曼。Action 2：查询弗兰克·德拉邦特的其他电影。Observation 2: 弗兰克·德拉邦特还执导了《绿色奇迹》，这部电影于1999年上映，主演包括汤姆·汉克斯和摩根·弗里曼。Action 3：确认摩根·弗里曼是否同时出演了这两部电影。Observation 3:是的，摩根·弗里曼在这两部电影中都有出演。Final Answer：摩根·弗里曼
- CoT
Question：哪位演员出演了《肖申克的救赎》，并且还出演了另一部由弗兰克·德拉邦特执导的电影？Thought：首先，我需要找到《肖申克的救赎》的主演名单，并确认导演是弗兰克·德拉邦特。Answer： 主演包括蒂姆·罗宾斯和摩根·弗里曼，导演是弗兰克·德拉邦特。Question：弗兰克·德拉邦特还执导了哪些电影？Thought：我需要查找弗兰克·德拉邦特的其他作品，并检查是否有相同的演员出演。Answer：弗兰克·德拉邦特还执导了《绿色奇迹》，主演包括汤姆·汉克斯和摩根·弗里曼。Question：是否有演员同时出演了《肖申克的救赎》和《绿色奇迹》？Thought：根据以上信息，摩根·弗里曼在这两部电影中都有出演。Answer： 摩根·弗里曼
- ReAct
Question：哪位演员出演了《肖申克的救赎》，并且还出演了另一部由弗兰克·德拉邦特执导的电影？Thought 1：我需要先找到《肖申克的救赎》的主演名单和导演信息。Action 1：查询关于《肖申克的救赎》的文档。Observation 1：《肖申克的救赎》是一部1994年的电影，由弗兰克·德拉邦特执导，主演包括蒂姆·罗宾斯和摩根·弗里曼。Thought 2：接下来，我需要查找弗兰克·德拉邦特的其他电影，并确认是否有相同的演员出演。Action 2：查询弗兰克·德拉邦特的其他电影。Observation 2：弗兰克·德拉邦特还执导了《绿色奇迹》，这部电影于1999年上映，主演包括汤姆·汉克斯和摩根·弗里曼。Thought 3 : 现在我可以确认，摩根·弗里曼同时出演了《肖申克的救赎》和《绿色奇迹》。Final Answer : 摩根·弗里曼
相关文章：
ReAct论文阅读笔记总结
ReAct：Synergizing Reasoning and Acting in Language Models 背景 最近的研究结果暗示了在自主系统中结合语言推理与交互决策的可能性。 一方面，经过适当Prompt的大型语言模型（LLMs）已经展示了在算术、常识和符号推理任务中通…...
Linux云计算SRE-第十七周
1. 做三个节点的redis集群。 1、编辑redis节点node0(10.0.0.100)、node1(10.0.0.110)、node2(10.0.0.120)的安装脚本 [rootnode0 ~]# vim install_redis.sh#!/bin/bash # 指定脚本解释器为bashREDIS_VERSIONredis-7.2.7 # 定义Redis的版本号PASSWORD123456 # 设置Redis的访问…...
Python在数字货币交易中的算法设计：从策略到实践
Python在数字货币交易中的算法设计：从策略到实践 随着区块链技术的发展和加密货币市场的繁荣，数字货币交易已经成为金融领域的一个重要分支。从个体投资者到量化基金，算法交易（Algorithmic Trading）正在为提高交易效率和决策质量提供强大的支撑。在这些技术应用中，Pytho…...
高纬度、跨极区导航技术
本文是何昆鹏老师所写，在此非常感谢何老师的分享。 全球导航，特别是极区导航，一直被美俄导航领域所关注。美俄本身部分国土就处于极区，很多战略军事部署与全球航线也都处于该区域，加之其战略军事任务也都强调全球覆盖…...
用AI学编程2——python学习1
一个py文件，学会所有python所有语法和特性，给出注释，给出这样的文件 Python 学习整合文件 """ Python 学习整合文件 包含 Python 的基础语法、数据结构、函数定义、面向对象编程、异常处理、文件操作、高级特性等内容 每个部…...
用数据唤醒深度好眠，时序数据库 TDengine 助力安提思脑科学研究
在智能医疗与脑科学快速发展的今天，高效的数据处理能力已成为突破创新的关键。安提思专注于睡眠监测与神经调控，基于人工智能和边缘计算，实现从生理体征监测、智能干预到效果评估的闭环。面对海量生理数据的存储与实时计算需求，安…...
Ubuntu下MySQL的安装与使用（一）
目录 用户切换 MySQL的安装 MySQL的初步使用 登录与退出 Linux和mysql中的普通用户和root用户 查看、创建与使用 简单应用 MySQL 数据库在 Linux 文件系统中的存储结构 数据库、数据库服务、数据库管理系统（宏观） 微观下的DBMS SQL语言及其分…...
步进电机软件细分算法解析与实践指南
1. 步进电机细分技术概述 步进电机是一种将电脉冲信号转换为角位移的执行机构，其基本运动单位为步距角。传统步进电机的步距角通常为 1.8（对应 200 步 / 转），但在高精度定位场景下，这种分辨率已无法满足需求。细分技术…...
pytorch retain_grad vs requires_grad
requires_grad大家都挺熟悉的，因此穿插在retain_grad的例子里进行捎带讲解就行。下面看一个代码片段： import torch# 创建一个标量 tensor，并开启梯度计算 x torch.tensor(2.0, requires_gradTrue)# 中间计算：y 依赖于 x&#x…...
RabbitMQ消息队列中间件安装部署教程（Windows）-2025最新版详细图文教程（附所需安装包）
目录 前言 一、安装Erlang环境 1、下载Erlang安装包 2、安装Erlang 3、设置环境变量 二、安装RabbitMQ环境 1、下载RabbitMQ安装包 2、安装RabbitMQ 3、设置环境变量 三、启动RabbitMQ 1、开启RabbitMQ管理插件 2、启动RabbitMQ 四、访问RabbitMQ 前言 RabbitMQ 是…...
vue-cli3+vue2+elementUI+avue升级到vite+vue3+elementPlus+avue总结
上一个新公司接手了一个vue-cli3vue2vue-router3.0elementUI2.15avue2.6的后台管理项目，因为vue2在2023年底已经不更新维护了，elementUI也只支持到vue2，然后总结了一下vue3的优势，最后批准升级成为了vitevue3vue-router4.5element…...
车载以太网测试-3【Wireshark介绍】
1 摘要 Wireshark 是一款开源的网络协议分析工具，广泛用于网络故障排查、协议分析、网络安全检测等领域。它能够捕获网络数据包，并以详细的、可读的格式显示这些数据包的内容。广泛应用于车载网络测试，是车载网络测试工程师必须掌握的工具。…...
扫雷雷雷雷雷雷雷
大家好啊，我是小象٩(๑ω๑)۶ 我的博客：Xiao Xiangζั͡ޓއއ 很高兴见到大家，希望能够和大家一起交流学习，共同进步。 这一节课我们不学习新的知识，我们来做一个扫雷小游戏 目录 扫雷小游戏概述一、扫雷游戏分析…...
图片分类实战：食物分类问题（含半监督）
食物分类问题 simple_class 1. 导入必要的库和模块 import random import torch import torch.nn as nn import numpy as np import os from PIL import Image #读取图片数据 from torch.utils.data import Dataset, DataLoader from tqdm import tqdm from torchvision impo…...
RuoYi框架添加自己的模块（学生管理系统CRUD）
RuoYi框架添加自己的模块（学生管理系统） 框架顺利运行 首先肯定要顺利运行框架了，这个我不多说了 设计数据库表 在ry数据库中添加表tb_student 表字段如图所示 如图所示 注意id字段是自增的 注释部分是后面成功后前端要展示的部分 导入…...
机器学习在地图制图学中的应用
原文链接：https://www.tandfonline.com/doi/full/10.1080/15230406.2023.2295948#abstract CSDN/2025/Machine learning in cartography.pdf at main keykeywu2048/CSDN GitHub 核心内容 本文是《制图学与地理信息科学》特刊的扩展评论，系统探讨了机…...
【JAVA架构师成长之路】【电商系统实战】第9集：订单超时关闭实战（Kafka延时队列 + 定时任务补偿）
30分钟课程：订单超时关闭实战（Kafka延时队列 定时任务补偿） 课程目标 理解订单超时关闭的业务场景与核心需求。掌握基于 Kafka 延时队列与定时任务的关单方案设计。实现高并发场景下的可靠关单逻辑（防重复、幂等性）。…...
《探秘课程蒸馏体系“三阶训练法”：解锁知识层级递进式迁移的密码》
在人工智能与教育科技深度融合的时代，如何高效地实现知识传递与能力提升，成为众多学者、教育工作者以及技术专家共同探索的课题。课程蒸馏体系中的“三阶训练法”，作为一种创新的知识迁移模式，正逐渐崭露头角，为解决这…...
K8s 1.27.1 实战系列（六）Pod
一、Pod介绍 1、Pod 的定义与核心设计 Pod 是 Kubernetes 的最小调度单元，由一个或多个容器组成，这些容器共享网络、存储、进程命名空间等资源，形成紧密协作的应用单元。Pod 的设计灵感来源于“豌豆荚”模型，容器如同豆子，共享同一环境但保持隔离性。其核心设计目标包括…...
Java CountDownLatch 用法和源码解析
🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/literature?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，…...
Unity引擎使用HybridCLR(华佗)热更新
大家好，我是阿赵。 阿赵我做手机游戏已经有十几年时间了。记得刚开始从做页游的公司转到去做手游的公司，在面试的时候很重要的一个点，就是会不会用Lua。使用Lua的原因很简单，就是为了热更新。 热更新游戏内容很重要。如果…...
深度学习进阶：神经网络优化技术全解析
文章目录 前言一、优化问题的本质1.1 目标1.2 挑战 二、梯度下降优化算法2.1 基础SGD2.2 动量法2.3 Adam优化器 三、正则化技术3.1 L2正则化3.2 Dropout 四、学习率调度4.1 为什么要调度？4.2 指数衰减4.3 ReduceLROnPlateau 五、实战优化：MNIST案例5.1 完…...
肿瘤检测新突破：用随机森林分类器助力医学诊断
前言 你有没有想过，科技能不能在肿瘤检测中发挥巨大的作用？别着急，今天我们将带你走进一个“聪明”的世界，通过随机森林分类器进行肿瘤检测。对，你没听错，机器学习可以帮助医生更快、更准确地判断肿瘤是良性还是恶性，就像医生口袋里的“超级助手”一样，随时准备提供帮…...
DeepSeek学习 一
DeepSeek学习 一 一、DeepSeek是什么？二、Deepseek可以做什么？模型理解提问内容差异使用原则 模式认识三、如何提问？RTGO提示语结构CO-STAR提示语框架DeepSeek R1提示语技巧 总结 一、DeepSeek是什么？ DeepSeek是一家专注通用人工…...
编程考古-Borland历史：《.EXE Interview》对Anders Hejlsberg关于Delphi的采访内容（上）
为了纪念Delphi在2002年2月14日发布的25周年（2020.2.12），这里有一段由.EXE杂志编辑Will Watts于1995年对Delphi首席架构师Anders Hejlsberg进行的采访记录。在这次采访中，Anders讨论了Delphi的设计与发展，以及即将到来的针对Windows 95的32位版本。 问： Delphi是如何从T…...
高并发之接口限流，springboot整合Resilience4j实现接口限流
添加依赖 <dependency><groupId>io.github.resilience4j</groupId><artifactId>resilience4j-spring-boot2</artifactId><version>1.7.0</version> </dependency><dependency><groupId>org.springframework.boot…...
电脑如何拦截端口号，实现阻断访问？
如果你弟弟喜欢玩游戏，你可以查询该应用占用的端口，结合以下方法即可阻断端口号，让弟弟好好学习，天天向上！ 拦截端口可以通过防火墙和路由器进行拦截 ，以下是常用方法： 方法 1：使用…...
RK3588 安装ffmpeg6.1.2
在安装 ffmpeg 在 RK3588 开发板上时，你需要确保你的开发环境（例如 Ubuntu、Debian 或其他 Linux 发行版）已经设置好了交叉编译工具链，以便能够针对 RK3588 架构编译软件。以下是一些步骤和指导，帮助你安装 FFmpeg： 1. 安装依赖项 首先，确保你的系统上安装了所有必要的…...
SQL SELECT DISTINCT 语句
在 SQL 中，SELECT DISTINCT 语句用于从表中查询不重复的值。这对于需要从数据库检索唯一值时非常有用。DISTINCT 关键字会去除结果集中重复的行，只返回唯一的记录。 SELECT DISTINCT column1, column2, ... FROM table_name; column1, column2, ... 是…...
MELON的难题
MELON的难题 真题目录: 点击去查看 E 卷 200分题型 题目描述 MELON有一堆精美的雨花石（数量为n，重量各异），准备送给S和W。MELON希望送给俩人的雨花石重量一致，请你设计一个程序，帮MELON确认是否能将雨花石平均分配。 输入描述 第1行输入为雨花石个数: n，0 < n &l…...