第 2 章 感知-认知-行为 (PCB) 框架

第 2 章 感知-认知-行为 (PCB) 框架2.1 PCB 框架的理论基础2.1.1 生物神经科学的启示2.1.1.1 大脑-身体-环境的动态耦合神经科学的最新进展揭示了智能系统并非由离散的感知、认知与行动模块顺序连接构成而是通过持续的动力学耦合形成的功能统一体。神经振荡neural oscillation研究提供了理解这种耦合的电生理基础其中丘脑-皮层回路中的 $\alpha$ 波段8-13 Hz与 $\gamma$ 波段30-80 Hz的交叉频率耦合cross-frequency coupling调节着感觉输入与运动输出的整合。镜像神经元系统mirror neuron system的发现表明动作理解与动作执行共享相同的神经基质前运动皮层 F5 区的神经元在观察他人抓取动作时表现出与自主执行时相似的放电模式这种同构性支持了感知与行动在神经实现层面的统一。皮层可塑性cortical plasticity研究进一步证实身体工具的使用可扩展身体图式body schema大脑将工具整合入近体空间peripersonal space的表征这种神经可塑性为延展认知提供了生物学证据。从动态系统视角大脑-身体-环境系统可建模为耦合振荡器网络$$\dot{\theta}_i \omega_i \sum_{j1}^N K_{ij} \sin(\theta_j - \theta_i - \phi_{ij}) \xi_i(t)$$其中 $\theta_i$ 表示第 $i$ 个神经群体的相位$\omega_i$ 为固有频率$K_{ij}$ 为连接强度$\phi_{ij}$ 为相位滞后$\xi_i(t)$ 为噪声项。这种耦合确保感知、认知与行为过程在时间上协调形成连贯的智能行为流。2.1.1.2 预测编码理论与自由能原理Friston 提出的自由能原理Free Energy Principle为理解 PCB 框架提供了统一的数学基础该原理认为所有自组织系统均最小化其变分自由能以维持非平衡稳态。在神经计算层面这体现为预测编码Predictive Coding架构其中大脑通过层级化的生成模型generative model预测感觉输入预测误差prediction error驱动信念更新与行动选择。生成模型定义了隐状态 $s$ 与感觉输入 $o$ 之间的概率映射$$p(o,s)p(o \mid s)p(s)$$变分自由能的上界约束通过变分推断近似后验分布 $q(s)$$$F(q)\mathbb{E}_q [\ln q(s) - \ln p(o,s)] \ge -\ln p(o)$$在感知过程中系统通过最小化感知自由能更新对环境的信念在行动过程中系统选择最小化预期自由能expected free energy的策略$$G(\pi)\mathbb{E}_{q(o \mid \pi)} [F(o)] \mathbb{E}_{q(o \mid \pi)} [C(o)]$$其中 $C(o)$ 表示观察的优先概率prior preference。这一框架将感知推断、认知模型学习与行为策略选择统一于单一的最优化原则之下预测误差既作为感知更新的信号也作为好奇心的内在驱动力。2.1.2 PCB 框架的数学形式化2.1.2.1 状态空间表示与观测模型PCB 框架的形式化基础建立在部分可观察马尔可夫决策过程Partially Observable Markov Decision Process, POMDP的扩展之上。系统状态由隐状态空间 $S \subset \mathbb{R}^n$ 中的向量 $s_t$ 描述观测由观测空间 $O \subset \mathbb{R}^m$ 中的 $o_t$ 表征。观测模型定义了从隐状态到观测的随机映射$$o_t g(s_t, a_t, \nu_t)$$其中 $g(\cdot)$ 为观测函数$a_t \in A$ 为动作$\nu_t \sim \mathcal{N}(0, \Sigma_o)$ 为观测噪声。状态转移遵循马尔可夫动力学$$s_{t1} f(s_t, a_t, \omega_t)$$其中 $f(\cdot)$ 为转移函数$\omega_t \sim \mathcal{N}(0, \Sigma_s)$ 为过程噪声。信念状态belief state$b_t p(s_t \mid o_{1:t}, a_{1:t-1})$ 提供了对隐状态的概率分布估计通过贝叶斯滤波更新$$b_{t1}(s) \eta \cdot p(o_{t1} \mid s) \int p(s \mid s, a_t) b_t(s) ds$$其中 $\eta$ 为归一化常数。这一表示将感知层定义为信念推断过程认知层维护生成模型 $p(o,s)$行为层则基于信念状态选择动作以最大化长期价值。2.1.2.2 策略网络与价值函数在 PCB 框架的行为层策略 $\pi(a \mid s)$ 定义为从状态到动作概率分布的映射。价值函数评估状态或状态-动作对的长期回报期望。状态值函数 $V^\pi(s)$ 遵循贝尔曼方程$$V^\pi(s) \mathbb{E}_\pi \left[ \sum_{k0}^\infty \gamma^k r_{tk1} \mid s_t s \right]$$其中 $\gamma \in [0,1)$ 为折扣因子$r_t$ 为即时奖赏。动作值函数 $Q^\pi(s,a)$ 表示在状态 $s$ 执行动作 $a$ 后遵循策略 $\pi$ 的期望回报$$Q^\pi(s,a) \mathbb{E}[r_{t1} \gamma V^\pi(s_{t1}) \mid s_t s, a_t a]$$最优策略 $\pi^*$ 最大化所有状态的价值对应的最优动作值函数 $Q^*$ 满足$$Q^*(s,a) \mathbb{E}[r \gamma \max_{a} Q^*(s, a) \mid s, a]$$在深度强化学习实现中策略网络 $\pi_\theta(a \mid s)$ 与价值网络 $V_\phi(s)$ 通过神经网络参数化利用策略梯度定理或时序差分学习更新参数实现端到端的感知-行动映射。2.1.2.3 信息瓶颈与高效编码感知层的信息处理受限于神经资源的物理约束信息瓶颈理论Information Bottleneck Theory为理解高效编码提供了优化框架。该理论寻求压缩表示 $T$ 同时保留与任务相关变量 $Y$ 的信息优化目标为$$\min_{p(t \mid x)} \mathcal{L} I(X;T) - \beta I(T;Y)$$其中 $I(\cdot;\cdot)$ 表示互信息$X$ 为感觉输入$T$ 为内部表示$\beta$ 为拉格朗日乘子权衡压缩与预测。在极限情况下最优编码策略呈现离散化的类别形成categorization解释感知范畴的自然涌现。对于连续时间信号高效编码假设Efficient Coding Hypothesis提出感觉系统应最大化输出与输入之间的互信息受限于平均发放率约束$$\max_{p(r \mid s)} I(S;R) \text{ s.t. } \mathbb{E}[|r|] \le C$$这导致感觉神经元的响应特性与自然环境刺激的统计结构匹配。2.2 感知层的设计原则2.2.1 多模态感知融合2.2.1.1 视觉-触觉融合的神经机制多模态融合是具身智能系统整合异构感觉通道的核心能力其神经机制以上颞沟superior temporal sulcus与顶叶皮层parietal cortex的多感觉整合区为基础。贝叶斯因果推断框架Bayesian Causal Inference提供了融合的最优统计模型。感觉加权遵循最大似然估计原则最优权重与单模态估计的可靠性方差的倒数成正比$$\hat{s} \frac{w_v \hat{s}_v w_h \hat{s}_h}{w_v w_h}, \quad w_i \frac{1}{\sigma_i^2}$$这种可靠性加权确保噪声较大的感觉通道对最终估计的贡献降低。2.2.1.2 本体感觉与外感觉整合本体感觉proprioception提供身体各部位位置与运动的状态估计。内部模型理论Internal Model Theory提出大脑维持前向模型forward model预测感觉结果$$\hat{o}_{t1} f(\hat{s}_t, a_t)$$以及反向或逆模型inverse model计算产生目标感觉所需的动作$$a_t f^{-1}(\hat{s}_t, o_{t1}^*)$$在姿态控制中冲突的解决遵循最优整合原则权重随环境统计动态调整$$w_{\text{vestibular}} \frac{\sigma_{\text{visual}}^2}{\sigma_{\text{visual}}^2 \sigma_{\text{vestibular}}^2}$$2.2.2 主动感知策略2.2.2.1 信息增益最大化主动感知强调感知过程受运动系统调控信息增益information gain或互信息增量作为感知动作的优化目标$$a^* \arg \max_a I(S;O \mid a) \arg \max_a [H(S) - H(S \mid O, a)]$$其中 $H(\cdot)$ 表示微分熵。对于高斯信念状态信息增益等价于预测误差协方差的减小$$\Delta I \frac{1}{2} \ln \frac{|\Sigma_{t \mid t}|}{|\Sigma_{t1 \mid t1}|}$$2.2.2.2 好奇心驱动的探索内在动机intrinsic motivation驱动的探索追求知识结构的泛化增长。形式化地定义时刻 $t$ 的学习进度为预测误差的变化$$LP(t) \mathbb{E}[|e_t|] - \mathbb{E}[|e_{t-1}|]$$其中 $e_t o_t - \hat{o}_t$ 为预测误差。在强化学习框架下这对应于设置内在奖赏函数$$r_t^{\text{intrinsic}} \|\nabla_\theta \mathcal{L}_t\|^2 \text{ 或 } r_t^{\text{intrinsic}} -\ln p_\theta(o_t)$$2.3 认知层的核心功能2.3.1 内部模型的构建2.3.1.1 前向模型与逆模型前向模型预测未来状态$\hat{s}_{t1} f_{\text{forward}}(s_t, a_t) \epsilon$。逆模型计算动作$a_t f_{\text{inverse}}(s_t, s_{t1}^*)$。这两种模型通过预测误差最小化协同习得$$\Delta \theta_{\text{forward}} \propto (s_{t1} - \hat{s}_{t1}) \nabla_\theta f_{\text{forward}}$$2.3.1.2 世界模型的层次结构层级化预测编码将环境动力学分解为抽象层级的因果结构。层级 $l$ 的预测误差驱动层级 $l1$ 的状态更新$$\varepsilon^{(l)} s^{(l)} - \hat{s}^{(l)} s^{(l)} - g^{(l1)}(s^{(l1)})$$时间抽象通过选项options或技能skills实现其价值函数满足$$Q^\pi(s,\omega) \mathbb{E}[r_{t1} \dots \gamma^{k-1} r_{tk} \gamma^k \max_{\omega} Q^\pi(s_{tk}, \omega) \mid s_t s]$$2.3.2 推理与决策机制2.3.2.1 概率推理与贝叶斯脑假说神经系统的发放率编码后验概率的对数$r_i \propto \ln p(s \mid o) \text{const}$。变分自由能最小化对应于预测编码网络中的误差最小化$$\frac{\partial F}{\partial \mu} \varepsilon_o \frac{\partial \varepsilon_o}{\partial \mu} \varepsilon_s \frac{\partial \varepsilon_s}{\partial \mu} 0$$决策遵循贝叶斯决策理论选择最大化期望效用的动作$a^* \arg \max_a \int U(s,a)p(s \mid o) ds$。2.3.2.2 双过程理论在机器人中的应用系统 1 对应快速响应$a_t \pi_{\text{reactive}}(o_t)$。系统 2 实施审慎规划$$V(s) \max_a [R(s,a) \gamma \sum_{s} P(s \mid s,a)V(s)]$$2.4 行为层的执行控制2.4.1 运动原语与技能表示2.4.1.1 动态运动原语 (DMP)DMP 由二阶线性系统与非线性强制项构成$$\tau \ddot{y} \alpha_y (\beta_y (g - y) - \dot{y}) f(x)$$其中 $f(x)$ 由径向基函数RBF网络近似$$f(x) \frac{\sum w_i \psi_i(x)}{\sum \psi_i(x)} x(g - y_0)$$2.4.1.2 技能参数化与泛化通过高斯混合回归GMR生成适应性轨迹$p(y \mid x) \mathcal{N}(y; \mu_{y \mid x}, \Sigma_{y \mid x})$。2.4.2 动作选择与协调2.4.2.1 竞争性与合作性动作选择采用竞争动力学实现动作选择$$\tau \frac{da_i}{dt} -a_i f(I_i - \sum_{j \ne i} w_{ij} a_j - \theta)$$节律性运动的同步通过相位振荡器实现$\dot{\phi}_i \omega_i \sum K_{ij} \sin(\phi_j - \phi_i - \Delta_{ij})$。2.4.2.2 多任务协调机制零空间投影null-space projection确保次要任务不干扰主要任务$$\dot{q} J_1^\dagger \dot{x}_1 (I - J_1^\dagger J_1) J_2^\dagger \dot{x}_2$$