【数据分析】(交互) 延迟互信息（熵、概率密度、高斯核、带宽估计）

在信息理论和时间序列分析中，研究变量之间的相互依赖性和信息流动是理解复杂系统行为的关键。

交互延迟互信息（Interactive Delayed Mutual Information, IDMI）是一种用于量化两个时间序列之间相互依赖关系的方法，它结合了互信息和时间延迟的概念，能够捕捉系统中不同时间点的依赖性。

一、互信息基础

互信息（Mutual Information, MI）是量化两个随机变量之间相互依赖性的度量，能够捕捉非线性依赖关系。

互信息是一种已知一个变量的情况下，另一个变量不确定性减少的度量。互信息越大，相互影响越紧密（这里也体现了概率、熵的概念）。举例：变量A表示骰子点数的奇偶性（假设0是奇数，1是偶数），变量B是骰子点数，知道变量B取值为6时，变量A的不确定性减少了（A是1）。

对于两个离散随机变量 $X$ 和 $Y$，互信息定义为：

$$I(X;Y)=\sum _{x\in X}\sum _{y\in Y}p(x,y)\log \left(\frac{p(x,y)}{p(x)p(y)}\right)$$

其中：

• $p(x,y)$ 是 $X=x$ 和 $Y=y$ 时的联合概率分布（即两个事件同时发生的概率）。
• $p(x)$ 和 $p(y)$ 分别是 $X$ 和 $Y$ 的边缘概率分布（即只考虑一个变量，另一个任意取值）。

$p(x,y)=p(x)\ast p(y)$是否成立：

• 如果x、y是独立的变量，上式成立。互信息表达式中的对数值就是$log(1)=0$，也就是两个独立变量的互信息为0。
• 如果x、y不独立，上式不成立。这时候就要使用条件概率了，$p(x,y)=p(x)\ast p(y|x)$，即x、y同时发生的概率等于x发生的概率乘以x发生的前提下y发生的概率，这很好理解。

互信息也可以表示为熵的差值形式：

$$I(X;Y)=H(X)+H(Y)-H(X,Y)$$

这里，$H(X)$ 和 $H(Y)$ 分别是 $X$ 和 $Y$ 的熵，$H(X,Y)$ 是联合熵。

熵的定义为：

$$H(X)=-\sum _{x\in X}p(x)\log p(x)$$

熵的概念见本文补充章节。 上面的公式很好推导的，对数变成减法就行了，以及${\sum }_{y_j}P(X=x_i,Y=y_j)=P(X_i)$。

二、延迟互信息

对于时间序列，通常需要考虑时间上的延迟效应。延迟互信息（Delayed Mutual Information, DMI）扩展了互信息的概念，量化了两个时间序列在不同时间延迟下的依赖关系。给定时间序列 $X_t$ 和 $Y_t$，延迟互信息定义为：

$$I_{\tau }(X_t;Y_{t+\tau })=I(X_t;Y_{t+\tau })$$

该公式表示在时间点 $t$ 上的 $X_t$ 与在时间点 $t+\tau$ 上的 $Y_{t+\tau }$ 之间的互信息。

延迟互信息的计算步骤如下：

1. 计算联合概率分布：根据时间延迟 $\tau$，计算 $X_t$ 和 $Y_{t+\tau }$ 的联合概率分布 $p(X_t,Y_{t+\tau })$。
2. 计算边缘概率分布：分别计算 $X_t$ 的边缘概率分布 $p(X_t)$ 和 $Y_{t+\tau }$ 的边缘概率分布 $p(Y_{t+\tau })$。
3. 计算互信息：使用互信息的定义公式计算 $I_{\tau }(X_t;Y_{t+\tau })$。

举例：

原来：
X： 1 2 3 4 5 6 7 8 9
Y： 1 2 3 4 5 6 7 8 9
计算X滞后阶数为2时X和Y的延迟互信息，就是计算：
X'：3 4 5 6 7 8 9
Y'：1 2 3 4 5 6 7 8 9
之间的互信息
序列长的需要截掉多余的部分，最终即计算：
X''：3 4 5 6 7 8 9
Y''：1 2 3 4 5 6 7 
之间的互信息

2.1 交互延迟互信息

交互延迟互信息（IDMI）进一步扩展了延迟互信息的概念，通过在多个时间尺度上计算和整合延迟互信息，得到一个综合的依赖度量。

其基本思想是分析两个时间序列在多个时间延迟和时间尺度下的交互作用。

设定一组时间延迟 ${\tau }_i$ 和时间尺度 $s_j$，IDMI 可以表示为：

$$IDMI(X_{}$$