数理基础知识

大数定律

期望方差

x为连续随机变量，其概率密度函数为$f_x(x)$，x的期望值为:
$$E[x]={\int }_{-\infty }^{\infty }x{f}_x(x)dx$$
g为一个函数，g(x)的期望值为
$$E[g(x)]={\int }_{-\infty }^{\infty }g(x)f_x(x)dx$$

经常E会有下标，代表了期望值是对应下标分布的随机变量上计算得出的。比如
$$E_{x\sim f_x(x)}[h(x,y)]={\int }_{-\infty }^{\infty }h(x,y)f_x(x)dx$$

常见分布

伯努利分布

又名两点分布或者01分布，是一个离散型概率分布。记其成功概率为$p$($0\le p\le 1$)，则：
其概率质量函数为
$$f_x(x)=p^x(1-p{)}^{1-x}=\{\begin{array}{r}p(x=1)\\ 1-p(x=0)\end{array}$$
期望为$p$，方差为$p(1-p)$。

泊松分布

Poisson分布，是一个离散概率分布，适合于描述单位时间内随机事件发生次数的概率分布。
概率质量函数为：
$$p(X=k)=\frac{e^{-\lambda }{\lambda }^k}{k!}$$
期望为$\lambda$, 方差为$\sqrt{\lambda }$。

高斯分布

一维高斯分布：
$$f_x(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

多元高斯分布：
$$f_x(x)=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}exp[-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )]$$
$\mu \in R^{n\times 1}$, $\Sigma \in R^{n\times n}$, $|\Sigma |$为求协方差矩阵的det。

服从一维高斯分布的随机变量KL散度

两个高斯分布$p(x)=N({\mu }_1,{\sigma }_1)$和$q(x)=N({\mu }_2,{\sigma }_2)$
$$\begin{array}{rl}{D}_{KL}(p,q)& =\int p(x)log\frac{p(x)}{q(x)}dx\\ & =\int p(x)[logp(x)-logq(x)]dx\end{array}$$

$$\begin{array}{rl}\int p(x)logp(x)dx& =\int p(x)log[\frac{1}{\sqrt{2\pi {\sigma }_1^2}}exp(-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2})]dx\\ & =-\frac{1}{2}log(2\pi {\sigma }_1^2)+\int p(x)(-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2})dx\\ & =-\frac{1}{2}log(2\pi {\sigma }_1^2)-\frac{\int p(x)x^{2}dx-\int p(x)2x{\mu }_{1}dx+\int p(x){\mu }_1^{2}dx}{2{\sigma }_1^2}\\ & =-\frac{1}{2}log(2\pi {\sigma }_1^2)-\frac{{\mu }_1^2+{\sigma }_1^2-2{\mu }_1^2+{\mu }_1^2}{2{\sigma }_1^2}\\ & =-\frac{1}{2}[1+log(2\pi {\sigma }_1^2)]\end{array}$$

$$\begin{array}{rl}\int p(x)logq(x)dx& =\int p(x)log[\frac{1}{\sqrt{2\pi {\sigma }_2^2}}exp(-\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2})]dx\\ & =-\frac{1}{2}log(2\pi {\sigma }_2^2)+\int p(x)(-\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2})dx\\ & =-\frac{1}{2}log(2\pi {\sigma }_2^2)-\frac{\int p(x)x^{2}dx-\int p(x)2x{\mu }_{2}dx+\int p(x){\mu }_2^{2}dx}{2{\sigma }_2^2}\\ & =-\frac{1}{2}log(2\pi {\sigma }_2^2)-\frac{{\mu }_1^2+{\sigma }_1^2-2{\mu }_1{\mu }_2+{\mu }_2^2}{2{\sigma }_2^2}\\ & =-\frac{1}{2}log(2\pi {\sigma }_2^2)-\frac{{\sigma }_1^2+({\mu }_1-{\mu }_2{)}^2}{2{\sigma }_2^2}\end{array}$$

带入可得：
$$\begin{array}{rl}{D}_{KL}(p,q)& =\int p(x)[logp(x)-logq(x)]dx\\ & =-\frac{1}{2}[1+log(2\pi {\sigma }_1^2)]+\frac{1}{2}log(2\pi {\sigma }_2^2)+\frac{{\sigma }_1^2+({\mu }_1-{\mu }_2{)}^2}{2{\sigma }_2^2}\\ & =log(\frac{{\sigma }_2}{{\sigma }_1})+\frac{{\sigma }_1^2+({\mu }_1-{\mu }_2{)}^2}{2{\sigma }_2^2}-\frac{1}{2}\end{array}$$

服从多元高斯分布的随机变量KL散度

与一元高斯分布类似，第一部分：
$$\begin{array}{rl}\int p(x)logp(x)dx& =\int p(x)log[\frac{1}{(2\pi {)}^{n/2}|{\Sigma }_1{|}^{1/2}}exp[-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)]]dx\\ & =log\frac{1}{(2\pi {)}^{n/2}|{\Sigma }_1{|}^{1/2}}+\int p(x)[-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)]dx\\ & =log\frac{1}{(2\pi {)}^{n/2}|{\Sigma }_1{|}^{1/2}}-\frac{1}{2}{E}_{x\sim p(x)}[(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)]\end{array}$$
第二部分同理可得：
$$\begin{array}{rl}\int p(x)logq(x)dx& =log\frac{1}{(2\pi {)}^{n/2}|{\Sigma }_2{|}^{1/2}}-\frac{1}{2}{E}_{x\sim p(x)}[(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2)]\end{array}$$

带入可得：
$$\begin{array}{rl}{D}_{KL}(p,q)& =\int p(x)[logp(x)-logq(x)]dx\\ & =\frac{1}{2}log\frac{|{\Sigma }_2|}{|{\Sigma }_1|}+\frac{1}{2}{E}_{x\sim p(x)}[(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2)-(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)]\end{array}$$

多元正态分布下期望矩阵化的表示结果：
$$E[x^{T}Ax]=tr(A\Sigma )+{\mu }^{T}A\mu$$
证明过程如下：
$$\begin{array}{rl}E[x^{T}Ax]=E[tr(x^{T}Ax)]=E[tr(Ax{x}^T)]=tr[E(Ax{x}^T)]& =tr[A\cdot E(x{x}^T)]\\ & =tr[A(\Sigma +\mu {\mu }^T)]\\ & =tr(A\Sigma )+tr(A\mu {\mu }^T)\\ & =tr(A\Sigma )+tr({\mu }^{T}A\mu )\\ & =tr(A\Sigma )+{\mu }^{T}A\mu \end{array}$$
整个证明过程用到了如下性质：

1. $x^{T}Ax$是个标量，因此$x^{T}Ax=tr(x^{T}Ax)=tr(Ax{x}^T)$
2. $\Sigma =E[(x-\mu )(x-\mu {)}^T]=E[x{x}^T-x{\mu }^T-\mu x^T-\mu {\mu }^T]=E(x{x}^T)-\mu {\mu }^T$

进一步带入可得：
$$\begin{array}{rl}{D}_{KL}(p,q)& =\frac{1}{2}log\frac{|{\Sigma }_2|}{|{\Sigma }_1|}+\frac{1}{2}{E}_{x\sim p(x)}[(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2)-(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)]\\ & =\frac{1}{2}log\frac{|{\Sigma }_2|}{|{\Sigma }_1|}+\frac{1}{2}tr({\Sigma }_2^{-1}{\Sigma }_1)+({\mu }_1-{\mu }_2{)}^T{\Sigma }_2^{-1}({\mu }_1-{\mu }_2{)}^T-\frac{1}{2}tr({\Sigma }_1^{-1}{\Sigma }_1)-({\mu }_1-{\mu }_1{)}^T{\Sigma }_2^{-1}({\mu }_1-{\mu }_1{)}^T\\ & =\frac{1}{2}log\frac{|{\Sigma }_2|}{|{\Sigma }_1|}+\frac{1}{2}tr({\Sigma }_2^{-1}{\Sigma }_1)+({\mu }_1-{\mu }_2{)}^T{\Sigma }_2^{-1}({\mu }_1-{\mu }_2{)}^T-\frac{1}{2}n\end{array}$$

进一步延伸到VAE的训练过程，假设$p(x)=N({\mu }_1,{\sigma }_1)$为encoder估计出的隐变量$z$概率分布的参数，$q(x)=N({\mu }_2,{\sigma }_2)=(0,I)$为隐变量$z$的先验分布。我们希望对学习到的隐变量分布进行约束，使其符合标准高斯分布，方便后续采样生成。则有:
$$KL(p,q)=KL(N({\mu }_1,{\sigma }_1),N(0,I))=-log{\sigma }_1+\frac{1}{2}({\sigma }_1^2+{\mu }_1^2)-\frac{1}{2}$$

Gibbs不等式

若${\sum }_{i=1}^n{p}_i={\sum }_{i=1}^n{q}_i=1$，且$p_i,q_i\in (0,1]$，则有：
$$-\sum _i^n{p}_{i}log{p}_i\le -\sum _i^n{p}_{i}log{q}_i$$
当且仅当$p_i=q_i,\forall i$时，等号成立。

凸函数

convex function，是指函数图形上，任意两点连成的线段，皆位于图形的上方的实值函数。如单变的二次函数和指数函数。快速判断就是函数图形开口向上。

Jensen不等式

如果x是随机变量，f是凸函数，则有如下性质，称之为Jensen’s inequality（詹森不等式/琴生不等式）。
$$f(E(x))\le E[f(x)]$$
ELBO证明中会用到对数似然，这里延伸下log(x)函数是凹函数，-log(x)是凸函数。则有：
$$log(E(x))\ge E[log(x)]$$

似然函数

likelihood function，译为似然函数。是一种关于统计模型中参数的函数，表示模型参数的似然性。假设随机变量x的概率密度函数为$f(x|\theta )$，样本集D上有m个样本，则D上的似然函数写作$L(\theta |x)={\prod }_i^{m}f(x_i|\theta )$。

为什么要用对数似然？

1. 对$p(x)$取对数不影响单调性。
2. 减少计算量。似然函数是每个数据点概率的连乘。取对数可以将连乘化为连加，同时如果概率分布中含有指数项，比如高斯分布，也能将指数项化为求和形式，进一步减少计算量。
3. 利于结果更好的计算。因为概率在[0, 1]之间，因此概率连乘会变为一个很小的值，甚至可能会引起浮点数下溢，尤其是当数据集很大时，联合概率趋向于0，非常不利于计算。

泰勒近似

泰勒公式:
$$f(x)=f(x_0)+f^{{}^{\prime }}(x_0)(x-x_0)+\frac{f^{{}^{\prime \prime }}(x_0)}{2!}(x-x_0{)}^2+...+\frac{f^n(x_0)}{n!}(x-x_0{)}^n+o((x-x_0{)}^n)$$
麦克劳林公式（泰勒公式的特殊形式，在零点展开）：
$$f(x)=f(0)+f^{{}^{\prime }}(0)(x)+\frac{f^{{}^{\prime \prime }}(0)}{2!}{x}^2+...+\frac{f^n(0)}{n!}{x}^n+o(x^n)$$
常见函数的麦克劳林展开：
$$e^x=1+x+\frac{1}{2!}{x}^2+\frac{1}{3!}{x}^3+o(x^3)$$
$$ln(1+x)=x-\frac{1}{2!}{x}^2+\frac{1}{3!}{x}^3+o(x^3)$$
$$sin(x)=x-\frac{1}{3!}{x}^3+\frac{1}{5!}{x}^5+o(x^5)$$
$$cos(x)=x-\frac{1}{2!}{x}^2+\frac{1}{4!}{x}^4+o(x^4)$$
$$(1+x{)}^{\alpha }=1+\frac{\alpha }{1!}x+\frac{\alpha (\alpha -1)}{2!}{x}^2+\frac{\alpha (\alpha -1)(\alpha -2)}{3!}{x}^3+o(x^3)$$
正常近似取到一阶或者二阶项即可。

信息论

信息量

$-log(p(X=x))$表示一个概率事件或者随机变量X取值x时的信息量。$p(X=x)$为取值为x的概率。
信息量的单位随着计算公式中$log$运算的底数而变化，$log$底数为2时单位为比特(bit)，log底数为e时，单位为奈特(nat)。

信息熵

信息熵就是期望信息量，即对于一个信号系统来说，对于每次的信号，在平均意义上为了编码这个信号需要使用的信息量。在一个信号系统中，信息熵最大的时候是当每个信号概率相等的时候。通过大数定律可知，信息熵是编码一个信号系统所需信息量多理论下界。
$$h(x)=-\sum _{x\in X}p(x)logp(x)$$

KL散度

全名Kullback-Leible散度，又称相对熵。用以衡量两个分布之间的距离，$D_{KL}(p,q)$表示真实分布为$p$时，度量近似分布$q$和真实分布之间的差异程度。

连续随机变量的KL散度：
$$D_{KL}(p||q)=E_{x\sim p}[log\frac{p(x)}{q(x)}]=\int p(x)log\frac{p(x)}{q(x)}dx$$
离散随机变量的KL散度：
$$D_{KL}(p||q)=E_{x\sim p}[log\frac{p(x)}{q(x)}]=\sum _{x\in X}p(x)log\frac{p(x)}{q(x)}$$

KL散度有如下特性：

1. 不对称性：$D_{KL}(p||q)\ne D_{KL}(q||p)$。
2. 非负性：$D_{KL}(p||q)\ge 0$。

JS散度

Jensen-Shanno散度，是对称的。

交叉熵

交叉熵定义如下：
$$H(p,q)=E_{x\sim p}[-logq(x)]$$
离散随机变量的交叉熵形式如下：
$$H(p,q)=E_{x\sim p}[-logq(x)]=-\sum _{x\in X}p(x)logq(x)$$
连续随机变量的交叉熵形式如下：
$$H(p,q)=E_{x\sim p}[-logq(x)]=\int p(x)logq(x)dx$$

交叉熵可由相对熵推导得到：
$$\begin{array}{rl}{D}_{KL}(p||q)=E_{x\sim p}[log\frac{p(x)}{q(x)}]& =\sum _{x\in X}p(x)log\frac{p(x)}{q(x)}\\ & =\sum _{x\in X}p(x)logp(x)-\sum _{x\in X}p(x)logq(x)\\ & =-H(p)+H(p,q)\end{array}$$
$H(p)$为真实分布的信息熵，不影响模型参数优化。因此模型优化过程中，可以直接用交叉熵$H(p,q$作为目标函数。

对于交叉熵，可以有个直观的解释：数据集服从真实分布$p$，从数据集中抽取样本$x$，该样本被抽到的概率为$p(x)$，如果用近似分布$q$去编码该样本，需要用到的信息量为$-logq(x)$。对整个数据集求期望，当近似分布的参数优化至$H(p,q)=H(p)$时，可以认为近似分布$q(x)$已优化至和真实分布$p(x)$一致。

Wiener Process

维纳过程，又称为布朗运动，它是一种连续时间，连续状态的独立增量过程，其增量服从正态分布$N\sim (0,\Delta t)$。可以用以下公式来表示维纳过程：
$$W(t)=\sqrt{t}Z$$
其中$Z$是一个标准正态分布随机变量，t表示时间。对于维纳过程，我们可以证明其具有如下性质：

1. $W(0)$ = 0。
2. $W(t)$是一个连续的随机变量。
3. $W(t)$具有独立增量：对于任意$0\le t_1<t_2<...<t_n$，其增量$W(t_{i+1})$ - $W(t_i)$相互独立。
4. 增量服从正态分布：对于任意$0\le s<t$，其增量$W(t)$ - $W(s)$服从$N\sim (0,t-s)$的正态分布。

SDE

Applied Stochastic Differential Equations
随机微分方程最泛化的表达形式:
$$dx=f(x,t)dt+L(x,t)dw$$
$f(x,t)$为drift函数，决定了系统的nominal dynamics，$L(x,t)$是扩散矩阵，决定了噪声如何进入系统。 $w$为布朗运动。

其均值和方差可表示为：
$$\frac{dm}{dt}=E[f(x,t)]$$
$$\frac{dP}{dt}=E[f(x,t)(x-m{)}^T]+E[(x-m)f^T(x,t)]+E[L(x,t)Q{L}^T(x,t)]$$
具体可见上书的公式5.51。