19 贝叶斯线性回归

19 贝叶斯线性回归

19.1 频率派线性回归

数据与模型：

• 样本：
  $${\{(x_i,y_i)\}}_{i=1}^N,x_i\in {\mathbb{R}}^p,y_i\in {\mathbb{R}}^p$$

  $$X=(x_1{x}_2\dots x_N{)}^T=\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ \dots \\ x_N^T\end{array}\right)=\left(\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1N}\\ x_{21}& x_{22}& \dots & x_{2N}\\ \dots & & & \\ x_{N1}& x_{N2}& \dots & x_{NN}\end{array}\right),Y=\left(\begin{array}{c}{y}_1^T\\ y_2^T\\ \dots \\ y_N^T\end{array}\right)$$

• 回归方程：
  $$f(x)=w^{T}x=x^{T}w,y=f(x)+\underset{noise}{\underbrace{\epsilon }},\epsilon \backsim N(0,{\sigma }^2)$$
  其中$x,y,\epsilon$都是随机变量，假设$w$用于表示参数

在频率派的线性回归中，我们是通过假设$w$表示一个未知的常量，转化为优化问题进行求解。我们将这种方法称为点估计，在过去我们学习过了两种方法：

1. $LSE⟸MLE(\text{noise is Gaussian})$——极大似然估计：
   $$w_{MLE}=arg\underset{w}{\max }P(Data|w)$$

2. $RegularizedLSE⟸MAP(\text{noise is Gaussian})$——最大后验估计：
   $$w_{MAP}=arg\underset{w}{\max }\underset{\propto P(Data|w)\cdot P(w)}{\underbrace{P(w|Data)}}=arg\underset{w}{\max }P(Data|w)\cdot P(w)$$
   其中若$P(w)$表示为Gaussian Dist则为岭回归(Ridge)，若$P(w)$表示为Laplace则为Lasso

在本章我们的目标是通过Bayesian Method解决线性回归问题：

• 假定$w$是一个随机变量
• 求出后验$P(w|Data)$

19.2 Bayesian Method

数据与模型：

• 样本数据：
  $${\{(x_i,y_i)\}}_{i=1}^N,x_i\in {\mathbb{R}}^p,y_i\in {\mathbb{R}}^p$$

  $$X=(x_1{x}_2\dots x_N{)}^T=\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ \dots \\ x_N^T\end{array}\right)=\left(\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1N}\\ x_{21}& x_{22}& \dots & x_{2N}\\ \dots & & & \\ x_{N1}& x_{N2}& \dots & x_{NN}\end{array}\right),Y=\left(\begin{array}{c}{y}_1^T\\ y_2^T\\ \dots \\ y_N^T\end{array}\right)$$

• 模型：
  $$f(x)=w^{T}x=x^{T}w,y=f(x)+\underset{noise}{\underbrace{\epsilon }},\epsilon \backsim N(0,{\sigma }^2)$$
  其中$x,y,\epsilon ,w$都是随机变量，假设用于表示参数

• 问题表示：
  $$\{\begin{array}{l}Inference:posterior(w)\\ Prediction:x^{\ast }\to y^{\ast }\end{array}$$

19.2.1 Inference问题

Inference问题就是求解后验：$P(w|Data)$。接下来进行逐步的推导：
$$\begin{array}{r}P(w|Data)=P(w|X,Y)=\frac{P(w,Y|X)}{P(Y|X)}=\frac{\stackrel{likelihood}{\overbrace{P(Y|w,X)}}\cdot \stackrel{prior}{\overbrace{P(w|X)}}}{\int P(Y|w,X)\cdot P(w|X)\mathrm{d}w}\end{array}$$
将后验拆解开之后，我们只需要分开求解likelihood和prior：

• 求解likelihood：
  $$P(Y|w,X)=\prod _{i=1}^{N}P(y_i|w,x_i)=\prod _{i=1}^{N}N(y_i|w^T{x}_i,{\sigma }^2)$$

• 假设prior：
  $$p(w|X)=N(0,{\Sigma }_p)$$

所以求解后验可以写为：
$$\begin{array}{rl}P(w|Data)& \propto P(Y|w,X)\cdot P(w|X)\\ & \propto \prod _{i=1}^{N}N(y_i|w^T{x}_i,{\sigma }^2)\cdot N(0,{\Sigma }_p)\end{array}$$
我们先将likelihood进行一个变换：
P ( Y ∣ w , X ) = ∏ i = 1 N N ( y i ∣ w T x i , σ 2 ) = ∏ i = 1 N 1 ( 2 π ) 1 2 σ exp ⁡ { − 1 2 σ 2 ( y i − w T x i ) 2 } = 1 ( 2 π ) N 2 σ N exp ⁡ { − 1 2 σ 2 ∑ i = 1 N ( y i − w T x i ) 2 } = 1 ( 2 π ) N 2 σ N ⏟ ∣ Σ ∣ 1 2 exp ⁡ { − 1 2 ( Y − X w ) ⏟ x − μ T σ − 2 I ⏟ Σ − 1 ( Y − X w ) } = N ( X w , σ − 2 I ) \begin{align} P(Y|w, X) &= \prod_{i=1}^{N} N(y_i| w^T x_i, \sigma^2) \\ &= \prod_{i=1}^{N} \frac{ 1 }{ {(2 \pi)}^\frac{1}{2} \sigma } \exp{\lbrace -\frac{1}{2\sigma^2} {( y_i - w^T x_i )}^2 \rbrace} \\ &= \frac{ 1 }{ {(2 \pi)}^\frac{N}{2} \sigma^N } \exp{\lbrace -\frac{1}{2\sigma^2} \sum_{i=1}^N {( y_i - w^T x_i )}^2 \rbrace} \\ &= \frac{ 1 }{ {(2 \pi)}^\frac{N}{2} \underbrace{\sigma^N}_{{|\Sigma|}^\frac{1}{2}} } \exp{\lbrace -\frac{1}{2} {\underbrace{(Y-Xw)}_{x-\mu}}^T \underbrace{\sigma^{-2} I}_{\Sigma^{-1}} {(Y-Xw)} \rbrace} \\ &= N(Xw, \sigma^{-2} I) \end{align} P(Y∣w,X)​=i=1∏N​N(yi​∣wTxi​,σ2)=i=1∏N​(2π)21​σ1​exp{−2σ21​(yi​−wTxi​)2}=(2π)2N​σN1​exp{−2σ21​i=1∑N​(yi​−wTxi​)2}=(2π)2N​∣Σ∣21​ σN​​1​exp{−21​x−μ (Y−Xw)​​TΣ−1 σ−2I​​(Y−Xw)}=N(Xw,σ−2I)​​
通过上文的likelihood我们可以求解：
P ( w ∣ D a t a ) ∝ P ( Y ∣ w , X ) ⋅ P ( w ∣ X ) = N ( X w , σ − 2 I ) ) ⋅ N ( 0 , Σ p ) ∝ exp ⁡ { − 1 2 ( Y − X w ) T σ − 2 I ( Y − X w ) } ⋅ exp ⁡ { − 1 2 w T Σ p − 1 w } = exp ⁡ { − 1 2 ( Y − X w ) T σ − 2 I ( Y − X w ) − 1 2 w T Σ p − 1 w } = exp ⁡ { − 1 2 ( Y T Y − 2 Y T X w + w T X T X w ) − 1 2 w T Σ p − 1 w } \begin{align} P(w|Data) &\propto P(Y|w,X) \cdot P(w|X) = N(Xw, \sigma^{-2} I)) \cdot N(0, \Sigma_p) \\ &\propto \exp{\lbrace -\frac{1}{2} {{(Y-Xw)}}^T {\sigma^{-2} I} {(Y-Xw)} \rbrace} \cdot \exp{\lbrace -\frac{1}{2} w^T \Sigma_p^{-1} w \rbrace} \\ &= \exp{\lbrace -\frac{1}{2} {{(Y-Xw)}}^T {\sigma^{-2} I} {(Y-Xw)} -\frac{1}{2} w^T \Sigma_p^{-1} w \rbrace} \\ &= \exp{\lbrace -\frac{1}{2} {( Y^T Y - 2Y^T X w + w^T X^T X w )} -\frac{1}{2} w^T \Sigma_p^{-1} w \rbrace} \\ \end{align} P(w∣Data)​∝P(Y∣w,X)⋅P(w∣X)=N(Xw,σ−2I))⋅N(0,Σp​)∝exp{−21​(Y−Xw)Tσ−2I(Y−Xw)}⋅exp{−21​wTΣp−1​w}=exp{−21​(Y−Xw)Tσ−2I(Y−Xw)−21​wTΣp−1​w}=exp{−21​(YTY−2YTXw+wTXTXw)−21​wTΣp−1​w}​​

引入配方法：

若将标准的高斯分布可以得到二次项和一次项：
p ( x ) ∝ exp ⁡ { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } = exp ⁡ { − 1 2 ( x T Σ − 1 x − x T Σ − 1 μ ⏟ 1 × 1 − μ T Σ − 1 x ⏟ 1 × 1 + μ T Σ − 1 μ ) } = exp ⁡ { − 1 2 ( x T Σ − 1 x − 2 μ T Σ − 1 x + μ T Σ − 1 μ ⏟ 与 x 无关 ) } ∝ exp ⁡ { − 1 2 x T Σ − 1 x ⏟ 二次项 − μ T Σ − 1 x ⏟ 一次项 } \begin{align} p(x) &\propto \exp{\lbrace -\frac{1}{2}{(x-\mu)}^T \Sigma^{-1} (x-\mu) \rbrace} \\ &= \exp{\lbrace -\frac{1}{2} (x^T \Sigma^{-1} x - \underbrace{x^T \Sigma^{-1} \mu}_{1 \times 1} - \underbrace{\mu^T \Sigma^{-1} x}_{1 \times 1} + \mu^T \Sigma^{-1} \mu) \rbrace} \\ &= \exp{\lbrace -\frac{1}{2} (x^T \Sigma^{-1} x - 2 \mu^T \Sigma^{-1} x + \underbrace{\mu^T \Sigma^{-1} \mu}_{与x无关}) \rbrace} \\ &\propto \exp{\lbrace \underbrace{-\frac{1}{2} x^T \Sigma^{-1} x}_{二次项} - \underbrace{\mu^T \Sigma^{-1} x}_{一次项} \rbrace} \\ \end{align} p(x)​∝exp{−21​(x−μ)TΣ−1(x−μ)}=exp{−21​(xTΣ−1x−1×1 xTΣ−1μ​​−1×1 μTΣ−1x​​+μTΣ−1μ)}=exp{−21​(xTΣ−1x−2μTΣ−1x+与x无关 μTΣ−1μ​​)}∝exp{二次项 −21​xTΣ−1x​​−一次项 μTΣ−1x​​}​​
我们可以通过二次项和一次项求出均值和方差

让我们用配方法，取出$P(w|Data)$的二次项和一次项，假设$P(w|Data)$的均值和方差表示为${\mu }_w,{\Sigma }_w$：
$$\begin{array}{rl}& \{\begin{array}{l}\text{二次项：}-\frac{1}{2{\sigma }^2}{w}^T{X}^{T}Xw-\frac{1}{2}{w}^T{\Sigma }_p^{-1}w=\underset{-\frac{1}{2}{x}^T{\Sigma }_w^{-1}x}{\underbrace{-\frac{1}{2}(w^T({\sigma }^{-2}{X}^{T}X+{\Sigma }_p^{-1})w)}}\\ \text{一次项：}\underset{{\mu }^T{\Sigma }_w^{-1}x}{\underbrace{{\sigma }^{-2}{Y}^{T}Xw}}\end{array}\\ ⟹& \{\begin{array}{l}{\Sigma }_w^{-1}=({\sigma }^{-2}{X}^{T}X+{\Sigma }_p^{-1})\\ {\mu }^T{\Sigma }_w^{-1}={\sigma }^{-2}{Y}^{T}X\end{array}\end{array}$$
通过上文的方程可以简单求解出均值和方差：
$$\{\begin{array}{l}{\Sigma }_w={({\sigma }^{-2}{X}^{T}X+{\Sigma }_p^{-1})}^{-1}\\ {\mu }^T={\sigma }^{-4}{X}^{T}X{Y}^{T}X+{\sigma }^{-2}{\Sigma }_p^{-1}{Y}^{T}X\end{array}$$

19.2.2 Prediction问题

Prediction问题是假设已有数据为$x^{\ast }$，要求在$y^{\ast }$的条件下的概率分布。

我们的条件有：
$$\{\begin{array}{l}f(x)=x^{T}w\\ w\backsim N({\mu }_w,{\Sigma }_w)\end{array}$$
此时我们已知$f(x^{\ast })={x^{\ast }}^{T}w$，可以根据参数的分布得到$P({x^{\ast }}^{T}w)$：
$$\begin{array}{rl}& w\backsim N({\mu }_w,{\Sigma }_w)\\ ⟹& {x^{\ast }}^{T}w\backsim N({x^{\ast }}^T{\mu }_w,{x^{\ast }}^T{\Sigma }_w{x}^{\ast })\end{array}$$
实际情况是我们要求解$y=f(x^{\ast })+\epsilon ,\epsilon \backsim N(0,{\sigma }^2)$，也就是求解分布$P(y^{\ast }|Data,x^{\ast })$​：
$$\begin{array}{rl}& \{\begin{array}{l}y={x^{\ast }}^{T}w+\epsilon ,\epsilon \backsim N(0,{\sigma }^2)\\ {x^{\ast }}^{T}w\backsim N({x^{\ast }}^T{\mu }_w,{x^{\ast }}^T{\Sigma }_w{x}^{\ast })\end{array}\\ ⟹& P(y^{\ast }|Data,x^{\ast })=N({x^{\ast }}^T{\mu }_w,{x^{\ast }}^T{\Sigma }_w{x}^{\ast }+{\sigma }^2)\end{array}$$