PRML笔记2-关于回归参数w的先验的理解

  接上篇，现在考虑给$\mathbf{w}$加入先验，考虑最简单的假设，也就是$\mathbf{w}$服从均值为0，协方差矩阵为${\alpha }^{-1}\mathbf{I}$的高斯分布。
p(w∣α)=N(w∣0,α−1I)=(α2π)(M+1)/2exp⁡{−α2wTw}\begin{aligned} p(\boldsymbol{w}|\alpha)&=\mathcal{N}(\boldsymbol{w}|0,\alpha^{-1}\boldsymbol{I})\\ &=(\frac{\alpha}{2\pi})^{(M+1)/2}\exp\{-\frac{\alpha}{2}\boldsymbol{w}^T\boldsymbol{w}\} \end{aligned} p(w∣α)​=N(w∣0,α−1I)=(2πα​)(M+1)/2exp{−2α​wTw}​我们一步一步看一下给定$(\mathbf{x},\mathbf{t},\alpha ,\beta )$后，参数$\mathbf{w}$的概率
$$\begin{array}{rl}p(\mathbf{w}|\mathbf{t})& =\frac{p(\mathbf{t}|\mathbf{w})p(\mathbf{w})}{p(\mathbf{t})}\\ p(\mathbf{w}|\mathbf{t},\mathbf{x},\alpha ,\beta )& =\frac{p(\mathbf{t}|\mathbf{w},\mathbf{x},\alpha ,\beta )p(\mathbf{w}|\mathbf{x},\alpha ,\beta )}{p(\mathbf{t}|\mathbf{x},\alpha ,\beta )}\end{array}$$
由于$\alpha$和$t$独立，因此上式似然函数$p(\mathbf{t}|\mathbf{w},\mathbf{x},\alpha ,\beta )=p(\mathbf{t}|\mathbf{w},\mathbf{x},\beta )$，而$\mathbf{w}$的先验我们已经有了假设，因此得到书上的结果（此处个人理解）：
$$p(\mathbf{w}|\mathbf{x},\mathbf{t},\alpha ,\beta )\propto p(\mathbf{t}|\mathbf{x},\mathbf{w},\beta )p(\mathbf{w}|\alpha )$$
现在成了，我们最大化后验概率求$\mathbf{w}$，变成了最大化似然函数$p(\mathbf{t}|\mathbf{x},\mathbf{w},\beta )$和先验概率$p(\mathbf{w}|\alpha )$乘积的值。由于$$p(\mathbf{t}|\mathbf{x},\mathbf{w},\beta )=\prod _{n=1}^N\mathcal{N}(t_n|y(x_n,\mathbf{w}),{\beta }^{-1})=\prod _{n=1}^N\frac{1}{(2\pi {)}^{\frac{1}{2}}{\beta }^{-\frac{1}{2}}}exp\frac{(t_n-y(x_n,\mathbf{w}){)}^2}{-2{\beta }^{-1}}$$
p(w∣α)=N(w∣0,α−1I)=(α2π)(M+1)/2exp⁡{−α2wTw}\begin{aligned} p(\boldsymbol{w}|\alpha)&=\mathcal{N}(\boldsymbol{w}|0,\alpha^{-1}\boldsymbol{I})\\ &=(\frac{\alpha}{2\pi})^{(M+1)/2}\exp\{-\frac{\alpha}{2}\boldsymbol{w}^T\boldsymbol{w}\} \end{aligned} p(w∣α)​=N(w∣0,α−1I)=(2πα​)(M+1)/2exp{−2α​wTw}​
因此
p(t∣x,w,β)p(w∣α)=[∏n=1N1(2π)12β−12exp(tn−y(xn,w))2−2β−1](α2π)(M+1)/2exp⁡{−α2wTw}\begin{aligned} p(\boldsymbol{t}|\boldsymbol{x},\boldsymbol{w},\beta)p(\boldsymbol{w}|\alpha)& =\left[\prod_{n=1}^N\frac{1}{(2\pi)^{\frac{1}{2}}\beta^{-\frac{1}{2}}}exp{\frac{(t_n-y(x_n,\boldsymbol{w}))^2}{-2\beta^{-1}}}\right] \left(\frac{\alpha}{2\pi}\right)^{(M+1)/2}\exp\{-\frac{\alpha}{2}\boldsymbol{w}^T\boldsymbol{w}\} \end{aligned} p(t∣x,w,β)p(w∣α)​=[n=1∏N​(2π)21​β−21​1​exp−2β−1(tn​−y(xn​,w))2​](2πα​)(M+1)/2exp{−2α​wTw}​两边取ln可得
ln⁡p(t∣x,w,β)p(w∣α)=−β2∑n=1N{y(xn,w)−tn}2+N2ln⁡β−N2ln⁡(2π)+M+12ln⁡α−M+12ln⁡2π−α2wTw\begin{aligned} \ln{p}(\boldsymbol{t}|\boldsymbol{x},\boldsymbol{w},\beta)p(\boldsymbol{w}|\alpha) &=-\frac{\beta}{2}\sum_{n=1}^N\{y(x_n,\boldsymbol{w})-t_n\}^2+\frac{N}{2}\ln{\beta}-\frac{N}{2}\ln{(2\pi)} +\frac{M+1}{2}\ln{\alpha}-\frac{M+1}{2}\ln{2\pi}-\frac{\alpha}{2}\boldsymbol{w}^T\boldsymbol{w} \end{aligned} lnp(t∣x,w,β)p(w∣α)​=−2β​n=1∑N​{y(xn​,w)−tn​}2+2N​lnβ−2N​ln(2π)+2M+1​lnα−2M+1​ln2π−2α​wTw​我们现在要找的是最可能的$\mathbf{w}$的值，因此只考虑与$\mathbf{w}$有关的部门，去掉常数可得：
ln⁡p(t∣x,w,β)p(w∣α)=−β2∑n=1N{y(xn,w)−tn}2−α2wTw\begin{aligned} \ln{p}(\boldsymbol{t}|\boldsymbol{x},\boldsymbol{w},\beta)p(\boldsymbol{w}|\alpha)&=-\frac{\beta}{2}\sum_{n=1}^N\{y(x_n,\boldsymbol{w})-t_n\}^2-\frac{\alpha}{2}\boldsymbol{w}^T\boldsymbol{w} \end{aligned} lnp(t∣x,w,β)p(w∣α)​=−2β​n=1∑N​{y(xn​,w)−tn​}2−2α​wTw​这就相当于最小化
β2∑n=1N{y(xn,w)−tn}2+α2wTw\frac{\beta}{2}\sum_{n=1}^N\{y(x_n,\boldsymbol{w})-t_n\}^2+\frac{\alpha}{2}\boldsymbol{w}^T\boldsymbol{w} 2β​n=1∑N​{y(xn​,w)−tn​}2+2α​wTw