PRML笔记4-绪论中推断和决策小结

在推断阶段使用训练数据学习后验概率$p({\mathcal{C}}_k|\mathbf{x})$的模型；在决策阶段使用后验概率进行最优的分类；亦或是同时解决推断和决策问题，简单的学习一个函数$f(\mathbf{x})$，将输入$\mathbf{x}$直接映射为决策，这是函数$f(\mathbf{x})$被称为判别函数。
有三种不同的方法来解决决策问题，按照复杂度从高到低，分别为：

1. 对于每一个类别${\mathcal{C}}_k$，独立地确定类别条件密度$p(\mathbf{x}|{\mathcal{C}}_k)$，随后推断先验类别的概率$p({\mathcal{C}}_k)$，最后使用贝叶斯定理求出类别的后验概率$p({\mathcal{C}}_k|\mathbf{x})=\frac{p(\mathbf{x}|{\mathcal{C}}_k)p({\mathcal{C}}_k)}{p(\mathbf{x})}$。其中的$p(\mathbf{x})$我们从直观上无法理解其概率，但是转换为全概率公式可表示为：${\sum }_{k}p(\mathbf{x}|{\mathcal{C}}_k)p({\mathcal{C}}_k)$，这样就可以通过数据集得出了。也可以直接对$p(\mathbf{x},{\mathcal{C}}_k)$进行建模，这种方法叫做生成式模型，这种模型可以人工生成输入空间（$\mathbf{x}$和${\mathcal{C}}_k$的空间）的数据点。
2. 直接对类别的后验概率$p({\mathcal{C}}_k|\mathbf{x})$建模，随后通过模型对$\mathbf{x}$进行分类，这种方法叫判别式模型
3. 与概率无关，直接使用一个判别函数$f(\mathbf{x})$，该函数可以将输入$\mathbf{x}$映射为对应的类别${\mathcal{C}}_k$。
   方法1需要大量的训练数据，但是它对于检测模型中具有低概率的新数据点很有用。如果我们指向进行分类决策，使用方法2和方法3是更好的选择。然而，使用方法3我们未接触后验概率$p({\mathcal{C}}_k|\mathbf{x})$，使用后验概率有很多优势，比如：
   a) 最小化风险。如果损失矩阵中的元素时时刻刻都被修改，知道后验概率的话，只需要调整最小风险决策准则即可。
   b) 拒绝选项。 如果给定被拒绝数据点所占比例，后验概率可以让我们确定最小化误差分类和最小化期望损失的拒绝标准。
   c) 补偿类先验概率。 数据集类别分布不平衡的补偿问题。
   d) 组合模型。 将复杂应用拆解为多个小问题，每个子问题都可以通过一个独立的模型解决，因为分布以类别${\mathcal{C}}_k$为条件时满足独立性。因此$p({\mathbf{x}}_{\mathbf{I}},{\mathbf{x}}_{\mathbf{B}}|{\mathcal{C}}_k)=p({\mathbf{x}}_{\mathbf{I}}|{\mathcal{C}}_k)p({\mathbf{x}}_{\mathbf{B}}|{\mathcal{C}}_k)$，这时我们可以将后验概率表示为：
   $$\begin{array}{rl}p({\mathcal{C}}_k|{\mathbf{x}}_{\mathbf{I}},{\mathbf{x}}_{\mathbf{B}})& \propto p({\mathbf{x}}_{\mathbf{I}},{\mathbf{x}}_{\mathbf{B}}|{\mathcal{C}}_k)p({\mathcal{C}}_k)\\ & \propto p({\mathbf{x}}_{\mathbf{I}}|{\mathcal{C}}_k)p({\mathbf{x}}_{\mathbf{B}}|{\mathcal{C}}_k)p({\mathcal{C}}_k)\\ & \propto \frac{p({\mathcal{C}}_k|{\mathbf{x}}_{\mathbf{I}})p({\mathbf{x}}_{\mathbf{I}})p({\mathcal{C}}_k|{\mathbf{x}}_{\mathbf{B}})p({\mathbf{x}}_{\mathbf{B}})p({\mathcal{C}}_k)}{p({\mathcal{C}}_k)p({\mathcal{C}}_k)}\\ & \propto \frac{p({\mathcal{C}}_k|{\mathbf{x}}_{\mathbf{I}})p({\mathbf{x}}_{\mathbf{I}})p({\mathcal{C}}_k|{\mathbf{x}}_{\mathbf{B}})p({\mathbf{x}}_{\mathbf{B}})}{p({\mathcal{C}}_k)}\\ & \propto \frac{p({\mathcal{C}}_k|{\mathbf{x}}_{\mathbf{I}})p({\mathcal{C}}_k|{\mathbf{x}}_{\mathbf{B}})}{p({\mathcal{C}}_k)}\end{array}$$其中的$p({\mathcal{C}}_k)$可以通过估计每个类别的数据点所占的比例得到。