机器学习基础-概率图模型

（一阶）马尔科夫模型的基本概念

状态、状态转换概率、初始概率

---

状态转移矩阵的基本概念

---

隐马尔可夫模型（HMM）的基本概念

---

条件随机场（CRF）的基本概念

实际应用中的马尔科夫性

• 自然语言处理：

  • 在词性标注、命名实体识别等任务中，句子中的词语通常被视为一个序列，每个词的词性标签只依赖于前后几个词的标签，这可以通过马尔科夫模型来建模。

• 金融预测：

  • 股票价格走势有时被假设为具有马尔科夫性，即今天的股价变化主要取决于昨天的收盘价，而不是更早的历史数据。

• 生物信息学：

  • DNA 序列中的碱基排列可以看作是一个马尔科夫链，用于基因预测和功能注释。

---

HMM和CRF的比较

特性	隐马尔科夫模型 (HMM)	条件随机场 (CRF)
模型类型	生成式模型：建模联合概率 P(X,Y)	判别式模型：直接建模条件概率 $P(Y
依赖关系	观测值仅依赖于当前隐藏状态；隐藏状态遵循马尔科夫性	允许更复杂的依赖结构，包括观测值之间的依赖
特征函数	固定特征，主要为状态转移概率和发射概率	支持丰富的特征函数，可以捕捉复杂的关系
标记偏置问题	容易出现标记偏置问题	通过全局优化避免标记偏置
适用场景	更适合观测值独立的任务，如语音识别中的音素分类	更适用于需要考虑上下文信息的任务，如词性标注、命名实体识别
灵活性与表达能力	结构简单，参数较少，数据量有限时可能更稳定	提供更高的灵活性和表达能力，但需注意过拟合风险

---

主题模型（Topic Model）的基本概念

• 主要用于自然语言处理NLP
• 样本为文档，特征为词语
• 用于从众多文档中发现隐藏的语义主题，相当于对文档聚类，并发现不同词语对不同主题的贡献程度
• 无监督学习