用Python手把手教你实现隐马尔可夫模型（HMM）从理论到实战

用Python手把手教你实现隐马尔可夫模型HMM从理论到实战在自然语言处理、语音识别和生物信息学等领域隐马尔可夫模型Hidden Markov Model, HMM是一种经典的概率图模型。本文将带你从零开始用Python实现一个完整的HMM系统包括概率计算、参数学习和解码预测三大核心问题最终完成一个命名实体识别NER的实际应用案例。1. HMM基础理论与Python实现框架隐马尔可夫模型由两个随机过程组成一个是不可观测的状态序列另一个是可观测的符号序列。模型由以下五元组定义class HMM: def __init__(self, states, observations): self.states states # 隐藏状态集合 self.observations observations # 观测符号集合 self.A None # 状态转移概率矩阵 self.B None # 观测概率矩阵 self.pi None # 初始状态分布状态转移概率矩阵A表示从一个隐藏状态转移到另一个隐藏状态的概率晴阴雨晴0.70.20.1阴0.30.50.2雨0.20.30.5观测概率矩阵B表示在某个隐藏状态下观察到某个符号的概率干湿晴0.80.2阴0.30.7雨0.10.92. HMM三大问题与Python实现2.1 概率计算问题前向算法给定模型参数和观测序列计算该观测序列出现的概率。前向算法通过动态规划高效解决这个问题def forward(self, obs_seq): alpha np.zeros((len(obs_seq), len(self.states))) # 初始化 alpha[0, :] self.pi * self.B[:, self.observations.index(obs_seq[0])] # 递推 for t in range(1, len(obs_seq)): for j in range(len(self.states)): alpha[t, j] np.sum( alpha[t-1, :] * self.A[:, j] ) * self.B[j, self.observations.index(obs_seq[t])] # 终止 return np.sum(alpha[-1, :])提示前向算法的时间复杂度为O(TN²)其中T是观测序列长度N是隐藏状态数。2.2 参数学习问题Baum-Welch算法当模型参数未知时通过观测序列学习模型参数。Baum-Welch算法是EM算法在HMM中的具体实现def baum_welch(self, obs_seqs, max_iter100): for _ in range(max_iter): # E步计算期望 # M步重新估计参数 new_A np.zeros_like(self.A) new_B np.zeros_like(self.B) new_pi np.zeros_like(self.pi) # 这里简化了实现实际需要计算gamma和xi # 更新参数 self.A new_A / np.sum(new_A, axis1, keepdimsTrue) self.B new_B / np.sum(new_B, axis1, keepdimsTrue) self.pi new_pi / np.sum(new_pi)2.3 解码问题Viterbi算法给定观测序列找到最可能的隐藏状态序列。Viterbi算法同样采用动态规划def viterbi(self, obs_seq): T len(obs_seq) N len(self.states) delta np.zeros((T, N)) psi np.zeros((T, N), dtypeint) # 初始化 delta[0, :] self.pi * self.B[:, self.observations.index(obs_seq[0])] # 递推 for t in range(1, T): for j in range(N): trans_prob delta[t-1, :] * self.A[:, j] psi[t, j] np.argmax(trans_prob) delta[t, j] trans_prob[psi[t, j]] * \ self.B[j, self.observations.index(obs_seq[t])] # 回溯 path np.zeros(T, dtypeint) path[-1] np.argmax(delta[-1, :]) for t in range(T-2, -1, -1): path[t] psi[t1, path[t1]] return [self.states[i] for i in path]3. 天气预测案例实战让我们用一个具体的天气预测例子来演示HMM的应用。假设我们只能观察到海藻的干燥程度干、湿但想预测实际的天气状态晴、阴、雨。# 定义模型参数 states [晴, 阴, 雨] observations [干, 湿] # 初始化模型 weather_hmm HMM(states, observations) # 设置模型参数实际应用中通过学习得到 weather_hmm.A np.array([[0.7, 0.2, 0.1], [0.3, 0.5, 0.2], [0.2, 0.3, 0.5]]) weather_hmm.B np.array([[0.8, 0.2], [0.3, 0.7], [0.1, 0.9]]) weather_hmm.pi np.array([0.6, 0.3, 0.1]) # 观测序列 obs_seq [干, 湿, 湿, 干] # 解码预测 predicted_states weather_hmm.viterbi(obs_seq) print(预测的天气序列:, predicted_states)4. 命名实体识别实战HMM在自然语言处理中最经典的应用之一就是命名实体识别。下面我们实现一个简单的NER系统class HMM_NER: def __init__(self): self.tag2id {B-PER:0, I-PER:1, B-LOC:2, I-LOC:3, B-ORG:4, I-ORG:5, O:6} self.id2tag {v:k for k,v in self.tag2id.items()} self.num_tags len(self.tag2id) def train(self, corpus): # 统计转移频次 trans_counts np.zeros((self.num_tags, self.num_tags)) # 统计发射频次 emit_counts np.zeros((self.num_tags, 65536)) # Unicode字符数 # 处理训练数据简化实现 for sentence in corpus: prev_tag None for char, tag in sentence: tag_id self.tag2id[tag] char_code ord(char) emit_counts[tag_id][char_code] 1 if prev_tag is not None: trans_counts[prev_tag][tag_id] 1 prev_tag tag_id # 计算概率加平滑 self.A (trans_counts 1) / (np.sum(trans_counts, axis1, keepdimsTrue) self.num_tags) self.B (emit_counts 1) / (np.sum(emit_counts, axis1, keepdimsTrue) 65536) def predict(self, text): # 使用Viterbi算法解码 obs_seq [ord(char) for char in text] # ... 实现Viterbi算法 ... return predicted_tags注意实际应用中需要考虑更多细节如未登录词处理、特征工程等。HMM在NER中的表现通常不如CRF或深度学习模型但作为基础模型仍有学习价值。5. 性能优化与扩展5.1 对数概率计算为避免数值下溢实际实现中通常使用对数概率log_A np.log(self.A 1e-10) log_B np.log(self.B 1e-10) log_pi np.log(self.pi 1e-10)5.2 扩展应用HMM可以扩展到更复杂的场景连续观测值使用高斯混合模型GMM代替离散观测概率二阶HMM考虑前两个状态的影响输入输出HMM结合外部特征class GaussianHMM: def __init__(self, n_components): self.n_components n_components self.means None self.covars None # ... 其他参数 ... def _compute_log_likelihood(self, X): # 计算高斯概率密度 pass在实际项目中可以直接使用成熟的库如hmmlearnfrom hmmlearn import hmm model hmm.GaussianHMM(n_components3, covariance_typediag) model.fit(X) # X是观测序列通过本文的代码实现和案例演示你应该已经掌握了HMM的核心概念和实现方法。HMM虽然是比较传统的模型但在许多序列建模任务中仍然有其独特的优势。建议读者可以尝试在更大的数据集上应用这些技术或者探索HMM与其他模型如神经网络的结合。