机器学习笔记 - 隐马尔可夫模型的简述

        隐马尔可夫模型是一个并不复杂的数学模型，到目前为止，它一直被认为是解决大多数自然语言处理问题最为快速、有效的方法。它成功地解决了复杂的语音识别、机器翻译等问题。看完这些复杂的问题是如何通过简单的模型得到描述和解决，我们会由衷地感叹数学模型之妙。

        人类信息交流的发展贯穿了人类的进化和文明的全过程。而自然语言是人类交流信息的工具，语言和通信的联系是天然的。通信的本质就是一个编解码和传输的过程。但是自然语言处理早期的努力都集中在语法、语义和知识表述。离通信的原理越走越远而这样离答案也就越来越远。当自然语言处理的问题回归到通信系统中的解码问题时，很多难题都迎刃而解了。

        让我们先来看一个典型的通信系统:发送者(人或者机器)发送信息时需要采用一种能在媒体中(比如空气、电线)传播的信号，比如语音或者电话线的调制信号，这个过程是广义上的编码。然后通过媒体传播到接收方，这个过程是信道传输。在接收方，接收者(人或者机器)根据事先约定好的方法，将这些信号还原成发送者的信息，这个过程是广义上的解码。

        下图表示了一个典型的通信系统，它包含雅格布森(RomanJakobson)提出的通信的6个要素。

        其中表示信息源发出的信号，比如手机发送的信号。