向前-向后算法(forward-backward+algorithm)

向前-向后算法（forward-backward algorithm）本文承接上篇博客《隐马尔可夫模型及的评估和解码问题》，用到的概念和例子都是那里面的。学习问题在HMM模型中，已知隐藏状态的集合S，

向前-向后算法（forward-backward algorithm） 本文承接上篇博客《隐马尔可夫模型及的评估和解码问题》，用到的概念和 例子都是那里面的。 学习问题 在HMM模型中，已知隐藏状态的集合S，观察值的集合O，以及一个观察序列 （o1,o2,...,on），求使得该观察序列出现的可能性最大的模型参数（包括初始状 态概率矩阵π，状态转移矩阵A，发射矩阵B）。这正好就是EM算法要求解的问 题：已知一系列的观察值X，在隐含变量Y未知的情况下求最佳参数θ*，使得： 在中文词性标注里，根据为训练语料，我们观察到了一系列的词（对应EM中 的X），如果每个词的词性（即隐藏状态）也是知道的，那它就不需要用EM来求 模型参数θ了，因为Y是已知的，不存在隐含变量了。当没有隐含变量时，直接用 maximum likelihood就可以把模型参数求出来。 预备知识 首先你得对下面的公式表示认同。 以下都是针对相互独立的事件， P(A,B)=P(B|A)*P(A) P(A,B,C)=P(C)*P(A,B|C)=P(A,C|B)*P(B)=P(B,C|A)*P(A) P(A,B,C,D)=P(D)*P(A,B|D)*P(C|A)=P(D)*P(A,B|D)*P(C|B)