HMM [¹]

隐马尔可夫模型(hiddenMarkovmodel,HMM)是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。

• 定义：隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测从而产生观测随机序列的过程。模型可以用三元组表示：

  \[\begin{equation} \lambda = (A, B, \pi) \end{equation}\]
• 从定义可知，隐马尔可夫模型作了两个基本假设:
  1. 齐次马尔可夫性假设,即假设隐藏的马尔可夫链在任意时刻t的状态只依赖于其前一时刻的状态，与其他时刻的状态及观测无关，也与时刻t无关
  2. 观测独立性假设，即假设任意时刻的观测只依赖于该时刻的马尔可夫链的状态，与其他观测及状态无关
• 概率计算：（前向概率和后向概率）
  • 举例：给定模型$\lambda$和观测$O$,在时刻t处于状态$q_i$的概率。 \(\begin{equation} \gamma_{t}(i)=\frac{\alpha_{t}(i) \beta_{t}(i)}{P(O \mid \lambda)}=\frac{\alpha_{t}(i) \beta_{t}(i)}{\sum_{j=1}^{N} \alpha_{t}(j) \beta_{t}(j)} \end{equation}\)
• 学习算法：
  • EM算法: 求出Q函数后在M步用拉格朗日乘子法算具体参数。
• 预测算法：
  • 维特比算法：和CRF一样都是前向后向求。
    • 从1-n，依次求解从i位置j状态的最大概率。

参考文献