一、說明
根據(jù)L.R Rabiner等人[1]的說法，隱馬爾可夫模型是一個雙重嵌入的隨機過程，其潛在的隨機過程是不可觀察的（它是隱藏的），但只能通過另一組產(chǎn)生觀察序列的隨機過程來觀察。
基本上，隱馬爾可夫模型 （HMM） 是觀察一系列排放，但不知道模型生成排放所經(jīng)歷的狀態(tài)序列的模型。我們分析隱馬爾可夫模型，以從觀察到的數(shù)據(jù)中恢復(fù)狀態(tài)序列。 聽起來很混亂吧...
二、馬爾可夫過程 2.1 馬爾可夫模型和馬爾可夫鏈 要理解HMM，我們首先需要了解什么是馬爾可夫模型。馬爾可夫模型是一種隨機模型，用于對偽隨機變化狀態(tài)進(jìn)行建模。這意味著當(dāng)前狀態(tài)不依賴于以前的狀態(tài)。最簡單的馬爾可夫模型是馬爾可夫 鏈。在這種情況下，當(dāng)前狀態(tài)僅取決于上一個狀態(tài)。
馬爾可夫鏈
2.2 什么是HMM和馬爾可夫鏈......
Rob 參加了一個游戲，在該游戲中，飛鏢擊中靶心后會頒發(fā)獎品。獎品保存在屏幕后面的 3 個不同的盒子（紅色、綠色和藍(lán)色）中。現(xiàn)在，分發(fā)獎品的人會根據(jù)他早上是否被堵在交通中來發(fā)放獎品。這些稱為狀態(tài)。現(xiàn)在，由于 rob 知道該地區(qū)交通的總體趨勢，他可以將其建模為馬爾可夫鏈。但是他沒有任何關(guān)于交通的確切信息，因為他無法直接觀察它們。他們對他是隱藏的。他也知道獎品將從綠色、紅色或藍(lán)色的盒子中挑選出來。這些稱為觀察。由于他無法觀察到狀態(tài)和觀測結(jié)果之間的相關(guān)性，因此該系統(tǒng)是HMM的系統(tǒng)。
隱馬爾可夫模型
2.2.1 轉(zhuǎn)移概率 轉(zhuǎn)移概率是從一種狀態(tài)移動到另一種狀態(tài)的概率。在這種情況下，如果今天我們有流量，明天有 55% 的可能性會有流量，明天有 45% 的可能性沒有流量。同樣，如果我們今天沒有流量，明天有 35% 的可能性沒有流量，明天有 65% 的可能性會有流量。
2.2.2 排放概率 它們是觀察者可以觀察到的輸出概率 。在這里，連接狀態(tài)和觀測值的概率是發(fā)射概率。
HMM 在 python 中的表示
三、HMM的基本結(jié)構(gòu) 正如我們之前所討論的，隱馬爾可夫模型具有以下參數(shù)：
隱藏狀態(tài)集（M）
交易概率矩陣 （A）
一系列觀測值（t）
發(fā)射概率矩陣（也稱為觀測似然）（B）
參數(shù)的初始概率分布
3.1 HMM 的核心問題 第一個問題是找到觀察到的序列的概率。
第二個問題是找到最可能的隱藏狀態(tài)序列——維特比算法、正向-后向算法
第三個問題是找到最大化觀測數(shù)據(jù)可能性的參數(shù)——鮑姆-韋爾奇算法
3.2 關(guān)于HMM的假設(shè) 馬爾可夫假設(shè)
由于HMM是馬爾可夫模型的增強形式，因此以下假設(shè)成立：未來狀態(tài)將僅依賴于當(dāng)前狀態(tài)。
它表示如下：
3.2.1 馬爾可夫假設(shè)
輸出獨立性
輸出觀測值 （oi） 的概率僅取決于產(chǎn)生觀測值的狀態(tài)，而不取決于任何其他狀態(tài)或任何其他觀測值。它表示如下：
3.2.2 輸出獨立性
前向算法
讓我們有一個簡單的HMM，我們有兩個隱藏的狀態(tài)，它們代表一個城鎮(zhèn)的天氣，我們也知道一個孩子，他可以根據(jù)天氣攜帶兩樣?xùn)|西中的任何一個，一頂帽子和一把雨傘。孩子的物品與天氣之間的關(guān)系由橙色和藍(lán)色箭頭顯示。黑色箭頭表示狀態(tài)的過渡。
圖片來源：作者
假設(shè)我們知道以下項目序列
一個序列
我們使用前向算法來查找觀察到序列的概率，給定HMM的參數(shù)是已知的，即轉(zhuǎn)移矩陣，發(fā)射矩陣和平穩(wěn)分布（π）。
具有潛在隱藏狀態(tài)的序列
我們找到了所有可能的隱藏狀態(tài)，這些狀態(tài)可能導(dǎo)致我們進(jìn)入這個序列。我們找到每個序列的累積概率。我們發(fā)現(xiàn)總共有 8 個這樣的序列。現(xiàn)在計算每個序列的概率將是一項繁瑣的任務(wù)。直接計算聯(lián)合概率需要對所有可能的狀態(tài)序列進(jìn)行邊緣化，其數(shù)量隨著序列長度的增加呈指數(shù)增長。相反，前向算法利用隱馬爾可夫模型的條件獨立規(guī)則以遞歸方式執(zhí)行計算。
序列的概率
序列的概率是隱藏狀態(tài)的所有可能序列的總和，可以表示為上述。
遞歸地表示如下，其中 t 是序列的長度，s 表示隱藏狀態(tài)。
概率的遞歸表達(dá)式
例如，如果 t=1，
現(xiàn)在，為了得到最終答案，我們找到每個隱藏狀態(tài)的α t并將其相加。它表示如下：
前向算法的最終表達(dá)式
在前向算法中，我們使用當(dāng)前時間步的計算概率來推導(dǎo)出下一個時間步的概率。因此，它在計算上更有效。
前向算法主要用于需要我們在知道觀察序列時確定處于特定狀態(tài)的概率的應(yīng)用程序。我們首先計算為上一個觀測值計算的狀態(tài)的概率，并將其用于當(dāng)前觀測值，然后使用轉(zhuǎn)移概率表將其擴(kuò)展到下一步。該方法緩存所有中間狀態(tài)概率，因此僅計算一次。這有助于我們計算固定狀態(tài)路徑。該過程也稱為后驗解碼。
3.3 逆向算法 后向算法是正向算法的時間反轉(zhuǎn)版本。在逆向算法中，我們需要找到機器在時間步 t 處處于隱藏狀態(tài)并生成序列剩余部分的概率。在數(shù)學(xué)上，它表示為：
3.4 正向-后向算法 正向-后向算法是一種推理算法，用于計算所有隱藏狀態(tài)變量（分布）。此推理任務(wù)通常稱為平滑。該算法利用動態(tài)規(guī)劃原理，高效計算兩次獲得后驗邊際分布所需的值。第一遍在時間上前進(jìn)，而第二遍在時間上倒退;因此得名正向-后向算法。它是上面解釋的正向和后向算法的組合。該算法計算給定 HMM 的觀察序列的概率。該概率可用于對識別應(yīng)用中的觀察序列進(jìn)行分類。
四、維特比算法 對于包含隱藏變量的 HMM，確定哪個變量序列是某些觀察序列最有可能的基礎(chǔ)源的任務(wù)稱為解碼任務(wù)。解碼器的任務(wù)是在有經(jīng)過訓(xùn)練的模型和一些觀察到的數(shù)據(jù)時找到最佳隱藏序列。更正式地說，給定作為輸入 a 作為 A 和 B 和一個觀察序列 O = o₁， o₂， ...， ot，找到最可能的狀態(tài)序列 S = s₁， s₂， . . . .圣。
我們當(dāng)然可以使用前向算法來找到所有可能的序列，并在最大可能性上選擇最好的序列，但這無法做到，因為存在指數(shù)級數(shù)量的狀態(tài)序列。
與前向算法一樣，它估計 vt（j） 在看到第一個 t 觀測值并通過最可能的狀態(tài)序列 s₁、s₂、. .圣。每個單元格 vt（ j） 的值是遞歸計算的，采用可能將我們引向該單元格的最可能路徑。形式上，每個單元格表示以下概率
我們可以通過一個例子更好地理解這一點，
五、HMM 模型
假設(shè)我們有一個 HMM 模型，如圖所示。我們總是從太陽（x），云（y）開始，以雪（z）結(jié)束。現(xiàn)在，您已經(jīng)觀察了前向算法問題中的序列。生成此路徑的最可能的序列是什么？
選項包括：
手動計算
在這種情況下，粗體路徑是維特比路徑。當(dāng)您從上一個狀態(tài)返回時，您可以看到這一點：0.3*0.4*0.136 > 0.7*0.4*0.024
同樣，0.4*0.5*0.4 > 0.7*0.4*0.2
因此，最可能的序列是 xxyz。
請注意，可以有多個可能的最佳序列。
由于每個狀態(tài)僅取決于之前的狀態(tài)，因此您可以逐步獲得最可能的路徑。在每一步中，您都會計算最終進(jìn)入狀態(tài) x、狀態(tài) y、狀態(tài) z 的可能性。在那之后，你是如何到達(dá)那里的并不重要。
六、鮑姆-韋爾奇算法 該算法為“在什么參數(shù)化下觀察到的序列最有可能？
鮑姆-韋爾奇算法是期望最大化（EM）算法的一個特例。它利用前向-后向算法來計算特定步驟的統(tǒng)計信息。其目的是調(diào)整HMM的參數(shù)，即狀態(tài)轉(zhuǎn)移矩陣，發(fā)射矩陣和初始狀態(tài)分布。
從過渡和發(fā)射矩陣的隨機初始估計開始。
計算每個躍遷/發(fā)射的使用頻率的預(yù)期。我們將估計潛在變量 [ ξ， γ ]
根據(jù)這些估計值重新計算躍遷和發(fā)射矩陣的概率。
重復(fù)直到收斂
潛在變量γ的表達(dá)式
γ是給定觀察到的序列 Y 和參數(shù) theta 時處于狀態(tài) i 的概率
潛在變量 ξ 的表達(dá)式
ξ 是給定觀察到的序列 Y 和參數(shù) theta 時處于狀態(tài) i，j 的概率
參數(shù) （A， B） 更新如下
更新 A 或轉(zhuǎn)換矩陣
更新 B 或發(fā)射矩陣
七、HMM的優(yōu)勢
NLP中使用的HMM標(biāo)記器訓(xùn)練起來非常簡單（只需要從訓(xùn)練語料庫中編譯計數(shù)）。
性能相對較好（命名實體的性能超過 90%）。
它消除了標(biāo)簽偏差問題
由于每個 HMM 僅使用正數(shù)據(jù)，因此它們可以很好地擴(kuò)展;因為可以在不影響學(xué)習(xí)的 HMM 的情況下添加新單詞。
我們可以初始化模型，使其接近被認(rèn)為是正確的。
八、HMM的缺點
為了定義觀察和標(biāo)簽序列的聯(lián)合概率，HMM需要枚舉所有可能的觀察序列。
表示多個重疊要素和長期依賴關(guān)系是不切實際的。
要評估的參數(shù)數(shù)量巨大。因此，它需要一個大型數(shù)據(jù)集進(jìn)行訓(xùn)練。
HMM，訓(xùn)練涉及最大化屬于類的示例的觀察到的概率。但它并沒有最小化觀察其他類實例的概率，因為它只使用正數(shù)據(jù)。
它采用了馬爾可夫假設(shè)，該假設(shè)不能很好地映射到許多現(xiàn)實世界的域
