設考察物件為一系統,若該系統在某一時刻可能出現的事件集合為,兩兩互斥,則陳為狀態。。稱該系統從一種狀態變化到另一狀態的過程稱為狀態轉移，並把整個系統不斷實現狀態轉移的過程稱為馬爾可夫過程。
定義1 具有下列兩個性質的馬爾可夫過程稱為馬爾可夫鏈：
（1）無後效性，即系統的第次實驗結果出現的狀態，只與第次有關，而與它以前所處的狀態無關；
（2）具有穩定性，該過程逐漸趨於穩定狀態，而與初始狀態無關。
定義2 向量成為概率向量，如果滿足：
定義3 如果方陣的每行都為概率向量，則稱此方陣為概率矩陣。
如果矩陣和皆為概率矩陣，則，，也都是概率矩陣（為正整數）。
定義4 系統由狀態經過一次轉移到狀態的概率記為，稱矩陣
為一次（或一步）轉移矩陣。
轉移矩陣必為概率矩陣，且具有以下兩個性質：
1、；2、
其中為次轉移矩陣。
定義5 對概率矩陣，若冪次方的所有元素皆為正數，則矩陣稱為正規概率矩陣。（此處）
定理1 正規概率矩陣的冪次方序列，， ，…趨近於某一方陣，的每一行均為同一概率向量，且滿足。
馬爾可夫鏈模型如下：
設系統在時所處的初始狀態為已知，經過次轉移後的狀態向量，則
此式即為馬爾可夫鏈**模型。
由上式可以看出，系統在經過次轉後所處的狀態取決與它的初始狀態和轉移矩陣。
馬爾可夫引例
例1：市場占有率**
設有甲、乙、丙三家企業，生產同一種產品，共同**1000家使用者，各使用者在各企業間自由選購，但不超出這三家企業，也無新的使用者，假定在10月末經過市場調查得知，甲，乙，丙三家企業擁有的客戶分別是：250戶，300戶，450戶，而11月份使用者可能的流動情況如下表所示：
假定該產品使用者的流動按上述方向繼續變化下去**移矩陣不變），**12月份三家企業市場使用者各自的擁有量，並計算經過一段時間後，三家企業在穩定狀態下該種產品的市場占有率。
解：第一步：根據調查資料，確定初始狀態概率向量，這裡
第二步：確定一次轉移概率矩陣，此例有使用者可能流動情況調查表可
知，其一次轉移概率矩陣為
甲乙丙矩陣中每一行的元素，代表著各企業保持和失去使用者的概率，如第一
行甲企業保持使用者的概率是0.92,轉移到乙,丙兩次企業的概率都是0.04,甲企業失去使用者的概率是
第三步：利用馬爾可夫鏈進行**.顯然,12月份三家企業市場占有率為
12月份三個企業使用者擁有量分別為:
甲：戶乙：戶
丙：戶現在,假定該產品使用者的流動情況按上述方向繼續變化下去,我們來求三個企業的該種產品市場占有的穩定狀態概率.
易驗證p為正規矩陣.設令
將上式展開，得
解上述聯立方程序，得， 故
上述結果表明:如果甲、乙、丙三企業的市場占有率照目前轉移概率狀態發展下去，那麼經過一段時間後，三企業的市場占有率將分別為45.98%、15.
98%、38.44%。顯然，對於乙、丙兩企業而言，必須迅速找出市場占有率下降的原因。
例二：最佳服務地點選擇
市汽車出租公司在甲、乙、丙三處開設租車還車處，顧客可在甲、乙、丙三處任意租車和還車。今公司準備在上述三處之一設立汽車維修保養廠。初步確定在汽車比較多的一處設定維修保養場。
根據統計資料。顧客在上述三處還車的概率如下表所示，試確定在何處設汽車維修保養場。
表還車的概率
解:由題意可知,該問題的轉移概率矩陣為:
所以因為都大於0，所以為正規矩陣,當甲、乙、丙三處租車還車業務開展一定時期後,就會達到平衡條件,這樣就可以得到一固定概率向量,使,即
成立，上式展開，得：
解上述聯立方程序，得，
故由上述計算可知,在穩定狀態汽車還到甲處的概率為0.5.即向甲處還車的概率佔計程車的一半,因此汽車維修保養場設在甲處是最佳的選擇.
馬爾可夫決策規劃
第二講馬爾可夫鏈與馬爾可夫過程 2.1 馬爾可夫鏈 為書寫方便，下面用x表示隨機變數 定義2.1 隨機變數序列稱為是乙個馬爾科夫 markov 鏈，如果等式p p對任意整數k l m以及非負整數m kl k2 k1均成立。其中，xm i表示馬爾科夫鏈在第m步 時刻m 位於狀態i，狀態i的集合s稱為狀...
第7章馬爾可夫過程與泊松過程
7.1 馬爾可夫過程 1 引例 例1 隨機游動問題。質點在一直線上作隨機游動，如果某一時刻質點位於點，則下一步質點以概率向左移動一格達到點，以概率向右移動一格達到點。用表示時刻質點的位置，則是一隨機過程。在時刻質點所處的位置只與時刻質點的位置有關，而與以前的位置 無關。例2 遺傳病問題。某些疾病常遺...
馬爾科夫矩陣
移步轉移矩陣的性質與證明 數學1401吳寶龍201464100122移步轉移矩陣的定義 我們稱滿足如下條件的矩陣為移步轉移矩陣1.2.先說明高等代數中的幾個概念 1.向量範數 如果向量x的某個實值函式滿足條件 則稱2.向量的p範數 3.向量的 4.矩陣範數 如果矩陣 滿足條件 則稱n a 是上的乙個...