移步轉移矩陣的性質與證明
數學1401吳寶龍201464100122移步轉移矩陣的定義：我們稱滿足如下條件的矩陣為移步轉移矩陣1.
2.先說明高等代數中的幾個概念：
1.向量範數：如果向量x的某個實值函式滿足條件：
則稱2.向量的p範數：
3.向量的
4.矩陣範數：如果矩陣
滿足條件：
則稱n(a)是上的乙個矩陣範數
5.矩陣運算元範數：設，給出乙個向量範數，
則稱，為a的運算元範數
6.矩陣的行範數：
7.矩陣的譜半徑：矩陣特徵值的絕對值的最大值移步轉移矩陣的性質
1為移步轉移矩陣的乙個特徵值
證明：移步轉移矩陣的特徵值的絕對值不大於1方法一：
先說明數值分析裡的乙個定理：
設a=則a的每個特徵值必屬於下述的某個圓盤中定理證明如下：
由定理可以得到移步轉移矩陣的特徵值滿足故得證方法二：
先說明數值分析裡的特徵值上界定理
設證明：設
應用特徵值上界定理可得移步轉移矩陣的特徵值的絕對值不大於移步轉移矩陣的行範數，而移步轉移矩陣的行範數為1故得證移步轉移矩陣的正整數冪都是移步轉移矩陣證明：移步轉移矩陣不一定收斂
如的方冪可驗證發現不收斂
記移步轉移矩陣a的n次冪，為，則
證明：由於det（a）=，det（）=
所以由於特徵值的絕對值不大於1，故得證
馬爾可夫決策規劃
第二講馬爾可夫鏈與馬爾可夫過程 2.1 馬爾可夫鏈 為書寫方便，下面用x表示隨機變數 定義2.1 隨機變數序列稱為是乙個馬爾科夫 markov 鏈，如果等式p p對任意整數k l m以及非負整數m kl k2 k1均成立。其中，xm i表示馬爾科夫鏈在第m步 時刻m 位於狀態i，狀態i的集合s稱為狀...
馬爾可夫鏈模型簡介
設考察物件為一系統,若該系統在某一時刻可能出現的事件集合為,兩兩互斥,則陳為狀態。稱該系統從一種狀態變化到另一狀態的過程稱為狀態轉移，並把整個系統不斷實現狀態轉移的過程稱為馬爾可夫過程。定義1 具有下列兩個性質的馬爾可夫過程稱為馬爾可夫鏈 1 無後效性，即系統的第次實驗結果出現的狀態，只與第次有關，...
第7章馬爾可夫過程與泊松過程
7.1 馬爾可夫過程 1 引例 例1 隨機游動問題。質點在一直線上作隨機游動，如果某一時刻質點位於點，則下一步質點以概率向左移動一格達到點，以概率向右移動一格達到點。用表示時刻質點的位置，則是一隨機過程。在時刻質點所處的位置只與時刻質點的位置有關，而與以前的位置 無關。例2 遺傳病問題。某些疾病常遺...