一、引言
最近寫了許多關於機器學習的學習筆記，裡面經常涉及概率論的知識，這裡對所有概率論知識做乙個總結和複習，方便自己查閱，與廣大博友共享，所謂磨刀不誤砍柴工，希望博友們在這篇博文的幫助下，閱讀機器學習的相關文獻時能夠更加得心應手！這裡只對本人覺得經常用到的概率論知識點做一次小結，主要是基本概念，因為機器學習中涉及概率論的地方，往往知道基本概念就不難理解，後面會不定期更新，希望博友們多留言補充。
二、貝葉斯（bayes）公式
通常把事件 a的概率 p(a)叫做實驗前的假設概率，即先驗概率(priorprobability)，如果有另乙個事件 b 與事件 a 有某種關係，即事件 a 和 b 不是互相獨立的，那麼當事件 b 確實發生之後，則應當重新估計事件 a的概率，即 p(a| b), 這叫做條件概率或者試驗後的假設概率，即後驗概率(posteriorprobability).
公式一：
再引入全概率公式：設事件a當前僅當互不相容的事件（即任意兩個事件不可能同時發生的）(i = 1, 2 , ... n) 中的任意乙個事件發生時才可能發生，已知事件的概率及事件 a 在已發生的條件下的條件概率，則事件 a 發生的概率為：
這就是全概率公式.
根據概率乘法定理：
我們可以得到：
於是：再根據上面介紹的全概率公式，則可得到傳說中的貝葉斯公式：
這些公式定理幾乎貫穿整個機器學習，很基本，也很重要！
三、常用的離散隨見變數分布
1. 「0-1」分布": 設隨機變數x只能取得兩個數值：0與1，而概率函式是：通常把這種分布叫做「0-1」分布或者兩點分布，是分布引數.
2. 二項分布(binomial distribution): 設隨機變數x可能的的值是0, 1, 2, ..., n,而概率函式是：
其中，這種分布叫做二項分布，含有兩個引數和,通常把這種分布記作，如果隨見變數 x 服從二項分布，記作
3. 泊松(possion)分布: 設隨機變數 x 的可能值是一切非負整數，而概率函式是：
其中λ > 0為常數，這種分布叫做泊松分布。泊松分布就含有乙個引數λ，記作p(λ), 如果隨機變數 x 服從泊松分布，則記作x~p(λ)
四、隨機變數的分布函式
設x是任何實數，考慮隨機變數x取得的值不大於x的概率，即事件x≤x 的概率，記作f(x) = p(x ≤ x),這個函式叫做隨機變數x的概率分布函式或者分布函式，注意區別於上面講到的概率函式.
如果已知隨機變數x的分布函式f(x), 則隨見變數x落在半開區間 (x1, x2] 內的概率：p(x1< x ≤ x2) =f(x2) -f(x1)
五、連續隨機變數的概率密度
連續隨機變數的概率密度就是分布函式的導函式
六、隨機變數的數學期望
如果隨機變數x只能取得有限個值：
而取得有限個值得概率分別是：
則數學期望：
如果連續隨機變數x的概率密度為，則連續隨機變數的數學期望：
乙個常數的的數學期望等於這個常數本身。
定理：兩個獨立隨機變數的乘積的數學期望等於它們數學期望的乘積。證明如下：
對於離散隨機變數x與y獨立：
對於連續隨機變數x與y獨立：
七、方差與標準差
隨機變數x的方差記作d(x),定義為：
下面證明乙個很有用的公式(會用到性質：乙個常數的的數學期望等於這個常數本身)：
簡而言之：隨機變數的方差等於變數平方的期望減去期望的平方.
標準差就是方差的算術平方根。
常數的方差為0.
八、協方差與相關係數
隨機變數x與隨機變數y的協方差記作:
進一步推導可得：
因為兩個獨立隨機變數乘積的期望等於兩個隨機變數各自期望的乘積，於是當兩個隨機變數獨立使，很容易得到它們的協方差為0.
兩個隨機變數x與y的相關係數為：
兩個隨機變數的相關係數的絕對值不大於1.
當且僅當隨機變數y與x之間存**性關係：
時，相關係數的絕對值等於1，並且
九、正態分佈
正態分佈又叫高斯分布，設連續隨機變數 x 的概率密度
其中μ及σ>0都是常數，這種分布就是正態分佈.
正態分佈含有兩個引數μ及σ>0，其中μ等於正態分佈的數學期望，而σ等於正態分佈的標準差,通常把這種分布記作，隨機變數x服從正態分佈，則記為：
定理設隨機變數 x 服從正態分佈，則x的線性函式y= a + bx(b≠0)也服從正態分佈，且有
先總結這麼多，以後遇到重要的概率論知識點會繼續補充！
如何學習概率論
不少人特別是初學者總感到概率統計難學，不知怎麼才能學好，摸不著頭緒，比較著急。有人還問 學概率統計有什麼竅門？總之，都渴望得到一種好的學習方法，從而學好概率統計。概率論是研究隨機現象的統計規律性的數學學科。由於問題的隨機性，從這個意義上講，也可以說有點難學。這正是不少人害怕概率的原因。但隨機現象是有...
概率論學習心得
概率論與數理統計是研究隨機現象統計規律的科學，既是重要的基礎理論，又是實踐性很強的應用科學。概率論是十七世紀因保險事業發展而產生的，與博弈實踐有關 數理統計學源於對天文和測地學中的誤差分析以及中世紀歐洲流行黑死病的統計。數理統計學與概率論這兩個學科的密切聯絡就是基於統計資料的隨機性。概率論與數理統計...
概率論與數理統計知識
知識要點 一概念 1 隨機事件 用等表示 互不相容 互逆 且，此時，互逆互不相容 反之不行 相互獨立 或 2 隨機事件的運算律 1 交換律 2 結合律 3 分配律 4 de morgen 律 對偶律 推廣 3 隨機事件的概率 有界性若則條件概率 4 隨機變數 用大寫表示 若與相互獨立的充分必要條件是...