六、計算（每題10分）（20道）
1、設有乙個信源，它產生0，1序列的資訊。它在任意時刻且不論以前發生過什麼符號，均按p（0）=0.4，p(1)=0.6的概率發出符號。試計算：
（1）h（x2） （2）h（x3/x1x2） （3）
解：根據題意，此信源在任何時刻發出的符號概率都是相同的，即概率分布與時間平移無關，且信源發出的序列之間也是彼此無依賴的，所以這個信源是平穩信源，且是離散無記憶信源。
（1） ｈ（ｘ）＝-0.4log20.4-0.6log20.6≈0.971 位元／符號
ｈ（ｘ2）＝2ｈ（ｘ）≈1.942位元／二符號
（2） ｈ（ｘ3|ｘ1ｘ2）＝ｈ（ｘ3）＝ｈ（ｘ）≈0.971 位元／符號
（3） =lim1/n×h(x1x2…xｎ)＝lim1/n× nｈ（ｘ）
＝ｈ（ｘ）≈0.971 位元／符號
２、已知信源x和條件概率p（y/x）如下：
試計算：h（x）、h（y）、h（xy）、h（x/y）、h（y/x）、ｉ(x；y)
解：根據題意，(1)由p(xiyj)=p(xi)p(yj/xi)，求出各聯合概率：
p(x１y１)=p(x１)p(y１|x１)＝1/2×3/4＝0.375
p(x１y２)=p(x１)p(y２|x１)＝1/2×1/4＝0.125
p(x２y１)=p(x２)p(y１|x２)＝1/2×1/4＝0.125
p(x２y２)=p(x２)p(y２|x２)＝1/2×3/4＝0.375
(2)由p(yj)=∑i=1np(xiyj)，得到ｙ集合訊息概率：
p(y１)=∑i=1２p(xiy１)＝p(x１y１)+ p(x２y１)=0.375+0.125=0.5
p(y２)=∑i=1２p(xiy２)＝1- p(y１)=1-0.5=0.5
(3)由p(xi|yj)=p(xiyj)/p(yi)，求出x的各後驗概率：
p(x１|y１)=p(x１y１)/p(y１)＝0.375/0.5=0.75
p(x2|y１)=p(x2y１)/p(y１)＝0.125/0.5=0.25
p(x１|y2)=p(x１y2)/p(y2)＝0.125/0.5=0.25
p(x2|y2)=p(x2y2)/p(y2)＝0.375/0.5=0.75
(4)ｈ（ｘ）＝∑i=1２p(xi)ｌｏｇ２p(xi)＝-0.5log20.5-0.5log20.5=1位元/符號
ｈ（y）＝∑i=1２p(yi)ｌｏｇ２p(yi)＝-0.5log20.5-0.5log20.5=1位元/符號
ｈ（ｘy）＝∑i=1２∑j=1２p(xiyj)ｌｏｇ２p(xiyj)
＝-2×0.375log20.375-2×0.125log20.125=1位元/符號
(5)平均互資訊：
i(x;y)=h(x)+h(y)-h(xy)=1+1-1=1位元/符號
(6)疑義度：
h(x|y)= ∑i=1２∑j=1２p(xiyj)ｌｏｇ２p(xi|yj)
＝-2×0.375log20.75-2×0.125log20.25
=2-3/4log3=2-0.93875=1.0615 位元/符號
(7)雜訊熵：
h(y|x)= ∑i=1２∑j=1２p(xiyj)ｌｏｇ２p(yj|xi)
＝-2×0.375log20.75-2×0.125log20.25
=2-3/4log3=2-0.93875=1.0615 位元/符號
3、同時扔兩個正常的骰子，也就是各面呈現的概率都是1/6，求：
(1)「３和５同時出現」這事件的自資訊量；
(2)「兩個１同時出現」 這事件的自資訊量；
(3)兩個點數的各種組合（無序對）的熵或平均自資訊量；
(4)兩個點數之和（即２、３、…１２構成的子集）的熵；
(5)兩個點數中至少有乙個是１的自資訊。
( log23≈1.585 log25≈2.3236 log211≈3.46 )
解：根據題意，同時扔兩個正常的骰子，可能呈現的狀態數有３６種，因為兩骰子是獨立的，又各面呈現的概率都是1/6，所以３６種中的任一狀態出現的概率相等，為１/３６。
(1)設「３和５同時出現」這事件為ａ。在這３６種狀態中，３和５同時出現有兩種情況即３、５和５、３。所以
得 i(a)＝－logp(a)=log218≈4.17 位元
(2) 設「兩個１同時出現」這事件為ｂ。在這３６種狀態中，兩個１同時出現只有一種情況。所以
得 i(ｂ)＝－logp(ｂ)=log236≈5.17 位元
(3)設兩個點數的各種組合（無序對）構成信源ｘ，這信源ｘ的符號集ａ（樣本集）就是這36種狀態，所以ａ＝,並且其為等概率分布。得
所以 h(x)=log236≈5.17 位元/符號(位元/狀態)
(4) 設兩個點數之和構成信源ｚ，它是由兩個骰子的點數之和組合，
即ｚ＝ｘ+ｙ（一般加法）而
所以得滿足這是因為z=2是由x=1加y=1一種狀態得到；z=3是由x=1加y=2和x=２加y=１兩種狀態得到；z=４是由x=1加y=３、x=２加y=２、x=３加y=１三種狀態得到；其它類似。
由於ｘ與ｙ統計獨立，可得
ｐz（z）=p(x)p(y)= p(x)p(y) z=x+y
所以得h(z)=- p(z)logp(z)
log236-[4/36log22+6/36 log23+8/36 log24
+10/36 log25+6/36 log26]
log236-[26/36+12/36log23+10/36log25]
5.17-1.896=3.274 位元
(5) 在這36種狀態中兩個點數中至少有乙個數是１的狀態共有１１種，每種狀態是獨立出現的，每種狀態出現的概率是１/３６。
現設兩個點數中至少有乙個數是１的事件為ｃ事件，則得
ｐ(c)=11/36
所以得 ｉ(c)=－logp(c)=－log211/36≈1.71 位元
４、某校入學考試中有１/4考生被錄取，3/4考生未被錄取。被錄取的考生中有50%來自本市，而落榜考生中有10%來自本市。所有本市的考生都學過英語。
而外地落榜考生以及被錄取的外地考生中都有40%學過英語。
(1)當已知考生來自本市時，給出多少關於考生是否被錄取的資訊；
(2)當已知考生學過英語時，給出多少有關考生是否被錄取的資訊；
(3)以x表示是否落榜，y表示是否為本市學生，z 表示是否學過英語，試求h(x)、h(y/x)、h(z/xy)。
解：設x表示是否落榜，其值為；ｙ表示是否為本市學生，其值為；ｚ表示是否學過英語，其值為。
根據題意，p(a1)=1/4, p(a2)=3/4
p(b1/a1)=0.5, p(b1/a2)=0.1
p(b2/a1)=0.5, p(b2/a2)=0.9
p(c1/b1)=1, p(c1/a2b2)=0.4, p(c1/a1b2)=0.4
p(c2/b1)=0, p(c2/a2b2)=0.6, p(c2/a1b2)=0.6
可計算得
p(b1)=
p(b2)=
p(a1/b2)=
p(a2/b2)=
p(c1/b2)=
p(c2/b2)=
p(c1)=
p(c2)=
(1)當考生來自本市，已被錄取的概率為
p(a1/b１)=
當考生來自本市，未被錄取的概率為
p(a２/b１)=（＝１－p(a1/b１)）
當已知考生來自本市，給出關於考生是否被錄取的資訊為
h(x/b１) =
5/8log25/8－3/8log23/8≈0.954 位元
(2) 當已知考生學過英語，被錄取的概率為
p(a1/c１)=
其中 p(c1/a1)=
因為本市的考生都學過英語，所以
p(c1/a１b１)=1, p(c1/a２b１)=1
p(c2/a１b１)=0, p(c2/a２b１)=0
得p(c1/a１)
p(a1/c１)
同理p(c1/a2)
p(a2/c１)
則當已知考生學過英語，給出關於考生是否被錄取的資訊為
h(x/c１) =
35/104log235/104－69/104log269/104≈0.921 位元
(3) h(x) ==0.811位元/符號
h(y/x) =
=≈0.602 位元/符號
h(z/xy) =
==≈0.777 位元/符號
5、a ensemble x has the non-negative integers as its sample space. find the probability assignment px(n),n=0,1,2, …,that maximizes h(x) subject to the constraint that the mean value of x.（n=0,∞）
is a fixed value a. evaluate the resulting h(x).
解：根據題意，我們要求最大化h(x)，它要滿足的條件是
０≤px(n
先不考慮條件⑶，採用拉格郎日法來求極大（因為離散信源熵的極大存在）。
得令 其滿足即
概率論習題
概率論與數理統計 試卷 一 選擇題 每小題5分，共20分 1 設a b為兩互不相容事件，且則下列式子正確的是 a b c d 2 設隨機變數x n 2 則隨著的增大，概率 a 增加 b 減小 c 不變 d 無法確定 3 設隨機變數x的概率密度為，令y 2x，則y的概率密度為 ab cd 4 設隨機變...
概率論習題 2
隨機變數的數字特徵 1 隨機變數的數學期望 一 定義 1 離散型 當絕對收斂 2 連續型 當絕對收斂 二 性質 1 2 3 4 相互獨立，則 例將一均勻骰子獨立拋擲三次，求擲得三數之和的數學期望。三 隨機變數的函式的數學期望 1 離散型 當絕對收斂，2 連續型 當絕對收斂 四 隨機變數的函式的數學期...
概率論練習題
一 填空題 1.袋中有8紅 3白球,從中任取2球,至少有一白球概率為 2.為獨立事件,且p 0.6,p a 0.4,則p b 3.若x p 則p x 4.若x n 則密度f x 5.已知事件a b互不相容，且p aub 0.8,p a 0.5,則p b p a b 6.設，則 7.設隨機事件a,b及...