2-1.解：該一階馬爾可夫信源，由轉移概率構成的轉移矩陣為：
對應的狀態圖如右圖所示。設各符號穩定概率為：，，
則可得方程組：=+=
++=1
解得各符號穩態概率為：
2-2.解：該馬爾可夫信源的符號條件概率矩陣為：
狀態轉移概率矩陣為：
對應的狀態圖如右圖所示。
設各狀態的穩態分布概率為, , , ,則可得方程組為：
=0.8+0.5
=0.2+0.5
=0.5+0.2
=0.5+0.8
+++=1
解得穩定分布的概率為:
2-3.解：（1）「3和5同時出現」事件的概率為：
p(3,5)=
故其自資訊量為：
i(3,5)=-㏒=4.17bit
（2）「兩個1同時出現」事件的概率為：
p(1,1)=
故其自資訊量為：
i(1,1)=- ㏒=5.17bit
（3）兩個點數的各種組合構成的信源，其概率空間為：
則該信源熵為：
h(x)=6×lb36+15×lb18=4.337bit/事件
（4）兩個點數之和構成的信源，其概率空間為：
則該信源的熵為：
h(x)=2×lb36+2×lb18+2×lb12+2×lb9+2×lb+lb6
3.274bit/事件
（5）兩個點數中至少有乙個是1的概率為：
p(1)=
故其自資訊量為：
i(1)= -㏒=1.7105bit
2-7.解：（1）離散無記憶信源的每個符號的自資訊量為
i(x)= -㏒=1.415bit
i(x)= -㏒=2bit
i(x)= -㏒=2bit
i(x)= -㏒=3bit
（2）由於信源發出訊息符號串行有12個2，14個0，13個1，6個3，故該訊息符號串行的自資訊量為：
i(x87.81bit
平均每個符號攜帶的資訊量為：
x)= =1.95bit/符號
2-10
解：用表示第一次摸出的球為黑色，用表示第一次摸出的球為白色，用表示第二次摸出的球為黑色，用表示第二次摸出的球為白色，則
(1)一次實驗包含的不確定度為：
h(x)=-p()lbp()-p()lbp()=-lb-lb=0.92 bit
(2)第一次實驗x摸出的球是黑色，第二次實驗y給出的不確定度:
h(y|)=-p(|)lb p(|)-p(|)lb p(|)
lb-lb
0.86 bit
(3)第一次實驗x摸出的球是白色，第二次實驗y給出的不確定度:
h(y|)=-p(|)lb p(|)-p(|)lb p(|)
lb-lb
0.94 bit
（4）第二次y包含的不確定度：
h（y|x）= -
p() h(y|)+p()h(y|)
0.91 bit
2-11
解：（1）僅對顏色感興趣的不確定度：
h(colour)=h（，，）= -lb- 2lb =1.24 bit
(2) 對顏色和數字都感興趣的平均不確定度：
h(clour,number)=h(number)= -18lb= 5.25 bit
(3)顏色已知的條件熵：
h（number|colour）=h（colour,number）- h(colour)=(5.25-1.24) bit=4.01 bit
2-12
解：（1）實驗ｘ和ｙ的平均資訊量：
h(x,y)= - lb
lbh(,,0, , ,0, ,)
2.3 bit/符號
（2）由聯合概率，可得
p()=++
=++=++0
=同理可得
p()=p()=,則實驗y的平均資訊量：
h(y)=h(,,)=1.58 bit/符號
（3）在已知實驗y結果的條件下，實驗x的平均資訊量：
h(x|y)=h(x,y)-h(y)=(2.3-1.58) bit/符號=0.72 bit/符號
2-13
解：由x和y的聯合概率，可得
p(x=0)=p(x=0,y=0)+p(x=0,y=1)= +=
同理，p(x=1)=, p(y=0)=p(y=1)=
由於z=xy，由x和y的聯合概率，可得
p(z=0)= p(x=0,y=0)+p(x=1,y=0)+p(x=0,y=1)=
p(z=1)=p(x=1,y=1)=
p(x=0,z=0)= p(x=0,y=0)+ p(x=0,y=1)=, p(x=0,z=1)=0
p(x=0,y=0)p(x=0,y=0) p(x=0,y=0) p(x=0,y=0)
p(x=1,z=0)= p(x=1,y=0)=, p(x=1,z=1) =p(x=1,y=1)=
p(y=0,z=0)= p(y=0,z=1)=0 p(y=1,z=0)= p(y=1,z=1)=
p(x=0,y=0,z=0)= p(x=0,y=0,z=1)=0 p(x=0,y=1,z=0)=
p(x=0,y=1,z=1)=0 p(x=1,y=0,z=0)= p(x=1,y=1,z=0)=0
p(x=0,y=0,z=1)=0 p(x=0,y=1,z=1)=0 p(x=1,y=1,z=1)=,則:
(1) h(x)=h(,)=1 bit
h(y)=h(,)=1 bit
h(z) =h(,)= 0.54 bit
h(x,z)=h(,0, ,)=1.41 bit
h(y,z) =h(,0, ,)=1.41 bit
h(x,y,z) =h(,0, ,0, ,0,0,)=1.8 bit
(2) h(x,y)=h(,,,)=1.81 bit
h(x|y)= h(x,y) – h(y)=0.81 bit
h(y |x)= h(x,y) – h(x)=0.81 bit
h(x|z)= h(x,z) – h(z)=0.87 bit
h(z|x)= h(x,z) – h(x)=0.41 bit
h(y|z)= h(y,z) – h(z)=0.87 bit
h(z|y)=h(y,z)-h(y)=0.41bit
h(x|y,z)=h(x,y,z)-h(y,z)=0.4bit
h(y|x,z)=h(x,y,z)-h(x,z)=0.4bit
h(z|x,y)=h(x,y,z)-h(x,y)=0
(3) i(x;y)=h(x)-h(x|y)=0.19bit
i(x;z)=h(x)-h(x|z)=0.13bit
i(y;z)=h(x)-h(y|z)=0.13bit
i(x;y|z)=h(x|z)-h(x|y,z)=0.47bit
i(y;z|x)=h(y|x)-h(y|x,z)=0.41bit
i(x;z|y)=h(x|y)-h(x|y,z)=0.41bit
2-14 解：依題意，可得通道傳輸概率
p(y=0|x=0)=1-p(y=1|x=0)=3/4, p(y=1|x=1)=1-p(y=0|x=1)=7/8
聯合概率：p(x=0,y=0)=p(y=0|x=0)p(x=0)=3/8
同理：p(x=0,y=1)=1/8,p(x=1,y=0)=1/16,p(x=1,y=1)=7/16
概率：p(y=0)=p(x=0,y=0)+p(x=1,y=0)=7/16
p(y=1)=p(x=0,y=1)+p(x=1,y=1)=9/16
後驗概率：p(x=0|y=0)=p(x=0,y=0)/p(y=0)=(3/8)/(7/16)=6/7
同理：p(x=1|y=0)=1/7,p(x=0|y=1)=2/9,p(x=1|y=1)=7/9,則
（1） i（x;y=0）=）
2-30
解：依題意，狀態轉移圖如下圖所示，其狀態轉移概率矩陣為p= 設狀態穩定概率為、，則：
解得： = ； =
+=1則：h(x |)=--=0.918bit
h(x |)=0
信源熵為：h（x）= h(x |)+ h(x |)=(*0.918+*0)bit=0.688bit
2-32
解：（1）由狀態圖，可得狀態轉移概率矩陣為：p=
設狀態穩定概率為, ,，則：
（1-p）++=
1-p解得： ===，
1-p即p(0)=p(1)=p(2)=
1(2) h(x|0)=h(x|1)=h(x|2)= - (1-p) (1-p) - -
= - (1-p) (1-p) - p
x)=p(0)h(x|0)+p(1)h(x|1)+p(2)h(x|2)= - (1-p) (1-p) - pbit
(3) h(x)= 3=1.58bit
資訊理論與編碼課程總結
08資訊 1 班 0807011039 趙傳來 資訊理論是人們在長期通訊工程的實踐中，由通訊技術與概率論 隨機過程和數理統計相結合而逐步發展起來的一門科學。緒論首先引出資訊的概念，進而討論資訊理論這一科學的研究物件 目的和內容，並簡述本學科的發展歷史 現狀和動向。經總結有以下知識點。資訊是指各個事物...
2019資訊理論與編碼試卷
考試時間120分鐘 班級學號姓名 1.15分 彩色電視顯象管的螢幕上有5 105 個象元，設每個象元有64種彩色度，每種彩度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現並且各個組合之間相互獨立。1 計算每秒傳送25幀圖象所需要的通道容量 2 如果在加性高斯白雜訊通道上訊...
資訊理論與編碼基礎複習題
1.從通訊的實質意義來講，如果信宿收到的訊息是已知的，則等於沒有收到任何訊息。2.當乙個信源中所有的符號訊息為等概時，該信源的熵最大。3.即時碼一定是單義可解碼。4.不使用間隔即可區分碼字，就必然要求碼字具有惟一性。5.雜訊熵為0的通道稱為確定通道。6.從通訊的實質意義來講，人們對訊息中所包含的未知...