2.7 離散無記憶信源的擴充套件
2.3 每幀電檢視像可看成是由個獨立變化的畫素組成的，每個畫素又取128個不同的亮度電平，並設亮度電平是等概出現的。問每幀影象含有多少資訊量？
現假設有乙個廣播員，在約10000個漢字中選1000個字來口述這一電檢視像，（1）試問廣播員描述此影象所廣播的資訊量是多少？（2）假設漢字字彙是等概分布的，並且彼此無依賴，試問若要恰當地描述此幀影象，廣播員在口述中至少需要多少個漢字？
答案：王虹
解：設電檢視像每個畫素取128個不同的亮度點平，並設電平等概率出現，每個畫素的亮度信源為
得每個畫素亮度含有的資訊量為：
一幀中畫素均是獨立變化的，則每幀影象信源就是離散亮度信源的無記憶次擴充套件信源。得每幀影象含有的資訊量為
廣播口述時，廣播員是從10 000個漢字字彙中選取的，假設漢字字彙是等概率分布的，則漢字字彙信源是
得該漢字字彙中每個漢字含有的資訊量
廣播員口述電檢視像是從此漢字字彙信源中獨立地選取1000個字來描述。所以，廣播員描述此幀影象所廣播的資訊量為
若廣播員仍從此漢字字彙信源中獨立地選取漢字來描述電檢視像，每次口述乙個漢字含有資訊量是,每幀電檢視像含有的資訊量是,則廣播員口述此影象至少需用的漢字數等於
2.5 一副充分洗亂的牌（含52張），試問：
（1）任一特定排列所給出的不確定性是多少？
（2）隨機抽取13張牌，13張牌的點數互不相同時的不確定性是多少？
解：（1）一副充分洗亂的撲克牌，共有52張，這52張牌可以按不同的一定順序排列，可能有的不同排列狀態數就是全排列種數，為
因為撲克牌充分洗亂，所以任一特定排列出現的概率是相等的。
設事件a為任一特定排列，則其發生概率為
可得，任一特定排列所給出的資訊量為
位元 哈特
（1） 設事件b為從中抽取13張牌，所給出的點數都不同。
撲克牌52張中抽取13張，不考慮其排列順序，共有種可能的組合。而撲克牌中每一種點數有4種不同的花色。而每一種花色都有13張不同的點數。
13張牌中所有的點數都不相同（不考慮其順序）就是每種點數的花色不同，所以可能出現的狀態數為。因為牌都是充分洗亂的，所以在這種組合中所有的點數都不相同的事件都是等概率發生的。所以
則事件b發生所得到的資訊量為
位元哈特
2.6 平均互資訊及其性質
2.6 設隨機變數和的聯合概率空間為
定義乙個新隨機變數（普通乘積）。
（1）計算熵、、、、以及；
（2）計算條件熵、、、、、、、以及；
（3）計算互資訊量、、、、以及；
解 （1）
bit/symbol
的概率分布如下
由得由對稱性可得
（2）hp㏒p=-
h=h-h
h=h-h
h=h-h
h=h-h
h=h-h
h=h-h
h=h-h
h=h-h
h=h-h
(3)2.5 聯合熵和條件熵
2.10 任意三個離散隨機變數、和，求證：
(1)證明：（1） 方法一：利用定義證明。
左邊==
右邊= =
*****=得證方法二：利用性質證明。
因為所以可得
2.10 （2） 任意三個離散隨機變數、和，求證：
。 (2)要證明不等式成立，等價證明下式成立：
根據熵函式的定義
得證 2.11 連續隨即變數的熵和平均互資訊量
2.12 設連續隨即變數x的概率密度函式為
（1）求x的熵；
（2）求的熵；
（3）求的熵。
解：（1）
因為所以
故若則所以若則
所以3.4 通道的疑義度、散布度和平均互資訊
3.2 設離散無記憶信源通過離散無記憶通道傳送資訊，設信源的概率分布和通道的線圖分別為
試求：（1）信源的符號和分別含有的自資訊；
（2）從輸出符號所獲得的關於輸入符號的資訊量；
（3）信源和通道輸出的熵；
（4）通道疑義度和雜訊熵；
（5）從通道輸出中獲得的平均互資訊量。
解：(1) /符號
/符號(2)=符號符號
符號符號(3) /符號
/符號(4)、(5)
/符號/符號/符號/符號又根據符號3.3 設有一批電阻，按阻值分：70%是2，30%是5；按功率分：
64%是1/8，其餘是1/4。現已知2阻值的電阻中80%是1/8。問通過測量阻值可以平均得到的關於瓦數的資訊量是多少？
解：設阻值信源為，
設功率信源為
共70%
符號符號
/符號/符號符號 3.5 求下列二個通道的通道容量及其最佳的輸入概率分布。
解：圖3.8中兩通道的通道矩陣為
其滿足對稱性，所以這兩通道是對稱離散通道。由對稱離散通道的通道容量公式得
位元/符號
最佳輸入分布（即達到通道容量的輸入分布）是輸入為等概率分布。
現計算這二元對稱通道能傳輸的最大的資訊傳輸速率。這通道是二元對稱通道，通道傳遞矩陣
所以其通道容量（即最大資訊傳輸率）
位元/符號
3.6 求下列兩個通道的通道容量和最佳輸入分布，並加以比較。其中。
解：(1)方法一：從通道矩陣(1)可知，其行中各行元素不同，因此不是對稱通道。正因為各行元素相等，所以我們假設輸入分布為等概率分布，即
在輸入等概率分布下，計算得
滿足然後計算=又=
可見，當時。
所以，根據通道容量解的充要性（參考書[1]定理3.3）得
故假設的輸入分布就是最佳的輸入分布。
方法二：
此通道是準對稱通道。通道矩陣中可劃分成二個互不相交的子集，由於集列所組成的矩陣
而這兩個子矩陣滿足對稱性，因此，可直接利用準對稱通道的通道容量公式進行計算。
其中，，，，所以
==輸入等概率分布時達到通道容量。
(2)此通道也是準對稱通道，也可採用上述兩種方法之一來進行計算。現採用準對稱的通道容量公式進行計算。此通道矩陣中可劃分成兩個互不相交的子集，由子集列所組成的矩陣為
這兩矩陣為對稱矩陣。
其中所以 =
輸入等概率分布()時達到此通道容量。比較此兩通道容量，可得
3.8 信源與通道的匹配
3.8 設二元對稱通道的輸入概率分布為，轉移矩陣為
（1）求通道輸入熵、輸出熵、損失熵、雜訊熵以及平均互資訊量；
（2）求通道容量和最佳輸入分布；
（3）求通道剩餘度。
解：(1)
bit/符號
損失熵bit/符號
雜訊熵 ≈0.390+0.528
≈0.918 bit/符號
平均互資訊
0.811-0.749=0.062 bit/符號
0.4536+0.5363=0.9899 bit/符號
2) 二元對稱通道 bit/符號
（3）通道剩餘度 bit/符號
3.9 設通道轉移矩陣為
（1）求通道容量和最佳輸入分布的一般表示式；
（2）當和時，通道容量分別為多少？並針對計算結果作一些說明。
解：(1) ()
解方程組得
所以 =
而 (=1,2,3)
得解得當p=0,此通道為一一對應通道，得
資訊理論與編碼課程總結
08資訊 1 班 0807011039 趙傳來 資訊理論是人們在長期通訊工程的實踐中，由通訊技術與概率論 隨機過程和數理統計相結合而逐步發展起來的一門科學。緒論首先引出資訊的概念，進而討論資訊理論這一科學的研究物件 目的和內容，並簡述本學科的發展歷史 現狀和動向。經總結有以下知識點。資訊是指各個事物...
2019資訊理論與編碼試卷
考試時間120分鐘 班級學號姓名 1.15分 彩色電視顯象管的螢幕上有5 105 個象元，設每個象元有64種彩色度，每種彩度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現並且各個組合之間相互獨立。1 計算每秒傳送25幀圖象所需要的通道容量 2 如果在加性高斯白雜訊通道上訊...
資訊理論與編碼基礎複習題
1.從通訊的實質意義來講，如果信宿收到的訊息是已知的，則等於沒有收到任何訊息。2.當乙個信源中所有的符號訊息為等概時，該信源的熵最大。3.即時碼一定是單義可解碼。4.不使用間隔即可區分碼字，就必然要求碼字具有惟一性。5.雜訊熵為0的通道稱為確定通道。6.從通訊的實質意義來講，人們對訊息中所包含的未知...