資訊理論複習提綱
第一章緒論
1． 通訊系統模型；
2． 香濃資訊的概念；
3． 信源、通道、信源編碼和通道編碼研究的核心問題。
第二章離散信源及信源熵
1． 離散資訊量、聯合資訊量、條件資訊量、互資訊量定義；
2． 信源熵、條件熵、聯合熵定義；
3． 平均互資訊量定義、性質、三種表示式及物理意義，與其它熵的關係（不證明）；
4． 最大信源熵定理及證明；
5． 本章所有講過的例題；
第三章離散信源的信源編碼
1． 資訊傳輸速率、編碼效率定義；
2． 最佳編碼定理（即3.2節定理：概率越大，碼長越小；概率越小，碼長越大）及證明；
3． 碼組為即時碼的充要條件；
4． 單義可譯定理（kraft不等式）及應用；
5． 費諾編碼方法、霍夫曼編碼方法應用（二進位制，三進製，**制）；
6． 本章所有講過的例題；
第四章離散通道容量
1． 利用通道矩陣計算通道容量（離散無噪通道、強對稱離散通道、對稱離散通道、準對稱離散通道）；
2． 本章講過的例題；
第五章連續訊息和連續通道
1． 相對熵的定義；
2． 均勻分布、高斯分布、指數分布的相對熵及證明；
3． 峰值功率受限條件下的最大熵定理及證明，平均功率受限條件下的最大熵定理及證明，均值受限條件下的最大熵定理及證明；
4． 夏農公式及意義；
5． 本章所有講過的例題；
第六章差錯控制
1． 重量、最小重量、漢明距離、最小漢明距離、編碼效率的定義；
2． 最小距離與檢錯、糾錯的關係（即6.3節定理）；
3． 本章所有講過的例題；
第七章線性分組碼
1． 線性分組碼定義；
2． 線性分組碼的最小距離與最小重量的關係及證明；
3． 生成矩陣、一致校驗矩陣定義，給出線性方程組求出生成矩陣和一致校驗矩陣的標準形式，生成矩陣與一致校驗矩陣的關係；
4． 製作標準陣列並利用標準陣列解碼；
5． 本章所有講過的例題；
第八章迴圈碼
1． 生成多項式的特點，有關定理（8.2三定理1，定理2，定理3）及證明；
2． 生成矩陣、一致校驗矩陣定義，如何獲得生成矩陣、一致校驗矩陣的典型形式；
3．本章所有講過的例題；
習題：1. 已知隨機變數x和y的聯合分布如下：
計算：h(x)、h(y)、h(xy)、h(x/y)、h(y/x)、i(x;y)。
2. 具有歸併效能的無噪通道的通道矩陣p=，求其通道容量及達到通道容量時信源的概率分布。
3. 通道矩陣[p]=，計算[p]代表的通道的通道容量。
4. 設二元對稱通道的傳遞矩陣為
(1) 若；
(2) 求該通道的通道容量及其達到通道容量時的輸入概率分布。
5. 設有信源
（1） 對該信源編二進位製費諾；
（2） 計算其平均碼長。
6. 設有信源
（1） 對該信源編二進位制霍夫曼碼，計算其平均碼長；
（2） 對該信源編三進製霍夫曼碼，計算其平均碼長；
（3） 對該信源編**制霍夫曼碼，計算其平均碼長；
7. 設有乙個無記憶信源發出符號a和b，已知p(a) = 1/4, p(b) = 3/4。
（1）計算該信源熵；
（2）該信源改為發出二重符號串行訊息的信源，採用費諾編碼，求其平均資訊傳輸速率；
（3）該信源改為發三重序列訊息的信源，採用霍夫曼編碼，求其平均資訊傳輸速率。
8. 設乙個[7, 4]碼的生成矩陣為
（1） 求出該碼的全部碼字；
（2） 求出該碼的一致校驗矩陣；
(3) 作出該碼的標準解碼碼表。
9. 設二元線性碼l的生成矩陣為，建立碼l的標準陣並且對字11111和10000分別進行解碼。
10. 令是 (15, 5)迴圈碼的生成多項式，寫出該碼的系統碼形式的g和h矩陣標準形式；
11. 給定x的概率密度函式為拉普拉斯分布，求相對熵hc(x)。
2023年《資訊理論與編碼》研究生考試試題
注：滿分100分，所有答案寫在答題紙上，該試卷寫上名字後交回． 姓名
一． 敘述題（5分×4＝20分）
1．寫出夏農公式，並解釋其意義．
2．敘述平均碼長界定定理．
3．敘述夏農第一定理．
4．分別敘述峰值功率受限和平均功率受限條件下的最大熵定理．
二． 計算題（共70分）
１．（10分）設信源，求這個信源的熵，並解釋為什麼h(x) > log6，不滿足最大熵定理．
2. （10分）利用最大後驗概率解碼準則，給出解碼方案，並計算錯誤傳輸概率.
信源的概率空間為，通道矩陣為
3．（15分）信源概率空間為，
分別進行二進位製費諾編碼，二進位制霍夫曼編碼和三進製霍夫曼編碼．
4．（20分）線性分組碼的生成矩陣
（1）寫出一致校驗矩陣．
（2）給出所有碼字．
（3）給出標準陣列表．
（4）如果接收，，，給出解碼．
5．（15分）令是 (15, 5)迴圈碼的生成多項式，
寫出生成矩陣g和一致校驗矩陣h的標準形式．
三． 證明題（共10分）
證明：線性分組碼構成維線性空間的維子空間．
資訊理論與編碼基礎複習題
1.從通訊的實質意義來講，如果信宿收到的訊息是已知的，則等於沒有收到任何訊息。2.當乙個信源中所有的符號訊息為等概時，該信源的熵最大。3.即時碼一定是單義可解碼。4.不使用間隔即可區分碼字，就必然要求碼字具有惟一性。5.雜訊熵為0的通道稱為確定通道。6.從通訊的實質意義來講，人們對訊息中所包含的未知...
2019資訊理論與編碼試卷
考試時間120分鐘 班級學號姓名 1.15分 彩色電視顯象管的螢幕上有5 105 個象元，設每個象元有64種彩色度，每種彩度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現並且各個組合之間相互獨立。1 計算每秒傳送25幀圖象所需要的通道容量 2 如果在加性高斯白雜訊通道上訊...
資訊理論與編碼課程總結
08資訊 1 班 0807011039 趙傳來 資訊理論是人們在長期通訊工程的實踐中，由通訊技術與概率論 隨機過程和數理統計相結合而逐步發展起來的一門科學。緒論首先引出資訊的概念，進而討論資訊理論這一科學的研究物件 目的和內容，並簡述本學科的發展歷史 現狀和動向。經總結有以下知識點。資訊是指各個事物...