1.從通訊的實質意義來講，如果信宿收到的訊息是已知的，則等於沒有收到任何訊息。
2.當乙個信源中所有的符號訊息為等概時，該信源的熵最大。
3.即時碼一定是單義可解碼。
4.不使用間隔即可區分碼字，就必然要求碼字具有惟一性。
5.雜訊熵為0的通道稱為確定通道。
6.從通訊的實質意義來講，人們對訊息中所包含的未知成分更感興趣，用概率論的術語來說，就是具有不確定性的成分。
7.當兩個集合相互獨立時，它們的共熵最大。
8.等長碼都是即時碼。
9.無記憶離散信源發出的各個訊息符號是相互獨立的，即信源發出的符號串行中的各個符號之間沒有關聯性，各個符號的出現概率統計獨立。
10.定長非奇異碼肯定是惟一可解碼。
11.訊息中未知的或不確定的成分，通常被稱為訊息中所包含的資訊，而訊息的傳遞需要由訊號來載荷。
12.**組集合中的所有**組都包含相同個數的碼元的編碼稱為等長碼。
13.信源編碼器的主要任務是完成輸入訊息集合與輸出**集合之間的對映。
14.解碼時不需要考察後續碼元，稱之為即時碼。
15.在即時碼中，任何乙個碼字都不是其他碼字的延長。
16.通訊系統的任務是將信源的訊息有效可靠地傳送到信宿。
17.在通訊系統中，人們習慣於將通訊分為數字通訊和模擬通訊，其實質亦是根據信源訊息是數字還是模擬來劃分的。
18.信源能夠用隨機過程來建模，從描述信源訊息的隨機過程的平穩性角度，信源可以分為平穩信源和非平穩信源，也可以按隨機過程的類別將其分為高斯信源和馬爾可夫信源等。
19.文字信源和語音信源都是針對人類語言、文字、聲樂等感知的，又通稱為自然語信源。
20.若信源發出的訊息是由k個離散符號構成的符號串行，且各個訊息相互統計獨立，則稱這種信源為發出符號串行訊息離散無記憶信源。
21.若單符號離散無記憶信源的信源空間為[xp]，對其進行k重擴充套件得到符號串行x=x1 x2 … xk，則稱擴充套件後的信源為離散無記憶信源[xp]的k重擴充套件信源，記為xk。
22.研究信源最主要的目的是為信源編碼服務。
23.當資訊量單位用位元、時間單位為秒時，資訊傳輸速率的量綱為位元/秒.
24.對信源的分類可以有多種方法，主要基於兩方面的考慮。一是信源訊息取值的集合以及訊息取值時刻的集合；二是信源訊息的統計特性。
25.通道是傳遞訊息的通道，廣義上是指從信源到信宿間傳遞物理訊號的媒質和設施。
26.從資訊傳輸的角度來講，研究信源主要是研究其輸出的訊息，簡稱信源訊息。
27.信源訊息中的資訊是乙個時變的不可預知的函式，因此，描述信源訊息或對信源建模，隨機過程是乙個有效的工具。
28.根據人們對信源訊息的感知情況將其分為資料信源、文字信源、語音信源、影象信源等。
29.若信源發出n個不同符號x1，x2，…，xi，…，xn ，分別代表n種不同的訊息，各個符號的概率分別為p1，p2，…，pi，…，pn且相互統計獨立，則稱這種信源為單符號訊息離散無記憶信源。
30.若信源發出的訊息是由k個離散符號構成的符號串行，且各個訊息相互統計相關，則稱這種信源為發出符號串行訊息離散有記憶信源。
31.信源編碼的目標是用盡可能少的碼元符號或盡可能低的資料速率來表示信源訊息。
32.當資訊量單位用位元、時間單位為碼元（或符號或符號串行等）所占用的時間時，資訊傳輸速率的量綱為位元/碼元（或位元/符號、位元/符號串行等）；
33.離散有記憶信源發出的各個訊息符號是相互關聯的，其記憶性或關聯性通常有兩種方式來描述。一是用其聯合概率來表示，這就是發出符號串行的離散有記憶信源；二是用其條件概率來表示，這就是發出符號串行的馬爾可夫信源。
34.為了理解怎樣的信源編碼才是好的或者說是有效的，首先要能夠對信源引數進行測量。
35.最佳編碼是無失真信源編碼的理想模式。為了達到這個目的，通常需要遵循下面兩個原則：
（1）對信源**現概率大的訊息（或符號），盡可能用短的**組（碼字）來表示，簡稱短碼，反之用長碼。（2）不使用間隔即可區分碼字。
36.**組集合中各**組所包含的碼元個數不相同的編碼稱為變長碼。
37.碼字含義的惟一性又稱為單義可譯性，這樣的碼字稱為單義可解碼。
38.解碼時要接收多於乙個碼字所包含的碼元才能決定的信源編碼，稱為非即時碼。
39.若在兩個**組之間使用間隔，就會減小信源的資訊傳輸速率，進而降低編碼效率。
40.非即時碼也可能是單義可解碼，這說明單義可解碼不一定是即時碼。
41.冗餘度是衡量信源編碼效率的乙個物理量，冗餘度越低，編碼效率就越高。
42.信源編碼器輸出**組的資訊傳輸速率與通道容量之比，稱為信源編碼器的編碼效率。即η=r/c×100%，當r=c時，η=100%，這是信源編碼的最理想特性，這樣的信源編碼能最充分地利用通道；當rc時，η>100%，說明信源編碼輸出的資訊速率超過了通道的傳輸能力，這樣必然會產生失真。
43.資訊含量效率越高，信源的冗餘度越低。
44.關於兩個獨立通道q1、q2串聯，（x通道q1的輸
入； y通道q1的輸出，也是通道q2的輸入；z通道
q2的輸出。）資料處理過程中，隨著資料的不斷處理，
從處理後的資料中所得的原始資訊會愈來愈少；串聯
通道的轉移概率矩陣是各單元通道的轉移概率矩陣之
積；xyz組成乙個馬爾可夫鏈。
45.關於變長編碼，無失真r進製變長碼碼長不得低於
信源r進製符號熵；變長編碼時，隨著信源序列長度
n的增大，編碼效率提高；變長碼的編碼效率高於定
長碼。46.關於無失真信源編碼，有效的信源編碼可使輸出碼
元概率均勻化；霍夫曼編碼過程中，可能造成碼字不
惟一，但平均碼長是相同的，因而編碼效率是相同；
夏農編碼不能保證碼字具有非續長性。
47.解碼規則不能由邊緣概率確定。
48.關於「重複n次」編碼，「重複n次」是定長碼；
採用擇多解碼策略；能減低平均差錯率。
49.引入限失真編碼不是因為提供信源的資訊率。
50.給定xi條件下隨機事件yj所包含的不確定度和條
件自資訊量p(yj /xi)，數量上相等，單位相同。
51.資訊是集合之間的變異度屬於從隨機不確定性的
角度來定義資訊。
52.信源編碼不屬於狹義資訊理論。
不滿足非負性。
54.關於定長編碼，引入失真不可能提高定長碼的編碼
效率是不正確的。
55.可能是任何概率分布對應的
huffman
56.算術編碼的碼長與該序列的累計概率有關
碼無法對只含2個符號的信源進行壓縮是
不正確的。
57.應用極大似然解碼規則總可以確定解碼的平均差
錯率是不正確的。
58.對信源u的2元符號串進行編碼，取碼長為3=n，則資訊
率r=2/3。
59.率失真函式體現平均互資訊的上凸性是不正確的。
60.糾錯編碼中，減小頻寬不能減小差錯概率。
61.本體論是最高層次的資訊
62.資訊的產生不屬於資訊理論的研究內容。
階馬爾科夫信源的極限熵等於m+1階條件熵是不正確的。
64.通道容量：訊息在不失真傳輸的條件下，通道所允許的最大資訊傳輸速率稱為通道容量。
65.最佳信源編碼：具有最短的**組平均長度或編碼效率接近於1的信源編碼稱為最佳信源編碼，簡稱最佳編碼。
66.信源：訊息的源，通常是提供訊息的人、裝置或事物
67.單符號離散信源：如果信源發出的訊息是離散的、有限或無限可列的符號或數字，且乙個符號代表一條完整的訊息，則稱這種信源為單符號離散信源。
68.信源冗餘度：設信源實際的熵為h，該種信源可能的最大熵為hmax，則r=（hmax-h）/hmax×100%為信源的冗餘度。
69.信源編碼器編碼效率：信源編碼器輸出**組的資訊傳輸速率與通道容量之比，稱為信源編碼器的編碼效率，即η=r/c×100%。
70.單義可解碼：對任何乙個有限長度的信源訊息序列，如果編碼得到的碼字序列不與其他任何信源訊息序列所對應的碼字序列相同，則稱這樣的碼為單義可解碼。
1.信宿：訊息傳遞的物件，通常是接收訊息的人、裝置或事物；
71.信源空間：若信源的輸出是隨機事件x，其出現概率為p(x)，則它們所構成的集合，稱為信源的概率空間，簡稱為信源空間。
72.資訊率：對於信源編碼器的輸出序列，其單位時間內所包含的資訊量稱為信源編碼器的資訊傳輸速率，簡稱資訊率。
73.通訊中的資訊、訊息和訊號三者之間的關係？通訊中的資訊、訊息和訊號是緊密相聯的：通訊系統傳輸的是訊號，訊號是訊息的載體，訊息中的未知成分是資訊。
74.訊息通常具有如下特徵：（1）訊息可以產生、傳遞和獲取；（2）訊息是有內容的。
75.資訊具有的特徵：（1）未知性或不確定性；（2）由不知到知等效為不確定性的集合的元素的減少；（3）可以度量；（4）可以產生、消失，可以被攜帶、儲存、處理；（5）可以產生動作。
76. 對於二進位制信源的各種信源空間，當p(0)、p(1)在什麼情況下得到的i(x；y)就是i(x；y)max？對於二進位制信源的各種信源空間，當p(0)=p(1)=1/2時，對應於二進位制對稱通道的平均互資訊量為最大，得到的i(x；y)就是i(x；y)max。
77.數字通訊中可靠性的含義，在通訊系統中哪個環節解決這個問題：直觀地理解，可靠性表明訊息傳輸中不出錯的程度。
對於數字通訊來說，通道編碼的主要任務就是解決這個問題。從傳輸的角度考慮，它可以用訊息出錯概率的大小來表徵。
78.夏農資訊理論主要是圍繞通訊的有效性和可靠性而展開的，它主要解決的問題：（1）圍繞資訊的度量所展開的討論；（2）圍繞無失真信源編碼所展開的討論；（3）基於資訊傳輸時允許一定程度的失真或差錯所展開的討論；（4）圍繞通道編碼所展開的討論；（5）圍繞帶限通道傳輸資訊的能力所展開的討論；（6）圍繞通訊網的發展帶來的資訊傳輸問題所展開的討論；（7）圍繞通訊的保密所展開的討論。
79.請簡述自資訊量i(xi)的定義並說明它的合理性：事件xi的出現概率為p(xi)，其所帶來的資訊量：
為事件xi的自資訊量。
資訊理論與編碼複習題目 2019
資訊理論複習提綱 第一章緒論 1 通訊系統模型 2 香濃資訊的概念 3 信源 通道 信源編碼和通道編碼研究的核心問題。第二章離散信源及信源熵 1 離散資訊量 聯合資訊量 條件資訊量 互資訊量定義 2 信源熵 條件熵 聯合熵定義 3 平均互資訊量定義 性質 三種表示式及物理意義，與其它熵的關係 不證明...
資訊理論與編碼課程總結
08資訊 1 班 0807011039 趙傳來 資訊理論是人們在長期通訊工程的實踐中，由通訊技術與概率論 隨機過程和數理統計相結合而逐步發展起來的一門科學。緒論首先引出資訊的概念，進而討論資訊理論這一科學的研究物件 目的和內容，並簡述本學科的發展歷史 現狀和動向。經總結有以下知識點。資訊是指各個事物...
2019資訊理論與編碼試卷
考試時間120分鐘 班級學號姓名 1.15分 彩色電視顯象管的螢幕上有5 105 個象元，設每個象元有64種彩色度，每種彩度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現並且各個組合之間相互獨立。1 計算每秒傳送25幀圖象所需要的通道容量 2 如果在加性高斯白雜訊通道上訊...