08資訊（1）班 0807011039 趙傳來
資訊理論是人們在長期通訊工程的實踐中，由通訊技術與概率論、隨機過程和數理統計相結合而逐步發展起來的一門科學。緒論首先引出資訊的概念，進而討論資訊理論這一科學的研究物件、目的和內容，並簡述本學科的發展歷史、現狀和動向。經總結有以下知識點。
資訊是指各個事物運動的狀態及狀態變化的方式。訊息是指包括資訊的語言、文字和影象等。訊號是訊息的物理體現，為了在通道上傳輸訊息，就必須把訊息載入到具有某種物理特性的訊號上去。
訊號是資訊的載荷子或載體。資訊的基本概念在於它的不確定性，任何已確定的事物都不含有資訊。資訊的特徵：
（1）接收者在收到資訊之前，對其內容是未知的。（2）資訊是能使認識主體對某一事物的未知性或不確定性減少的有用知識。（3）資訊可以產生，也可以消失，同時資訊可以被攜帶、儲存及處理。
（4）資訊是可以量度的，資訊量有多少的差別。編碼問題可分解為3類：信源編碼、通道編碼、加密編碼。。
在緒論之後，我們徐誒了信源與資訊熵的基本概念，了解了什麼是無記憶信源。信源發出的序列的統計性質與時間的推移無關，是平穩的隨機序列。當信源的記憶長度為m+1時，該時刻發出的符號與前m個符號有關聯性，而與更前面的符號無關，這種有記憶信源叫做m階馬爾可夫信源。
若上述條件概率與時間起點無關，則信源輸出的符號串行可看成齊次馬爾可夫鏈，這樣的信源叫做齊次馬爾可夫信源。之後學習了資訊熵有關的計算，定義具有概率為的符號的自資訊量為：。自資訊量具有下列特性：
（1）（2）（3）非負性（4）單調遞減性（5）可加性。信源熵是在平均意義上來表徵信源的總體特徵，它是信源x的函式，一般寫成h（x）。信源熵：
，條件熵：聯合熵，聯合熵h(x,y)與熵h(x)及條件熵h(y|x)的關係：。互資訊:。
熵的性質：非負性，對稱性，確定性，極值性。
接下來接觸到通道，知道了通道的分類，根據使用者數可以分為，單使用者和多使用者；根據輸入端和輸出端可以分為無反饋和反饋通道；根據通道引數與時間可以分為固定引數和時變引數；根據通道受雜訊種類分為隨機差錯通道和突發差錯通道根據輸入輸出訊號的特點分為離散通道，連續通道，半離散半連續，波形通道。學習了通道容量的相關計算，通道容量c=含義，表徵通道能傳輸的最大資訊量，或者通道的最大傳輸能力。
以上是資訊理論部分的知識，下面就進入到編碼的部分，我們首先接觸到時是信源編碼的相關概念。分組碼:將信源訊息分成若干組，即符號串行，，序列中的每個符號取自符號集a，。
而每個符號串行依照固定的碼表對映乙個碼字，這樣的碼稱為分組碼，也叫快碼。碼可以分為固定長度碼和變長碼； 分組碼又分為奇異碼和非奇異碼；若信源符號和碼字是一一對應的，該碼為非奇異碼，反之為奇異碼。非奇異碼又分為非唯一可解碼和唯一可解碼；任意有限長的碼元序列，只能被唯一分割成乙個個碼字，稱唯一可解碼；值得注意的是奇異碼不是唯一可解碼，而非奇異碼中有唯一可解碼和非唯一可解碼。
唯一可解碼又分為非即時碼和即時碼；接收端收到乙個完整的碼字後，不能立即解碼，還需等下乙個碼字開始接受後才能判斷是否可以解碼，稱為非即時碼，即時碼又稱非延時碼，任意乙個碼字都不是其他碼字的字首部分，叫異字首碼。唯一可解碼的充要條件：。定長編碼定理：
由l個符號組成的、每個符號的熵為的無記憶平穩信源符號串行（）,可用個符號(每個符號有m種可能值)進行定長編碼。對任意,則當l足夠大時，必可使解碼差錯小於；當時，解碼差錯一定是有限值。當l足夠大時，解碼幾乎必定出錯。
然後學習了如何計算編碼效率，編碼效率：,其中為平均符號熵。 最佳編碼效率：
，單個符號變長編碼定理：若離散無記憶信源的符號熵為,每個信源符號用m進製碼元進行變長編碼，一定存在一種無失真編碼方法，其碼字平均長度滿足下列不等式.平均輸出資訊率為。
碼字平均長度： 10碼字平均長度：及信源符號的平均碼長：。
然後了解了集中常見的編碼方法。費諾編碼：平均碼長，為碼長；資訊傳輸速率：。
哈夫曼編碼：把信源符號(i=1,2,…,m)出現的概率按由大到小的順序排列；(2)對兩個概率最小的符號分別標「0」和「1」，然後把這兩個概率相加作為乙個新的輔助符號的概率；(3)將這個新的輔助符號與其他符號一起重新按概率大小順序排列；(4)跳到第2步，直到出現概率相加為1為止；(5)用線將符號連線起來，得到乙個碼樹，樹的m個端點對應m個信源符號；6)從最後乙個概率為1的節點開始，沿著碼樹分別到達每個信源符號，將一路遇到的「0」和「1」順序排列起來，就是對應端點的信源符號的碼字。
最後學習了通道的糾錯編碼，糾錯碼分類：從功能角度，分為檢錯碼和糾錯碼；從對資訊序列的處理方法，分為分組碼和卷積碼；從碼元與原始資訊的關係，分為線性碼和非線性碼。雜訊均化的三種方法：
增加碼長n，卷積，交錯。基底不是唯一的，生成矩陣也就不是唯一的。非系統碼的生產矩陣可以通過運算轉變為系統形式，此過程叫系統化。
與任何乙個（n,k）分組線性碼的碼空間c相對應，一定存在乙個對偶空間d.空間的n-k個基底排列起來可構成乙個（n-k）n矩陣，將這個矩陣稱為碼空間c的校驗矩陣h.。線性碼的任意碼字c一定正交於其對偶碼的任意乙個碼字，也必定正交於校驗矩陣h的任意乙個行向量，即,0為零矩陣，若，則c為碼字，反之，則不是碼字。
校驗矩陣的定義。
資訊理論是一門較難的課程，先行課程也比較多，特別是對概率論和線性代數的要求較高，課時比較緊，學起來感覺吃力，希望在接下來的過程中能好好的進行全面的複習，以紮實的基礎迎接期末考核。
2019資訊理論與編碼試卷
考試時間120分鐘 班級學號姓名 1.15分 彩色電視顯象管的螢幕上有5 105 個象元，設每個象元有64種彩色度，每種彩度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現並且各個組合之間相互獨立。1 計算每秒傳送25幀圖象所需要的通道容量 2 如果在加性高斯白雜訊通道上訊...
資訊理論與編碼基礎複習題
1.從通訊的實質意義來講，如果信宿收到的訊息是已知的，則等於沒有收到任何訊息。2.當乙個信源中所有的符號訊息為等概時，該信源的熵最大。3.即時碼一定是單義可解碼。4.不使用間隔即可區分碼字，就必然要求碼字具有惟一性。5.雜訊熵為0的通道稱為確定通道。6.從通訊的實質意義來講，人們對訊息中所包含的未知...
資訊理論與編碼複習題目 2019
資訊理論複習提綱 第一章緒論 1 通訊系統模型 2 香濃資訊的概念 3 信源 通道 信源編碼和通道編碼研究的核心問題。第二章離散信源及信源熵 1 離散資訊量 聯合資訊量 條件資訊量 互資訊量定義 2 信源熵 條件熵 聯合熵定義 3 平均互資訊量定義 性質 三種表示式及物理意義，與其它熵的關係 不證明...