資訊理論三大定理

夏農第一定理又稱為無失真信源編碼定理或變長碼信源編碼定理。

夏農第一定理的意義：將原始信源符號轉化為新的碼符號，使碼符號儘量服從等概分佈，從而每個碼符號所攜帶的資訊量達到最大，進而可以用盡量少的碼符號傳輸信源資訊。

夏農第二定理（有噪通道編碼定理）

有噪通道編碼定理。當通道的資訊傳輸率不超過通道容量時，採用合適的通道編碼方法可以實現任意高的傳輸可靠性，但若資訊傳輸率超過了通道容量，就不可能實現可靠的傳輸。

夏農第三定理（保失真度準則下的有失真信源編碼定理）

保真度準則下的信源編碼定理，或稱有損信源編碼定理。只要碼長足夠長，總可以找到一種信源編碼，使編碼後的資訊傳輸率略大於率失真函式，而碼的平均失真度不大於給定的允許失真度，即D'<=D.

夏農三大定理是資訊理論的基礎理論。夏農三大定理是存在性定理，雖然並沒有提供具體的編碼實現方法，但為通訊資訊的研究指明瞭方向。夏農第一定理是可變長無失真信源編碼定理，夏農第二定理是有噪通道編碼定理，夏農第三定理是保失真度準則下的有失真信源編碼定理。