什麼是信源符號的資訊量

平均資訊量的計算公式是I=log2（1/p），其中p是概率，log2指以二為底的對數。但對資訊量作深入而系統研究，還是從1948年C.E.夏農的奠基性工作開始的。在資訊理論中，認為信源輸出的訊息是隨機的。

資訊量與資訊熵在概念上是有區別的。在收到符號之前是不能肯定信源到底傳送什麼符號，通訊的目的就是使接收者在收到符號後，解除對信源存在的疑義（不確定度），使不確定度變為零。這說明接收者從傳送者的信源中獲得的資訊量是一個相對的量（H（U）-0）。而資訊熵是描述信源本身統計特性的物理量，它表示信源產生符號的平均不確定度，不管有無接收者，它總是客觀存在的量。