情報の価値は、その情報を入手したときに、入手しなかったときと比べて、どれだけ利益を得るかで決まります。それには、伝えられた情報の量と情報の内容の重要性の二面があります。このうち、ここでは量の面だけを取り扱います。
１個の硬貨が表か裏かをあてるゲームをするとき、内通者が表だと教えてくれる場合と、サイコロの目が５であることを教えてくれる場合では、後者のほうが情報量が大きいことは常識的にうなずけます。後者の情報量は前者の情報量の何倍になるのかというようなことを数学的に考えようとするのが情報理論です。
ここでは、情報理論の基本的な概念である情報量とエントロピーについて説明します。なお、厳密にはこの情報量のことを選択情報量（自己エントロピー）といい、後述のエントロピーのことを平均情報量（平均エントロピー）といいます。
情報量
- 情報量の定義
- 情報理論では、「ある事象が発生する確率がｐであるとき、その事象が必ず発生するという情報を得たときの情報量を log2(１／ｐ) とする」と定義し、情報量の単位を [ビット] としています（ＪＩＳでは［シャノン］としている）。
硬貨の場合、表である確率はｐ＝１／２ですから、その情報量は log2２＝１ビットです。サイコロの目が５であることの情報量は log2６＝２.５８ になります。
情報量 Ｉ(ｐ) ＝ log2(１／ｐ) ＝ －log2ｐ - log2 について
- log2Ｘ は２を低とする対数です。
log2２ｎ＝ｎ になります。
log2(１／Ｘ）＝ log2Ｘ－１ ＝ －log2Ｘになります。
Ｘ １ ２ ３ ４ ６ １０ １２ １３
log2Ｘ ０ １ 3.58 ２ 2.58 3.32 3.58 3.70
以下、log2 を log と略記します。 - 例題
-
- 例題１
- 問題
硬貨を２個投げたときに２個が表であることの情報量は何ビットか。
解答
場合の数は、
表－表、表－裏、裏－表、裏－表
の４（＝２2）通りであり、その確率は同じであるから、表－表である確率は１／４である。
情報量＝log４＝２ である。 - 例題２
- 問題
硬貨を２個投げたときに、そのうち１個が表なのが見えてしまった。他の１個も表であることの情報量は何ビットか。
解答
硬貨を１個投げたときと同じであるから、情報量＝log２＝１ となる。
次のように考えることもできる。
新しく得た情報量＝全体の情報量 － それまでに得ていた情報量
＝２－１＝１ - 例題３（有名なクイズ）
- 問題
１２個の硬貨のうち、１個が不良品で重さが異なることがわかっている。天秤を用いて不良品を発見するためには、何回天秤にかける必要があるか。
解答
１２個のうちから１個であることの情報量は log１２＝３.５８
重いか軽いかを知るための情報量は１
１回の計量で、左＝右、左＜右、左＞右の３通りのうちどれかが判明するので、その情報量は log３＝１.５８
(３.５８＋１)／１.５８＝２.８９ → ３回
エントロピー
- エントロピーの定義
- 複数の事象がある場合、それらの情報量の平均値をエントロピー（平均情報量）といいます。
ｎ個の事象、ｐ1, ｐ2, …, ｐn （ｐ1＋ｐ2＋ … ＋ｐn ＝１）があるとき、それらの情報量の平均をエントロピーといいます。
エントロピー Ｈ ＝ －ｐ1logｐ1 －ｐ2logｐ2 － … －ｐnlogｐn - 確率とエントロピー
- 明日雨が降る確率をｐとすると、雨が降らない確率は１－ｐになります。そのときのエントロピーは、
Ｈ(ｐ) ＝－ｐlogｐ－(１－ｐ)log(１－ｐ)
になります。
ｐとＨ(ｐ) の関係をグラフにすると、右図のようになります。
ｐ＝１／２のときにＨは最大になりますが、これは、信頼の高い天気予報が雨だと予報したときの情報量は、明日雨かどうかが全くわからないときに最大になり、予報を聞く前から（主観的かもしれないが）雨になるだろうと予測できるとき（あるいは雨になる確率が低いと予測できるとき）には、情報量が小さいことを示しています。 - 例題
-
問題
ＡとＢがゲームを行う。Ａが勝つ確率は８０％、Ｂが勝つ確率は２０％である。このときの情報量とエントロピーを求めよ。
解答
Ａが勝つことの情報量：ｐA＝－log０.８＝０.３２
Ｂが勝つことの情報量：ｐB＝－log０.２＝２.３２
エントロピー：Ｈ＝０.８×０.３２＋０.２×２.３２＝０.７２
参照
エントロピーの計算や応用に関しては、「１因子情報路による銘柄選択」を参照してください。