ここから本文です

情報理論の問題

nok********さん

2011/12/800:25:05

情報理論の問題

4枚の貨幣を投げた時、表の数について情報源を構成せよ。またこの情報源のエントロピーを計算せよという問題で
表の数が0,1,2,3,4,5の5通りなので情報源は
{ 0 , 1 , 2 , 3 , 4 }
1/16, 4/16, 6/16, 4/16, 1/16
となるのはわかるのですが、エントロピーが
H=(21-3log3) となぜなるのかわかりません。
ご教授のほどよろしくお願いします。

閲覧数:
161
回答数:
1
お礼:
100枚

違反報告

ベストアンサーに選ばれた回答

xex********さん

2011/12/1323:47:38

H=(21-3log3)ではなくって、H=(21-3log3)/8ではないですか?

エントロピーは、各情報量の加重平均です。
このとき生起確率が重みとなります。
対数の底を2とすると、

H = -(1/16)×log(1/16) - (4/16)×log(4/16) - (6/16)×log(6/16) - (4/16)×log(4/16) - (1/16)×log(1/16)
= -(2/16)×log(1/16) - (8/16)×log(4/16) - (6/16)×log(6/16)
= -(1/8)×log(1/2^4) - (1/2)×log(1/2^2) - (3/8)×log(3/8)
= (1/8)×log(2^4) + (1/2)×log(2^2) + (3/8)×log((2^3)/3)
= (1/8)×4log2 + (1/2)×2log2 + (3/8)×(log(2^3)-log3)
= (1/8)×4 + (1/2)×2 + (3/8)×(3-log3)
= 4/8 + 8/8 + 9/8 - 3/8×log3
= (21-3log3)/8

注意:^の記号はべき乗(るい乗)を表します。

質問した人からのコメント

2011/12/14 00:15:41

降参 ご指摘の通りH=(21-3log3)/8です。/8が抜けてしまっていました^^;
とても分かりやすい途中式を書いてくださりありがとうございます。

この質問につけられたタグ

みんなで作る知恵袋 悩みや疑問、なんでも気軽にきいちゃおう!

Q&Aをキーワードで検索:

Yahoo! JAPANは、回答に記載された内容の信ぴょう性、正確性を保証しておりません。
お客様自身の責任と判断で、ご利用ください。
本文はここまでです このページの先頭へ

「追加する」ボタンを押してください。

閉じる

※知恵コレクションに追加された質問は選択されたID/ニックネームのMy知恵袋で確認できます。

不適切な投稿でないことを報告しました。

閉じる