情報理論のまとめ

1. エントロピー・相互情報量

• 情報量
• 平均情報量（エントロピー）
  • 結合エントロピーとは
  • 条件付きエントロピーとは
• 2値エントロピー関数
• 相互情報量

2. データ圧縮

• 可逆圧縮（ハフマン符号、ランレングス符号）
• 不可逆圧縮と情報損失
• 圧縮の限界とシャノン限界

3. 通信路符号化

• 通信路モデル
• シャノンの通信路容量
• 符号化定理と通信路符号化の基本
• 情報源符号化定理

4. エントロピーの応用

• KLダイバージェンスの意味
• JSダイバージェンスの意味
• αダイバージェンスの意味
• Fダイバージェンスの意味
• 交差エントロピー（クロスエントロピー）