Category: 情報理論
記事 (13)
-
赤池情報量基準（AIC）の意味と性質について
赤池情報量基準（AIC）の意味、定義式、尤度とパラメータ数の関係、モデル比較における性質と活用例をわかりやすく解説します。
-
Fダイバージェンス（F-divergence）の意味と性質、具体例について
Fダイバージェンスの意味や定義、基本性質、具体例をわかりやすく解説。確率分布の差を測る枠組みを情報理論・統計・機械学習の観点から学べます。
-
α-divergence（アルファダイバージェンス）の意味と性質について
α-divergenceの意味を、定義式や式変形、2つの確率分布の違いを測る尺度としての性質、KLダイバージェンスとの関係とあわせて解説します。
-
JSダイバージェンスの意味と性質について
JSダイバージェンスの意味、定義式、KLダイバージェンスとの違い、対称性や確率分布間の類似度指標としての性質をわかりやすく解説。
-
相互情報量とは？意味と性質、具体例、例題について
相互情報量の意味や定義、性質をわかりやすく解説し、具体例と例題を通じて二つの確率変数の依存関係の捉え方を学べます。
2024-09-28 情報理論 -
条件付きエントロピーとは？性質と具体例、例題について
条件付きエントロピーの意味を、定義式や条件付き確率との関係、性質、具体例、例題を通してわかりやすく解説します。
2024-09-28 情報理論 -
結合エントロピーとは？性質と具体例、例題について
結合エントロピーの意味や定義式、同時確率との関係、独立な場合の性質を具体例と例題でわかりやすく解説します。
2024-09-28 情報理論 -
情報理論のまとめ
2024-09-28 情報理論 -
平均情報量（エントロピー）の性質・例題について
平均情報量（エントロピー）の定義や計算式、情報量の期待値としての意味、不確実性との関係、性質や例題をわかりやすく解説します。
2024-09-18 情報理論 -
2値エントロピー関数の性質・グラフについて
2値エントロピー関数の定義、式、確率pによる性質、p=0.5で最大・0と1で0になる特徴をグラフとともに解説。
2024-09-18 情報理論 -
情報量の定義・具体例・性質・計算問題について
情報量とは何かを、自己情報量の定義式 I(x)=-log2P(x) をもとに、具体例・性質・計算問題を通してわかりやすく解説します。
2024-09-06 情報理論 -
交差エントロピーの数式解説！機械学習における重要性
交差エントロピーの意味や数式、真の分布と予測分布の関係、分類問題で機械学習に重要な理由をわかりやすく解説します。
-
KLダイバージェンス（Kullback-Leibler Divergence）！基礎から実際の計算まで
KLダイバージェンスの意味・定義・別名をわかりやすく解説し、離散型確率分布の式と計算の考え方まで基礎から学べる記事です。