機械学習・ディープラーニング
-
自然言語処理とコーパス・具体例について
コーパスとは コーパス（corpus）は、自然言語処理（NLP）や言語学の分野で使用される用語で、言語データの大量の集合を指します。具体的には、文章や単語、文などのテキストデータが集められたもので、特 …
-
NLTKとWordNetの基本的な使い方・類義語について
NLTKとWordNet NLTK (Natural Language Toolkit) は、WordNet という辞書データベース（シソーラス）にアクセスするための便利なインターフェースを提供してい …
-
MDPの定義・具体例・状態価値関数・方策・練習問題について
MDPとは MDPはMarkov Decision Processの略です。マルコフ決定過程と呼ばれます。 MDPの定義 MDPの遷移は次のような時系列データとなります。ここで \( t \) は時刻 …
-
自然言語処理とシソーラスについて
シソーラスとは シソーラスは、同義語や類義語・上位下位関係などの語の関係性を整理した辞書です。言葉が持つ意味の関連性を体系化しているため、単語の意味を理解したり、異なる言葉を使って表現を豊かにするため …
-
自然言語処理と分布仮説について
分布仮説とは 分布仮説（Distributional Hypothesis）とは、単語の意味はその単語が文脈内でどのように使われるかに依存しているという考え方です。この仮説は、分散表現や単語埋め込みに …
-
「Gemma-2-9B」の力を試す！アニメと数学についてGoogleのAIに質問してみた
モデルの概要 「Gemma」は、Googleによって開発された最新の言語モデルの一つであり、最初に発表されたのは2月で、その時点では20億パラメータと70億パラメータの2つのバージョンが提供されていま …
-
PythonでDatasetsのmapメソッドを使ったデータ整形の方法
Datasetsのmap datasetsライブラリのmapメソッドは、データセット内の各サンプルに関数を適用するために使用されます。これにより、データセットを前処理したり、特定の操作を実行することが …
-
交差エントロピーの数式解説！機械学習における重要性
交差エントロピーとは？ 交差エントロピー（cross-entropy）は、情報理論や機械学習において重要な概念です。これは、ある確率分布が他の確率分布とどれだけ異なるかを測定するために使用されます。 …