機械学習・ディープラーニング
-
大規模言語モデル（LLM）と語彙（vocabulary）の関係と意味について
語彙とは 「語彙」とは、特定の言語や文脈で使われる単語や記号などの集まりを指します。言語モデルにおける語彙は、モデルが理解し、処理できるすべての単語や記号、トークンの集合です。日常的な言葉とコンピュー …
-
【デコーディング手法】top_p（nuclear sampling）の意味と使い方について
top_p 近年、自然言語処理の分野で大規模な言語モデルが注目を集めています。これらのモデルはテキスト生成や対話システムなど、多岐にわたる応用が可能です。その中で、モデルが生成するテキストの質を左右す …
-
【深層学習】活性化関数Parametric ReLU (PReLU)の意味と性質について
Parametric ReLU (PReLU)とは？ Parametric ReLU（パラメトリックReLU、PReLU）は、活性化関数の一つです。ReLU（Rectified Linear Unit …
-
大規模言語モデルにおけるpadding_token[PAD]の意味について
pad_tokenとは？ pad_token（パッドトークン）は、自然言語処理（NLP）やディープラーニングで使用される重要な要素です。主にテキストデータをモデルに入力する際に使われる特別なトークンで …
-
【Transformers】警告The attention mask and the pad token id were not set. As a consequence・・・の解決方法
警告の内容 警告の発生したコード モデルの読み込み モデルとしてllama3を使用します。トークナイザーとモデルを読み込みます。 from transformers import AutoTokeni …
-
【深層学習】単純パーセプトロンと論理演算（AND、OR、XOR）について
単純パーセプトロン 単純パーセプトロン（Perceptron）は、機械学習の基本的なアルゴリズムで、簡単な二項分類（0または1、YesまたはNoのような2つのクラスへの分類）を行うモデルです。この単純 …
-
【図解】計算グラフと誤差逆伝播法について
計算グラフとは 計算グラフは、ニューラルネットワークの複雑な計算を視覚的に表現するための方法です。信号の伝播をノード（頂点）とエッジ（辺）で構成されるグラフとして表します。 ノード: 演算を表す。 エ …
-
【深層学習】単純パーセプトロンの意味と学習について
単純パーセプトロンとは？ 単純パーセプトロン（Simple Perceptron）は、人工知能や機械学習において、分類問題のために提唱されたアルゴリズムの一つです。特に、二つのクラス（例：0と1やYe …