機械学習・ディープラーニング
-
JSダイバージェンスの意味と性質について
JSダイバージェンス JSダイバージェンスとは、Jensen-Shannonダイバージェンスの略で、2つの確率分布間の類似度を測るための指標です。これは、Kullback-Leiblerダイバージェン …
-
大規模言語モデル（LLM）と語彙（vocabulary）の関係と意味について
語彙とは 「語彙」とは、特定の言語や文脈で使われる単語や記号などの集まりを指します。言語モデルにおける語彙は、モデルが理解し、処理できるすべての単語や記号、トークンの集合です。日常的な言葉とコンピュー …
-
【デコーディング手法】top_p（nuclear sampling）の意味と使い方について
top_p 近年、自然言語処理の分野で大規模な言語モデルが注目を集めています。これらのモデルはテキスト生成や対話システムなど、多岐にわたる応用が可能です。その中で、モデルが生成するテキストの質を左右す …
-
【深層学習】活性化関数Parametric ReLU (PReLU)の意味と性質について
Parametric ReLU (PReLU)とは？ Parametric ReLU（パラメトリックReLU、PReLU）は、活性化関数の一つです。ReLU（Rectified Linear Unit …
-
【Transformers】エラーValueError: Asking to pad but the tokenizer does not have a padding token. Please select a token to use as `pad_token`・・・・解決方法
エラーの内容 エラーの発生したコード モデルの読み込み モデルとしてllama3を使用します。トークナイザーを読み込みます。モデルは今回の問題と直接的に関係ないので、読み込みません。 from tra …
-
【Transformers】警告The attention mask and the pad token id were not set. As a consequence・・・の解決方法
警告の内容 警告の発生したコード モデルの読み込み モデルとしてllama3を使用します。トークナイザーとモデルを読み込みます。 from transformers import AutoTokeni …
-
【深層学習】単純パーセプトロンと論理演算（AND、OR、XOR）について
単純パーセプトロン 単純パーセプトロン（Perceptron）は、機械学習の基本的なアルゴリズムで、簡単な二項分類（0または1、YesまたはNoのような2つのクラスへの分類）を行うモデルです。この単純 …
-
【図解】計算グラフと誤差逆伝播法について
計算グラフとは 計算グラフは、ニューラルネットワークの複雑な計算を視覚的に表現するための方法です。信号の伝播をノード（頂点）とエッジ（辺）で構成されるグラフとして表します。 ノード: 演算を表す。 エ …