機械学習・ディープラーニング
-
【scikit-learn】データを訓練データとテストデータに分割するtrain_test_splitについて
訓練データとテストデータの分割 機械学習のプロジェクトを進めるうえで、データを適切に分割することは非常に重要です。モデルを訓練するためのデータ（訓練データ）と、モデルの性能を評価するためのデータ（テス …
-
【ディープラーニング】密ベクトルと疎ベクトルの意味と例について
密ベクトルと疎ベクトルとは？ ベクトルは機械学習・ディープラーニングなどでは、特にデータの集まりを表現する概念です。その中でも、密ベクトルと疎ベクトルは特にデータの「密度」に注目して分類されます。 密 …
-
α-divergence（アルファダイバージェンス）の意味と性質について
αダイバージェンス αダイバージェンス（α-divergence）は、2つの確率分布間の違い・類似度を定量化するための尺度の一種です。 定義 αダイバージェンスの式変形 αダイバージェンスの式の \( …
-
JSダイバージェンスの意味と性質について
JSダイバージェンス JSダイバージェンスとは、Jensen-Shannonダイバージェンスの略で、2つの確率分布間の類似度を測るための指標です。これは、Kullback-Leiblerダイバージェン …
-
【デコーディング手法】top_p（nuclear sampling）の意味と使い方について
top_p 近年、自然言語処理の分野で大規模な言語モデルが注目を集めています。これらのモデルはテキスト生成や対話システムなど、多岐にわたる応用が可能です。その中で、モデルが生成するテキストの質を左右す …
-
【深層学習】活性化関数Parametric ReLU (PReLU)の意味と性質について
Parametric ReLU (PReLU)とは？ Parametric ReLU（パラメトリックReLU、PReLU）は、活性化関数の一つです。ReLU（Rectified Linear Unit …
-
大規模言語モデルにおけるpadding_token[PAD]の意味について
pad_tokenとは？ pad_token（パッドトークン）は、自然言語処理（NLP）やディープラーニングで使用される重要な要素です。主にテキストデータをモデルに入力する際に使われる特別なトークンで …
-
【Transformers】エラーValueError: Asking to pad but the tokenizer does not have a padding token. Please select a token to use as `pad_token`・・・・解決方法
エラーの内容 エラーの発生したコード モデルの読み込み モデルとしてllama3を使用します。トークナイザーを読み込みます。モデルは今回の問題と直接的に関係ないので、読み込みません。 from tra …