機械学習・ディープラーニング
-
【ディープラーニング】密ベクトルと疎ベクトルの意味と例について
密ベクトルと疎ベクトルとは？ ベクトルは機械学習・ディープラーニングなどでは、特にデータの集まりを表現する概念です。その中でも、密ベクトルと疎ベクトルは特にデータの「密度」に注目して分類されます。 密 …
-
α-divergence（アルファダイバージェンス）の意味と性質について
αダイバージェンス αダイバージェンス（α-divergence）は、2つの確率分布間の違い・類似度を定量化するための尺度の一種です。 定義 αダイバージェンスの式変形 αダイバージェンスの式の \( …
-
JSダイバージェンスの意味と性質について
JSダイバージェンス JSダイバージェンスとは、Jensen-Shannonダイバージェンスの略で、2つの確率分布間の類似度を測るための指標です。これは、Kullback-Leiblerダイバージェン …
-
大規模言語モデル（LLM）と語彙（vocabulary）の関係と意味について
語彙とは 「語彙」とは、特定の言語や文脈で使われる単語や記号などの集まりを指します。言語モデルにおける語彙は、モデルが理解し、処理できるすべての単語や記号、トークンの集合です。日常的な言葉とコンピュー …
-
【深層学習】活性化関数Parametric ReLU (PReLU)の意味と性質について
Parametric ReLU (PReLU)とは？ Parametric ReLU（パラメトリックReLU、PReLU）は、活性化関数の一つです。ReLU（Rectified Linear Unit …
-
大規模言語モデルにおけるpadding_token[PAD]の意味について
pad_tokenとは？ pad_token（パッドトークン）は、自然言語処理（NLP）やディープラーニングで使用される重要な要素です。主にテキストデータをモデルに入力する際に使われる特別なトークンで …
-
【Transformers】エラーValueError: Asking to pad but the tokenizer does not have a padding token. Please select a token to use as `pad_token`・・・・解決方法
エラーの内容 エラーの発生したコード モデルの読み込み モデルとしてllama3を使用します。トークナイザーを読み込みます。モデルは今回の問題と直接的に関係ないので、読み込みません。 from tra …
-
【Transformers】警告The attention mask and the pad token id were not set. As a consequence・・・の解決方法
警告の内容 警告の発生したコード モデルの読み込み モデルとしてllama3を使用します。トークナイザーとモデルを読み込みます。 from transformers import AutoTokeni …