Tag: text-generation
記事 (14)
-
LLMにおける「reasoning」とは？ — わかりやすく解説
LLMにおけるreasoning（推論）とは何かを、文章生成との違い、必要な理由、能力を高める工夫とあわせてわかりやすく解説します。
-
大規模言語モデル（LLM）と語彙（vocabulary）の関係と意味について
LLMにおける語彙の意味をわかりやすく解説。単語・サブワード・文字レベルの違いや、トークナイザとの関係、未知語処理の考え方を学べます。
-
【デコーディング手法】top_p（nuclear sampling）の意味と使い方について
top_p（nuclear sampling）の意味や仕組み、確率分布から候補語を絞る方法、テキスト生成での使い方をわかりやすく解説します。
-
【Transformers】エラーValueError: Asking to pad but the tokenizer does not have a padding token. Please select a token to use as `pad_token`・・・・解決方法
Transformersで「padding tokenがない」と出るValueErrorの原因と解決方法を解説。pad_tokenの設定方法をコード付きで紹介します。
-
大規模言語モデルにおけるpadding_token[PAD]の意味について
大規模言語モデルや自然言語処理で使うpadding_token[PAD]の意味を解説。入力文の長さをそろえる役割や使い方をやさしく紹介します。
-
【Transformers】警告The attention mask and the pad token id were not set. As a consequence・・・の解決方法
Transformersでattention maskとpad token idが未設定と出る警告の原因と、text-generation時の正しい対処法を解説します。
-
【Transformers】温度（temperature）の意味とは？ソフトマックス関数の調整について
Transformersのtemperatureがテキスト生成のランダムさをどう変えるのかを、softmax関数による確率分布の調整から解説します。
-
【Transformers】AutoModelForCausalLMの意味と使い方について
TransformersのAutoModelForCausalLMとは何かを解説。因果的言語モデルの意味、特徴、テキスト生成での使い方をわかりやすく紹介。
-
meta-llama/Llama-3.2-1Bの使い方について【天ぷらが好きか聞くと・・・】
Metaの軽量言語モデルLlama-3.2-1Bの特徴、対応言語、利用許可の取得方法、Hugging Faceでの使い方を解説します。
-
「Gemma-2-9B」の力を試す！アニメと数学についてGoogleのAIに質問してみた
GoogleのAI「Gemma-2-9B」にアニメと数学について質問し、その応答から性能や特徴、pythonでの実行環境を紹介する記事。
-
数学に特化した言語モデル！NuminaMath-7B-TIRグラフの表示や数学の問題を解く
NuminaMath-7B-TIRの概要や特徴、数式生成・数学的推論・問題解決への活用、Pythonでのグラフ表示や数学問題の解き方を紹介します。
-
meta-llama/Meta-Llama-3-8Bの使い方！導入から活用までの徹底解説
Meta-Llama-3-8Bの特徴、Hugging Faceでの導入手順、Pythonによる実行方法、活用例までをわかりやすく解説します。
-
【Transformers】SwallowをHugging Faceで使う方法
日本語特化LLM「Swallow」の特徴やモデル種類をふまえ、Hugging FaceとTransformersで使う方法をわかりやすく紹介します。
-
スパコン「富岳」で学習したFugaku LLMをHugging Faceからダウンロードして使う方法
スパコン「富岳」で学習された日本語LLM「Fugaku LLM」を、Hugging Faceから認証トークン取得後にダウンロードして使う方法を解説。