機械学習・ディープラーニング

自然言語処理とコーパス・具体例について

コーパスとはコーパス（corpus）は、自然言語処理（NLP）や言語学の分野で使用される用語で、言語データの大量の集合を指します。具体的には、文章や単語、文などのテキストデータが集められたもので、特 …
長期記憶を持つ？言語モデルのアーキテクチャ「Titans」の革新性をわかりやすく解説

Titans: 学習した記憶を推論時に活かす新手法機械学習モデルは、一度学習した知識をうまく活用できているのでしょうか？従来の Transformer や RNN/LSTM は、短期的な情報の処理 …
【深層学習】Dying ReLU問題とReLU（Rectified Linear Unit）について

ReLU関数の特徴この関数は、入力が正（0より大きい）であればその値を出力し、負であれば0を出力します。これにより、ニューラルネットワークの学習を高速化し、勾配消失問題（勾配がどんどん小さくなり、最 …
【PyTorch】MNISTを学習させて手書き文字認識、画像分類を行う方法

MNISTデータセットとは？ MNISTデータセットは、0から9までの手書き数字の画像を集めたデータセットで、機械学習を学ぶための教材として広く利用されています。各画像は28×28ピクセルのグレースケ …
ニューラルネットワークの信号の伝達と順伝播（行列計算）について

ニューラルネットワークとは？ニューラルネットワーク（NN）は、人間の脳の神経細胞（ニューロン）の構造にヒントを得たアルゴリズムです。ニューラルネットワークは、複数の層で構成され、それぞれの層にニュー …
【Transformers】エラーValueError: Asking to pad but the tokenizer does not have a padding token. Please select a token to use as `pad_token`・・・・解決方法

エラーの内容エラーの発生したコードモデルの読み込みモデルとしてllama3を使用します。トークナイザーを読み込みます。モデルは今回の問題と直接的に関係ないので、読み込みません。 from tra …
勾配(gradient)について!意味とディープラーニングへの応用について

勾配とは勾配の特徴勾配の計算の具体例 2変数関数 \( f(x,y) = x^2 + y \) の勾配は、関数の各変数に関する偏微分を計算することで求められます。勾配ベクトルは次のように定義されま …
LLMにおける「reasoning」とは？ — わかりやすく解説

最近、AIや大規模言語モデル（LLM）について調べていると、「reasoning」という言葉をよく目にするかもしれません。でも、「reasoningって何？」「普通の文章生成と何が違うの？」と疑問に …

前へ 1 2 3 4 ... 14 次へ