機械学習・ディープラーニング

【機械学習】教師あり学習とは？分類と回帰問題について

教師あり学習教師あり学習（Supervised Learning）は、機械学習の一つの方法で、ラベル付きデータを用いてモデルを学習させる手法です。ラベル付きデータとは、各データポイントに対してその「 …
自然言語処理とコーパス・具体例について

コーパスとはコーパス（corpus）は、自然言語処理（NLP）や言語学の分野で使用される用語で、言語データの大量の集合を指します。具体的には、文章や単語、文などのテキストデータが集められたもので、特 …
長期記憶を持つ？言語モデルのアーキテクチャ「Titans」の革新性をわかりやすく解説

Titans: 学習した記憶を推論時に活かす新手法機械学習モデルは、一度学習した知識をうまく活用できているのでしょうか？従来の Transformer や RNN/LSTM は、短期的な情報の処理 …
【深層学習】Dying ReLU問題とReLU（Rectified Linear Unit）について

ReLU関数の特徴この関数は、入力が正（0より大きい）であればその値を出力し、負であれば0を出力します。これにより、ニューラルネットワークの学習を高速化し、勾配消失問題（勾配がどんどん小さくなり、最 …
【深層学習】活性化関数と非線形関数の意味について

活性化関数活性化関数は、ニューラルネットワークの「非線形性」を加えるために使われます。これがないと、どれだけ層（レイヤー）を重ねても、線形な計算しかできず、層を重ねる意味がありません。非線形な活性化 …
ニューラルネットワークの信号の伝達と順伝播（行列計算）について

ニューラルネットワークとは？ニューラルネットワーク（NN）は、人間の脳の神経細胞（ニューロン）の構造にヒントを得たアルゴリズムです。ニューラルネットワークは、複数の層で構成され、それぞれの層にニュー …
【Transformers】エラーValueError: Asking to pad but the tokenizer does not have a padding token. Please select a token to use as `pad_token`・・・・解決方法

エラーの内容エラーの発生したコードモデルの読み込みモデルとしてllama3を使用します。トークナイザーを読み込みます。モデルは今回の問題と直接的に関係ないので、読み込みません。 from tra …
勾配(gradient)について!意味とディープラーニングへの応用について

勾配とは勾配の特徴勾配の計算の具体例 2変数関数 \( f(x,y) = x^2 + y \) の勾配は、関数の各変数に関する偏微分を計算することで求められます。勾配ベクトルは次のように定義されま …

前へ 1 2 3 4 ... 14 次へ