【入門・実践】Hugging Face、Transformersライブラリの使い方について

概要・インストール

• Transformersとは
• Transformersのインストール方法
• LLMにおけるロジットとは

基本的な使い方

• パイプラインの活用
• モデルの読み込み
  • AutoModelForCausalLM
• トークナイザの概要
  • 語彙
  • トークン化
  • pad_token
  • トークナイザのカスタマイズ

デコード手法

• generate
  • top_pサンプリング

テキスト分類

名前付きエンティティ認識 (NER)

文章生成

• GPT (Generative Pre-trained Transformer)

文章要約

• BART
• T5

質問応答(QA)

• bert-large-uncased-whole-word-masking-squad2について

マスク化言語モデル (MLM)

• BERT (Bidirectional Encoder Representations from Transformers)
• bert-base-japanese-v2について
• bert-large-uncasedについて
• bert-base-casedについて
• bert-base-uncasedについて

テキスト生成の言語モデル

• Llama3-8Bについて
• Llama-3.2-1Bについて
• Gemma-2-9Bについて
• Swallowについて
• Fugaku LLMについて

datasets

• mapメソッドの使い方について

Transformersの高速化・軽量化手法

• 軽量化手法
  • 知識蒸留について
  • 量子化について

よくある警告の解説

• 警告The attention mask and the pad token id were not set. As a consequence・・・

よくあるエラーメッセージの解説

• ValueError: The checkpoint you are trying to load has model type gemma2 but Transformers does not recognize this architecture.
• ValueError: Asking to pad but the tokenizer does not have a padding token. Please select a token to use as pad\_token・・・