meta-llama/Meta-Llama-3-8Bの使い方！導入から活用までの徹底解説

ふゅか

ねえ、ふゅか、Llama-3って聞いたことある？

はるか

うん、Metaが開発した大規模言語モデル。

meta-llama/Meta-Llama-3-8Bとは

Meta-Llama-3-8Bは、Metaが開発したdecoderタイプの大規模言語モデルです。テキスト生成やード補完、対話システムに優れ、8Bと70Bのパラメータサイズがあります。Llama3（ラマスリー）をベースにした様々なモデルも登場しています。例えば、rinna/llama-3-youko-8bやelyza/Llama-3-ELYZA-JP-8Bなどがあります。

Llama3を使うためには、許可が必要なのでhugging faceでレポジトリのアクセスの許可をもらいましょう。

pythonコード

実行環境

pipelineのコード

from transformers import pipeline

pipe = pipeline("text-generation", model="meta-llama/Meta-Llama-3-8B",device_map="auto")

モデルを直接読み込む方法

モデルを4ビット精度でロードして、メモリ使用量を削減しています。

from transformers import AutoTokenizer, AutoModelForCausalLM,set_seed
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B")
model = AutoModelForCausalLM.from_pretrained("meta-llama/Meta-Llama-3-8B"
                                             ,device_map="auto"
                                             ,load_in_4bit=True)

set_seed(42)
prompt="If I were to become a wizard, "
input_ids  = tokenizer.encode(prompt,return_tensors="pt").to("cuda")

generated_token = model.generate(input_ids,
                                max_new_tokens=128,
                                )
out = tokenizer.decode(generated_token[0], skip_special_tokens=True)
print(out)

出力結果

If I were to become a wizard, 1st thing I'd do is find a way to get a dragon to pull my wagon.
I am very glad that I'm not a wizard. That would be a nightmare.
I would be a wizard, but I'd be a wizard who didn't have any powers. I'd be a wizard who's just really good at explaining things.

もし僕が魔法使いになったら、まず最初にすることは、ドラゴンを見つけて自分の荷車を引かせることだろう。
魔法使いじゃなくて本当に良かった。そんなの悪夢だよ。
僕は魔法使いになるけれど、魔法の力を持っていない魔法使いになるんだ。ただ、説明がとても上手な魔法使いになるよ。

はるか

自分で荷車を引かせているくせに、悪夢だと言ってる。

使用された計算資源

Transformers・大規模言語モデルに関連する書籍

機械学習エンジニアのためのTransformers 最先端の自然言語処理ライブラリによるモデル開発/ルイス・タンスタール(著者),レアンドロ・フォ

posted with カエレバ

ブックオフ2号館 ヤフーショッピング店

Yahooショッピングで探す

Amazonで探す

楽天市場で探す

大規模言語モデル入門/山田育矢/著鈴木正敏/山田康輔

posted with カエレバ

bookfanプレミアム

Yahooショッピングで探す

Amazonで探す

楽天市場で探す

BERTによる自然言語処理入門 Transformersを使った実践プログラミング/ストックマーク株式会社/近江崇宏/金田健太郎

posted with カエレバ

bookfanプレミアム

Yahooショッピングで探す

Amazonで探す

楽天市場で探す

大規模言語モデル入門II-生成型LLMの実装と評価 / 山田育矢 〔本〕

posted with カエレバ

HMV&BOOKS online Yahoo!店

Yahooショッピングで探す

Amazonで探す

楽天市場で探す