ValueError: The checkpoint you are trying to load has model type `gemma2` but Transformers does not recognize this architecture.の解決方法！gemma2の読み込み

エラーの詳細

訳

エラー解決のためのTransformersのアップデート

Transformers・大規模言語モデルに関連する書籍

はるか

gemma2が読み込めない…。

ふゅか

うーん、とりあえずエラーログを見てみよう！

エラーの詳細

ValueError: The checkpoint you are trying to load has model type 'gemma2' but Transformers does not recognize this architecture.
 This could be because of an issue with the checkpoint, or because your version of Transformers is out of date.

訳

あなたが読み込もうとしたgemma2タイプのモデルタイプを持っているが、Transformersライブラリがそのアーキテクチャを認識しないことを示しています。この問題の原因としては、チェックポイント自体の問題、またはTransformersライブラリのバージョンが古い可能性があります。

ふゅか

このエラー、チェックポイントかTransformersのバージョンに問題があるみたいね。

はるか

なるほど、Transformersをアップデートしよう。

エラー解決のためのTransformersのアップデート

解決方法

このエラーは、gemma2アーキテクチャをサポートしていない古いバージョンのTransformersを使用していることが原因です。以下のコマンドを実行して、Transformersのバージョンをアップデートしてください。

pip install -U transformers

はるか

pipコマンドで簡単にアップデートできる。

バージョンの確認とアップデート

元のバージョンは4.41.2でしたが、アップデート後は4.42.4に変更されました。このバージョンで、gemma2アーキテクチャが認識されるようになります。

動作確認

ふゅか

ちゃんと、gemma2が動くか確認してみよう！

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("google/gemma-2-9b")
model = AutoModelForCausalLM.from_pretrained("google/gemma-2-9b",
                                             device_map="auto",
                                             load_in_4bit=True)

モデルの読み込みができました。