メインコンテンツへスキップ

11.6.1 事前学習モデルロードマップ：BERT、GPT、T5

事前学習モデルでは、モデルを毎回ゼロから育てません。大規模テキストで先に言語のパターンを学び、あとから分類、生成、抽出、検索などのタスクに使います。

BERT、GPT、T5 の違い

先に全体像を見る​

事前学習モデル章の進め方

モデル群得意な方向代表的な用途
BERT理解分類、抽出、照合
GPT生成チャット、文章生成、ツール呼び出し
T5text-to-text翻訳、要約、QA、分類の統一

タスクからモデルの型を選ぶ​

事前学習から転移・微調整への流れ

モデル名を丸暗記するより、まず出力形式を見ます。

task = {
    "needs_generation": True,
    "needs_sentence_label": False,
    "needs_text_to_text": True,
}

if task["needs_text_to_text"]:
    family = "T5-style text-to-text"
elif task["needs_generation"]:
    family = "GPT-style autoregressive"
else:
    family = "BERT-style understanding"

print("family:", family)
print("reason:", "match model objective to task output")

期待される出力：

family: T5-style text-to-text
reason: match model objective to task output

操作のコツ：autoregressive は、前の token を見ながら次の token を生成する方式です。GPT 系の生成直感を理解するための重要語です。

transformers を学ぶときの見方​

transformers は、tokenizer、model、pipeline などを同じ考え方で扱えるライブラリです。初心者はまず次の 3 点だけ意識します。

部品役割
tokenizer文字列を token ID に変える
modelID を受け取り、予測や生成を行う
pipelineよくある処理を短いコードで実行する

通過条件​

チェック合格ライン
事前学習大規模テキストで先に学び、下流タスクへ使う流れを説明できる
BERT / GPT / T5理解、生成、text-to-text の違いを言える
タスク選定出力形式からモデルの型を選べる
次章とのつながりRAG、Prompt、Agent で tokenizer、embedding、生成が再登場すると説明できる