#transformer

BERT

文の前後を同時に読んで言葉の意味をつかむ、文章理解が得意な言語モデルです。

GPT

ChatGPTの土台になっている、文章を生成するAIモデルの系列です。

Transformer（トランスフォーマー）

文中の言葉どうしの関係をまとめて見て意味をつかむ、いまのLLMの土台になっている仕組みです。

アテンション（注意機構）

入力のどこに注目すべきかを重みづけして、文脈を読み取るための仕組みです。