トークン

📖 もうちょい詳しく

何が新しいの？

トークンは、AIが文章を処理するときの「最小の単位」です。
人間は文章を「文字」や「単語」で数えますが、LLM（大量の文章を学んだAI）は文章をいったんトークンという小さなかたまりに切り分けてから扱います。英語ではだいたい単語に近い区切りになり、日本語では数文字のまとまりや1文字ずつになることもあります。

「AIが文章をどれだけ読んだ・書いたか」を測るものさし、と考えると分かりやすいです。

どうやって動いてるの？

入力した文章は、まずトークンに分解されます。たとえば「こんにちはAIさん」は「こん」「にちは」「AI」「さん」のように切られます（切り方はモデルによって違います）。
LLMはこのトークンの並びを見て、「次に来そうなトークン」を1つずつ選びながら文章を作っていきます。

そして大事なのが、入力と出力のトークン数が、そのまま 処理の重さ・料金・一度に扱える長さ に直結することです。多くのAIのAPI（外部から機能を呼び出すしくみ）は、使ったトークン数で料金が決まります。

何ができるの？

トークンを意識すると、AIに長文を渡すときの「限界」と「コスト」が見えるようになります。
長すぎる資料はそのまま渡すと上限を超えてしまうので、分割したり、先に要約してから渡したりします。API利用なら、おおよそのトークン数から料金を見積もることもできます。

「英語1単語 ≒ 1トークン前後」「日本語は1文字あたり1トークン以上かかることが多い」くらいの感覚を持っておくと、実務で困りにくくなります。日本語は数文字でまとめて1トークンになるとは限らず、文字数より多めのトークンを見込んでおくと安全です。

🌱 身近なたとえ

ひと口サイズの料理で例えると、トークンは「AIが飲み込みやすいように切り分けたひと口」です。
長い文章をそのまま丸ごと処理するのではなく、小さく切ってから読み書きします。ただし、その切り方はモデル独自のルールに従うので、人間が数える「文字数」とはぴったり一致しません。とくに日本語は、1文字あたり1トークン以上に分かれることが多く、文字数よりトークン数のほうが多くなりがちです。
「ここで区切るのか」と感じる切れ目が出てくるのはそのためです。

✅ まず覚えるポイント

• トークンは、LLMが文章を扱うときの最小単位（ひと口サイズ）
• 1トークンは、必ずしも1文字・1単語と同じではない
• 入力＋出力のトークン数が、料金・処理の重さ・扱える長さを決める
• 長い資料は、分割や要約でトークンを減らせる
• 日本語は1文字あたり1トークン以上かかることが多く、文字数より多めに見積もると安全

🧭 よくある勘違い

トークンが多いほど賢い答えになるの？

なりません。トークン数は「量」であって「質」ではありません。
むしろ無駄に長い入力は、料金が増えるうえに、肝心な部分が埋もれて精度が落ちることもあります。必要な情報をしぼって渡すほうが、安く・正確になりやすいです。

1トークン＝1文字（または1単語）なの？

いいえ。切り方はモデルが学習したルール次第です。英語は単語に近く、日本語は1文字あたり1トークン以上になることが多く（数文字でまとまるとは限りません）、記号や絵文字が複数トークンに分かれることもあります。
そのため「文字数」で料金や上限を計算すると、実際とズレます。正確に知りたいときは、各サービスのトークン計算ツールを使うと確実です。

入力と出力、どっちのトークンが料金になるの？

たいていは両方です。あなたが送った文章（入力）と、AIが返した文章（出力）の合計で課金されるのが一般的で、出力のほうが単価が高いサービスもあります。
「長い質問×長い回答」を何度も繰り返すと、地味にコストが積み上がる点は覚えておくと安心です。

🧩 関連して覚えると楽な言葉

• LLM: 文章をトークンに分けて、次のトークンを予測する本体
• プロンプト: AIへ渡す指示文。これもトークンとして数えられる
• コンテキストウィンドウ: 一度に扱えるトークンの上限（机の広さ）
• エンベディング: 文章の意味を数字に変える技術。トークンとは別の「意味の表し方」

🏁 ひとことでまとめ

トークンは、LLMが文章を読み書きするために切り分けた、ひと口サイズのかたまりです。
AIが「どれだけ読めるか・返せるか・いくらかかるか」を測るものさしで、長文を扱うときやAPIの料金を考えるときに、必ず出てくる基本単位です。