生成AIを使っていると「トークン」という言葉をよく目にしますよね。
「なんとなく文字のことかな？」と漠然と理解している人も多いんじゃないでしょうか。
でも実はトークン数は、AIの性能や料金に大きく関わる重要な要素なんです。
トークン数を意識しないまま使うと、予期せず高額な請求が来るおそれも…。
この記事では、トークンの意味や計算方法、失敗しないための具体的なコツを紹介します。
記事の前半では基本的な概念を、後半では実践的な活用法や失敗例を解説していきます。
最後まで読んでトークンを理解し、生成AIを賢く活用しましょう！
生成AIのトークン数とは？
トークンとは、生成AIが文章を理解し処理するための基本的な単位です。
ChatGPTのような大規模言語モデル（LLM）は、テキストをまずトークンに分割してから解析します。
1つのトークンは単語そのものとは限らず、単語の一部や記号、空白なども独立したトークンになることがあります。
例：「Hello, world!」⇒「Hello」「, 」「world」「!」の4つのトークンに分かれる
生成AIは、与えられたトークン列をもとに、次に来るトークンを予測しながら文章を組み立てていくんです。
つまりトークン数は、処理の負荷や生成できる文章の長さに直接影響するわけですね。
生成AIにおけるトークンの役割
トークンには、大きく分けて以下の2つの役割があります。
言語の統一
テキストをトークンとして共通化すれば、さまざまな言語を扱えます。
たとえば、英語では単語単位でトークン化するのが一般的ですが、日本語では文字単位で1～3トークンに分けることがよくあります。
言語ごとに基準は少し違いますが、どの言語でもトークンに分割すれば、モデル内部で同じ形式で処理できるわけですね！
文脈の管理
トークンは、モデルの文脈管理にも使われています。
生成AIには「最大トークン長（コンテキスト長）」という上限があり、一度に扱えるトークン数が決まっています。
過去の会話も含め、この上限を超えると、より古い文脈が失われてしまうんです。
そのため、長い対話や文章を扱う際はトークン数を意識し、うまく要約することが大切です。
トークン数のカウント（計算）方法
ここからは、具体例をもとにトークンのカウント方法を解説します。
文字数とトークン数の違い
文章の文字数とトークン数は必ずしも同じではなく、1文字が1トークンになるとは限りません。
英語
・スペース区切りの単語は、基本的に1単語＝1トークン
・複雑な綴りや記号、スペースの使い方によっては追加のトークンが発生
日本語・中国語など
・1文字そのままトークンになることもあれば、複数に分解される場合もある
・意味を持つ漢字は、1文字でも2～3トークンに分割されるケースがある
このように、「文字数＝トークン数」ではないのがわかります。
トークンの切れ目は、人間の直感的な単語の区切りと必ずしも一致しないことを覚えておきましょう！
言語でトークン数が違う理由
同じ内容でも、英語と日本語で必要なトークン数が違うのはなぜでしょう？
一般的に、英語はアルファベット26文字とスペースで構成されますよね。
そのため、トークナイザ（単語を機械が理解できる形に分割するツール）が頻出する単語を一つのトークンとして登録しやすく、1単語＝1トークンとして扱いやすいのです。
一方、日本語は数千の漢字や仮名があり、スペースもほとんど使いません。
そのぶん頻出パターンをまとめづらく、結果として1文字単位で処理するケースが増えるんです。
日本語はAIにとって高価なものだということを覚えておきましょう。
トークン数に違いが出る実例2つ
言語だけでなく、使うモデルによってもトークン数は変わります。
ここでは、この記事のタイトルを使い、OpenAIのTokenizerで実際に調べた例を見てみましょう。
実際に使うときも、事前にこうしたツールでトークン数を確認しておくのがおすすめです。
言語による違い
以下は、日本語が英語よりトークンが増えやすい典型例です。
日本語
英語
同じ内容なのに、英語のほうが文字数は約2.6倍も多いのに対し、日本語のトークン数は英語の約1.5倍になりました。
モデルによる違い
英語以外の言語は、同じ文字数でもモデルの種類によってトークン数が変わることがあります。
これは、各モデルが文字や記号を分割するルールを独自に持っているからです。
GPT-4o・GPT-4o mini
GPT-3.5・GPT-4
GPT-3
新しいモデルほど日本語をより効率的に処理するため、トークン数が減っているのがわかりますね！
ClaudeやGeminiなど、他社の生成AIツールでも同様の違いが見られるので、使うモデルを選ぶときには意識しておきましょう。
主要AIサービスのAPI利用料金表
多くの生成AIサービスは、APIを利用した分のトークン数に応じて料金を請求します。
下の表は、主要なモデルの1,000トークンあたりの料金をまとめたものです。
| モデル | 入力 | 出力 |
|---|---|---|
| OpenAI GPT-4o | $0.0025（0.38円） | $0.01（1.5円） |
| OpenAI o1 | $0.015（2.25円） | $0.06（9円） |
| OpenAI o3-mini | $0.0011（0.17円） | $0.0044（0.66円） |
| Gemini 2.0 flash | $0.0001（0.015円） | $0.0004（0.06円） |
| Claude 3.7 Sonnet | $0.003（0.45円） | $0.015（2.25円） |
| Claude 3.5 Haiku | $0.0008（0.12円） | $0.004（0.6円） |
| DeepSeek-V3 | $0.00007（0.01円） | $0.0011（0.17円） |
| DeepSeek-R1 | $0.00014（0.02円） | $0.00219（0.33円） |
入力より出力のほうが高めなのは、長い回答を生成するときの負荷が大きいからなんです。
参考：OpenAI公式サイト、Google公式サイト（Gemini情報）、Anthropic公式サイト、DeepSeek公式サイト
生成AIのトークン活用時にありがちな失敗例4つ
ここでは、生成AIのAPIを使うときによくある失敗例と対策をまとめました。
あらかじめ把握して、ムダな出費を防ぎましょう。
1. 想定外の高額請求
開発時に大量のテストを行ったり、不要な長文回答を何度も生成すると、あっという間に数万円の費用になることがあります。
とくに日本語の長文を多用する場合は、トークン消費が早いので要注意です！
・APIのダッシュボードで毎日の利用量をチェック
・使用量制限があれば設定する
・テスト時は出力を短めに抑える
2. トークン数オーバーによる文脈切れ
プロンプトや会話履歴を詰め込みすぎると、モデルの最大トークン数を超えてしまいます。
すると、回答が途中で切れたり、会話の一貫性が崩れるといった問題が起こります。
・過去の会話を要約して送る
・長い入力は分割して複数回に分ける
・送信前にトークン数をチェックする
3. 長いプロンプトによる効率の低下
入力が長すぎると、回答に使えるトークンが足りなくなる場合があります。
要件を伝えようとして前提知識を詰め込みすぎると、肝心の回答が短くなってしまうんです。
私もついつい説明を長くしがちなので、今でもよくやらかしてます…。
・プロンプトの優先順位を明確にする
・本当に必要な情報だけ送る
・重要度が低い説明は思い切って削る
4. モデルの暴走
まれですが、何らかの不適切な指示が原因で、モデルが延々と同じフレーズを出し続けることがあります。
もちろんその間もトークンが消費されるため、止めない限りコストが増え続けることになり、注意が必要です。
・一定トークンを超えたら回答を打ち切る仕組みを作る
・異常を感じたらすぐ停止する
・最大文字数をあらかじめ制限する
トークンの使い過ぎを防ぐコツ5つ
トークンを無駄に使わないためには、「コスト」と「上限」を常に意識することが大切です。
ここでは、具体的な節約のコツを5つ紹介します。
1. 日本語は高価と認識する
繰り返しになりますが、日本語は英語より多くのトークンを使います。
そのため、長い日本語テキストを入力すると、想定以上に消費するケースが多いです。
手間ですが、英語で問題ない部分は英語でやり取りするなど、工夫すればコストを減らせます。
また、モデルに「今何トークン使った？」と尋ねて、おおよその見積もりを聞く方法もあります。
完全に正確ではありませんが、参考にはなりますよ。
2. 改行やスペースを最小限にする
プロンプトに入れる改行やスペースは、必要最小限にしましょう。
空行や記号が多いと、そのぶんトークンが増えます。
また、Markdownの箇条書きやバッククォートも、すべてトークンに数えられます。
見やすさも大事ですが、無駄に改行や記号を増やさないよう気をつけましょう！
3. 定型文は使いまわす
頻繁に使う定型フレーズは、毎回書き直さずに使いまわしましょう。
たとえば「あなたは有能なアシスタントです」というような設定文は、何度も書く必要はありません。
APIなら、システムメッセージに一度だけ入れ、ユーザーからのメッセージは必要な部分だけ送るなど工夫できます。
同じ内容を繰り返さないことで、トークンの無駄遣いを防ぎましょう。
4. 高価なモデルを乱用しない
ChatGPTのo1のような高性能モデルは、精度が高い反面トークン単価も高くなります。
まずは安価なモデルを試し、どうしても足りない場合に高性能モデルに切り替える、段階的な運用がおすすめです。
必要以上に高価なモデルを使わないことも、立派な節約対策になりますよ！
5. プロンプトで出力を指定する
モデルによっては、質問に対して長文を返す場合があります。
たとえばプロンプトで「詳しく教えて」などと指示すると、必要以上に長い説明になりがちです。
そこで「300字程度で」や「要点を箇条書きで」など、具体的な制限を付けるのがおすすめ。
回答範囲を絞るだけでも、消費トークンを減らせますよ！
まとめ
この記事では、生成AIにおけるトークンの基本からカウント方法、失敗例や節約のコツまでを解説しました。
ポイントを振り返ると、以下のとおりです。
- トークン＝生成AIが文章を処理する最小単位
- 日本語は英語よりトークンが増えやすい
- モデルごとに料金やトークン計算の仕組みが異なる
- コスト管理と最大トークン数の意識が大切
トークンの仕組みを理解すれば、生成AIをより効率よく使えます。
プロンプトを工夫して、少ないトークン数でも質の高い回答を引き出しましょう！
最後までお読みいただき、ありがとうございました。