本文へ移動

AI

AIの「トークン」、説明できる?

ChatGPTやClaudeの「トークン数」「コンテキストウィンドウ」、文字数のことだと思っていませんか?仕組みを説明できるか確認します。

5問約6分基礎

ねらい

「トークン」を単なる文字数や単語数としてではなく、生成AIが文章を処理する際の実際の処理単位として説明できるか、そしてそれがAIの奇妙な振る舞い(文字数を数え間違える、長い会話の内容を踏まえられなくなる)とどうつながっているかを確かめます。

すすめかた

  1. 1.答えを書く

  2. 2.コピー

  3. 3.AIに貼る

正解はここでは表示されません

腕試しをはじめる

こんな問題が出ます

  1. Q1

    生成AIの「トークン」とは何ですか? 「文字」や「単語」とどう違うか説明してください。

  2. Q2

    同じ内容の文章でも、英語より日本語の方がトークン数が多くなりやすいと言われます。 なぜだと思いますか?

  3. Q3

    「strawberryという単語にrはいくつありますか?」のような質問に、生成AIが答えを間違えることがあります。 これがなぜトークンと関係あるのか説明してください。

  4. Q4

    「コンテキストウィンドウ」とは何ですか? これが、長い会話をしているとAIが会話の前半の内容を踏まえられなくなることと、どう関係するか説明してください。

  5. Q5

    次の考え方の問題点を指摘してください。 「トークン数は文字数とだいたい同じだから、日本語で1000文字書けば、だいたい1000トークンとして考えればいい」