AIの「トークン」、説明できる?
ChatGPTやClaudeの「トークン数」「コンテキストウィンドウ」、文字数のことだと思っていませんか?仕組みを説明できるか確認します。
ねらい
「トークン」を単なる文字数や単語数としてではなく、生成AIが文章を処理する際の実際の処理単位として説明できるか、そしてそれがAIの奇妙な振る舞い(文字数を数え間違える、長い会話の内容を踏まえられなくなる)とどうつながっているかを確かめます。
すすめかた
1.答えを書く
2.コピー
3.AIに貼る
正解はここでは表示されません
腕試しをはじめるこんな問題が出ます
- Q1
生成AIの「トークン」とは何ですか? 「文字」や「単語」とどう違うか説明してください。
- Q2
同じ内容の文章でも、英語より日本語の方がトークン数が多くなりやすいと言われます。 なぜだと思いますか?
- Q3
「strawberryという単語にrはいくつありますか?」のような質問に、生成AIが答えを間違えることがあります。 これがなぜトークンと関係あるのか説明してください。
- Q4
「コンテキストウィンドウ」とは何ですか? これが、長い会話をしているとAIが会話の前半の内容を踏まえられなくなることと、どう関係するか説明してください。
- Q5
次の考え方の問題点を指摘してください。 「トークン数は文字数とだいたい同じだから、日本語で1000文字書けば、だいたい1000トークンとして考えればいい」