前回の説明は、「プロンプト」を「トークン」にバラバラにするでした。
今回はもうちょっと身近なもので考えてみましょう。
前回の「トークン」の説明は覚えていますか？
一応リンクを張っておきます。
改めて、AIは「トークン」を数字に置き換えないと理解出来ない
具体例で考えていきましょう
この中では、概念的な話でしたが、もうちょっと世の中にあるイメージしやすいもので考えていきましょう。
とにかく、前回のことで思い出して欲しいことは、以下のことです。
「プロンプト」を「トークン」にバラバラにして、数字に置き換えることをしないと、AIは理解出来ない。
前回の記事の中で、せっかくなので、レゴブロックの話をしましたので、それを元にお話して行きましょう。
レゴはブロックですので、組み立てるとどんどん大きくすることができます。
それこそレゴランドにあるもののように。
つまり、プロンプトも同様に考えると、どんどん大きくしてAIに分解しろと言うこともできます。
しかし、AIはそれぞれに記憶できる大きさがあります。器みたいに考えてみてください。
AIはその大きいレゴの塊を、必死になって細かくして器に入れる作業をします。
器の概念を変えるとわかりやすくなる
器をタンクに変えてみる
では、せっかくなので、器というお話をしたので、この器をタンクと考えましょう。
以下のような、キャンプやスポーツの試合のときに持っていくような。
さらにタンクなので、ブロックよりも水の方が良いかもしれません。
じゃあ、そのタンクにプロンプトという水を入れましょう。まずはコップ1杯入れましょう。少し水がたまりました。
AIは「水が入ってきた。自分たちでわかるように、この水をバラバラにして数字に置き換えよう」という行動をします。
人間からすると、「水を分解する？」となるんですが、どうしてもAIは数字に置き換えないといけないので、そういうものだと思ってください。
この調子でどんどん水を入れていきましょう。一気でも良いですし、少しづつ入れていっても良いです。そうすると、いつかはタンクは水が満タンになります。
では、そこにさらに水を入れたら？
というよりも、入りません。当然、水が溢れます。
タンクに無理矢理に水を入れようとすると起きること
この溢れた水は何か？
なんでしょう。今入れた水？
それとも前に入れた水？
タンクに入れているんだから、中で混ざっちゃってる水？
ここを理解すると、実はこの「トークン」の本当の正体がわかります。
そして、来週の別の用語へのお話へと続きます。
では、次回に向けてぜひ考えてみてください。
この溢れた水ってなんだろうって。
ヒントは数字に彼らは置き換えているです。
では、次回が「トークン」最後の回になります。
そして、その次のお話へのつなぎの回でもありますので、ぜひ一緒に考えてみましょう。
