前回の説明は、「トークン」を水とタンクの関係で考えてみました。そして、タンクがいっぱいになったら、どうなるんだろうまで来ました。では、その先を一緒に考えてみましょう。
一応、初めてこの記事を見た方のために、前回の水とタンクの例の記事を張っておきます。
溢れた水は何か
トークンの仕組みをよく考える
前回の最後の問いはこうでした。
じゃあ、この溢れた水は何か？
今入れた水？
それとも前に入れた水？
タンクに入れているんだから、中で混ざっちゃってる水？
ここで、思い出してほしいのは、第1回の
「AIは数字の一連の処理や手順しか計算できないので、文章を「トークンID」という数字の列に変換しないと処理できないんです」
だから、人間の感覚だと、タンクに入る水は混ざるというイメージです。
でも、AIは実はちゃんとその順番を覚えているのです。
なぜそれができるか。
「数字の一連の処理や手順しか計算できない」ということが、逆に有利に働いているのです。
つまり、イメージで言うとこうなります。
タンクの水は古い順番から層状になっているのです。
タンクの水の層をよく考える
タンクの層には盲点がある
しかも、これが盲点になるので、絶対覚えてください。
「AIが自分で返した回答も、数字化してあなたが水を入れたようにタンクにためる」
つまり、AIは全てそのタンクの中で完結しているのです。
例で言うと以下のようになります。
5リットルのタンクを準備しました。
あなたは、そこに500mlの水を入れました。
そうしたら、たまたまAIは500mlの回答を返しました。
この1回のラリーで1リットルです。
しかも、これが層になっています。
タンクの一番下にあなたの500ml。その上にAIの500ml
また、同じことをしました。条件は一緒。
そうすると5リットルのタンクは、たった5回のラリーで満杯に。
そうすると、人間はこう思います。
「なんで、2.5リットルしか入れてないのに満杯？」
まずここまでを整理すると、こんなイメージ。
タンクの下から、1回目のあなたの500ml。その上にAIの500ml。さらにその上にあなたの2回目の500ml。その上にAIの500ml･･･そして、AIが5回目で返した500mlで縁ギリギリ。
AIの仕組みによる落とし穴
さらに、ここでAI利用で注意すべき点が出てきます
実際は満杯のはずなのに、また水を入れることができます。
本来は満杯ならば、溢れるはずですよね。
でも溢れずにまた入れることができる。
おかしいですよね。
絶対に溢れるはず。
ここで、勘がいい人は気がつくと思います。
AIは入れた順番を管理しているので、あなたが新しく入れた量の分だけ、いちばん古い水を捨てる。そして自分が返した回答の量の分も、同じように古い水から捨てる。
要は満杯状態をキープしながら、古いものを捨てていく仕組みなっているのです。
最後に「初心者向けとしてのまとめ」としては
「トークン」とは。「AIの脳が人間の文字を直接扱えないから数字に置き換えている」のだけれども、その副次的効果として、ちゃんとその順番を覚えることができ、そして古いもの（用済みとAIが考えている）ものから捨てる。
実はもっと深いのですが、これで十分。
実用に耐えるレベルです。それ以上は本当にAIの技術者レベルの話なので。
でも、疑問がわきませんか？
・タンクって誰が管理しているの？
・そして、タンクの水はどこから捨てるの？
これは、タンクの管理方法とその仕組みにあるのです。
このタンクの管理と仕組みの話は、また次の記事に。
この「トークン」とタンクは密接に絡んできます。
そして、その関係性において、AIの選び方や、課金すべきかのキーワードになります。
今回はちょっと長くなってしまいましたが、このくらいで。
また、次の記事でお目にかかりましょう。
