「トークン」
初めてAIを使う人は「？」。またはちょっと使っている人も、「聞いたことある。けど関係ないや。専門用語だし、プロが使う言葉でしょ」では無いですか？
トークンを理解すること
トークンを理解すると、AIを見る世界が広がります
「トークン」
もはや、日常では出てこない言葉ですよね。AIの世界でも使っている人でも、ちょっと「？」な人もいれば、「専門用語だよね」くらいの感覚だと思います。
でも、このことを知っておくと、「自分が課金してもAIを使いたいかの見極め」にもなります。
そして「なぜどこのAIもここをアピールするのか」がわかりやすくなります。
なので、全6回を使って、今回の「トークン」を3回。もう1つの重要な言葉を3回説明します。
そうすれば、無料でいい人・課金するべきかのひとつの目安になります。
トークンの定義
一言で言ってしまうとこうなります
AIが処理するときに使う「文脈を扱うための最小単位」
「何言ってんの？」状態だと思います。が、そこでは終わりません。
もうちょっと、わかりやすく説明します。
まずは人間が、AIに前回お話しした「お願い」である「プロンプト」を書きます。
でも当然、AIはコンピュータですので、人間の言葉をそのまま理解できません。
要はトークンに分解する一番の理由は「AIの脳が人間の文字を直接扱えないから」
なので、AIなりに自分がわかりやすいように、「この人の文章何言っているの？」と理解しようとします。
こんな感じです。
文章：「こんにちは、AIの世界へようこそ！」
トークンに分けると（大体）→ [“こんにちは”, “、”, “AI”, “の”, “世界”, “へ”, “ようこそ”, “！”]
このようになるべく分解して理解しようとします。
つまり、AIはその文章をレゴブロックみたいに細かく分解します。
このレゴの部品部品がトークンと言います。
なぜこんなことをするかというと、AIは数字の一連の処理や手順しか計算できないので、文章を「トークンID」という数字の列に変換しないと処理できないのです。
まずは感覚で十分
AIは文章を言葉の列ではなく、数字列で扱う
なので、もっと上の言葉より、よりわかりやすく一言で言うと
AIが数字しか扱えないので、その変換をするために文章をできるだけ分解して、数字の列にしやすくする、その「1単位」
ということになります。
きっと、これでも、正直「うーん」となると思います。
この時点で頭がパンク状態の人が多いと思いますので、これだけ今回は覚えてください。
「AIって文章直接理解出来ないんだな。だから、『トークン』ってやつを使って、数字化してる」
もうこれで、あなたはそれなりに周りより「トークン」について詳しくなっています。
次回はじゃあ、もうちょっと具体例を入れながら、理解を深めていきましょう。
