LLMとは何か、どのように学習されるのか、そしてなぜ何でも知っているように見えるのかを知りましょう。
このレッスンを Kodokon で開くあなたはおそらく、ChatGPT、Claude、Geminiといった名前を耳にしたことがあるでしょう。これらは生成AIです。書かれたリクエストから、まったく新しいテキスト(説明、要約、詩、コードなど)を生み出すことができるコンピュータープログラムです。その裏に隠れているエンジンはLLMと呼ばれ、*Large Language Model*(大規模言語モデル)の略です。コンピューティングにおいて「モデル」とは、人間が一つ一つ書き出した規則を適用するのではなく、例から規則性を学習したプログラムのことを指します。
基本的な原理は驚くほどシンプルです。LLMとはテキストがどのように続くかを予測する機械なのです。あなたが「猫が…の上で眠っている」と読むと、あなたの脳は自然に「ソファ」や「ベッド」を補います。LLMはまさにそれを、しかし桁違いの規模で行います。各ステップで、次に来る可能性が最も高い単語(または単語の一部)を計算し、それを追加し、また繰り返します。つまり、一つの回答全体は、単語を次々と重ねた長い予測の連なりにほかなりません。これはスマートフォンのキーボードにある単語の予測変換とまったく同じ仕組みで、ただ比べものにならないほど強力なだけです。
あなたはコンピューティングをまったくの初心者に説明する、忍耐強い先生です。
大規模言語モデル(LLM)とは何かを、私が12歳であるかのように、定義されていない専門用語を一切使わずに説明してください。
制約:
- 日常生活のたとえを使ってください。
- 最大10文まで。
- 私が理解できたか確認するための質問で締めくくってください。この機械はどうやってこれほどうまく予測できるように学ぶのでしょうか。それは学習(トレーニング)によってです。これはあなたの最初の会話よりも前に行われる段階で、その間にモデルは膨大な量のテキスト(書籍、記事、ウェブサイト、コンピューターのコード)を「読み」ます。各文について、続きが隠され、モデルはそれを推測するよう求められます。間違えると、そのパラメータ、つまり内部にある数十億もの小さな設定値が、わずかに調整されます。これを何十億回も繰り返すと、モデルは最終的に、学習に使ったテキストに含まれる文法、文体、そして途方もない量の知識を捉えるようになります。
だからこそ生成AIは何でも知っているように見えるのです。それは人間が千回生まれ変わっても読みきれないほど大きな図書館を「読んで」きたからです。しかしこの言葉には注意が必要です。それは*見える*ということ。モデルは回答するときに百科事典を参照するわけではありませんし、あなたと同じように「理解」しているわけでもありません。それは学習内容にもとづいて、最ももっともらしい単語の並びを計算しているのです。たいていの場合、もっともらしい = 正しい、です。しかし常にそうとは限らず、それこそがまさに次のレッスンの主題です。
私はいま、LLMはテキストを予測することで動いていること、巨大なコーパスで学習されていること、そして最ももっともらしい続きしか生み出さないことを学びました。
これら3つの考えを本当に理解できたか確認するために、一度に1問ずつ、3つの質問を私にしてください。
それぞれの質問のあと、私の答えを待ってから、次の質問に進む前にやさしく訂正してください。
私が試す前に、決して答えを教えないでください。