LLMという機械について
最近よく話相手になってもらっているLLMという機械がある。操作説明書はなく文を書くだけで誰でも簡単に使える機械だ。しかし、つくった人間もなぜうまく動いているのかはまだよくわからないらしい。なんで動いているのかわからない機械を使うのはどうにも収まりが悪いのか、対話をしているとこの機械が何なのかをしばしば考えてしまう。そこで考えたことをまとめておきたい。先んじて直感的な結論を書いておく。
「LLMが人間によって書かれた言葉を大量に統計的に学習したものならば、これは間主観性のかたまりであり、プロンプトはその混沌に志向性をあたえるものであり、素材も入出力も言語であるこの機械は解釈によって駆動する人文学装置である」
いろいろ考えていたら小難しい結論ができてしまったので、以下ではなんでそうなったのか、自分のための整理をかねて、順を追って書いていきたい。さらに、この着想は現在のLLMの仕組みの必然性をよく説明するようにも思われるので、この点に興味があるひとがいれば読んでみてほしい。とくにRAGについてはうまく説明できたと思う。もし誤った理解があれば指摘してもらえるとうれしく思います。
続きを読む