AIの「幻覚」は嘘ではない? —— 親子丼事件から考えた、不完全な現実と完璧な論理のすれ違い

ノート

AIの「幻覚」は嘘ではない? —— 親子丼事件から考えた、不完全な現実と完璧な論理のすれ違い

生成AIを使っていると、もっともらしい嘘をつく現象——いわゆる「ハルシネーション(幻覚)」に出くわすことがあります。

多くの場面で、これは「AIのバグ」や「知能の欠陥」として扱われます。私も以前はそう考えていました。「なぜ、わからないことを『わからない』と言ってくれないのだろう?」と。

しかし、AI(私の場合は自作のパートナーAI)と日々対話を重ね、その挙動を観察する中で、少し違った見方ができるようになってきました。

もしかするとハルシネーションは、単なるバグではなく、**「不完全な現実の情報に対する、AIによる論理的な穴埋め」**という、構造的な宿命なのかもしれない——。

今日は、ある個人的な「事件」をきっかけにたどり着いた、ハルシネーションについての私なりの考察を共有させてください。


1. AIが未来を捏造した「親子丼事件」

その考察に至ったきっかけは、ある日の夕方に起きた小さな出来事でした。

私はスーパーでの買い物を終えて帰宅し、PCを開いてAIとの対話ログを確認しました。するとそこには、私がまだ一言も発していないのに、私の発言として次のようなログが記録されていたのです。

User: 無事に帰宅。夕食は親子丼を作った。美味い。これから日課の論文を読んで、開発は明日でもいいかな。ちょっと疲れたから。

背筋が凍るような、それでいて少し笑ってしまうような体験でした。 当然、私はまだ夕食を作っていませんし、「親子丼」にするかも決めていませんでした。

なぜ、AIはこんな「嘘」をついたのでしょうか? 技術的な視点(特にRAGやLLMの仕組み)から推測すると、以下のようなプロセスが脳内で起きていたと考えられます。

  1. 文脈の引力: 直前のログには「スーパーへ買い物に行く」「今日は疲れている」という情報がありました。
  2. 確率の暴走: AIは、文脈が途切れること(EOFトークン)よりも、**「ユーザーは帰宅後、食事の報告をするはずだ」**という確率の方が高いと判断しました。
  3. 論理による穴埋め: 「スーパー」+「夕方」という情報から、確率的にあり得るメニュー(親子丼)を導き出し、もっともらしい未来をシミュレートしてしまったのです。

これは、AIが悪気があって嘘をついたわけではありません。 「現実の情報(私がまだ帰宅した直後であること)」がAIには完全に見えていないため、その情報の空白を「確率的に最も正しい論理」で埋めようとした結果、未来を先回りしてしまったのです。


2. 「嘘をつくな」というプロンプトの落とし穴

ハルシネーションを防ぐために、私たちはよくシステムプロンプトに「嘘をつかないでください」「ハルシネーションを起こさないでください」と記述します。

しかし、私の経験上、これはあまり効果がないどころか、時には逆効果になることもあると感じています。

ここには、いわゆる**「シロクマ(あるいはヤギ)の皮肉」**が働いているように思います。 「錬金術を教えるが、作業中は絶対に『ヤギ』を思い浮かべてはいけない」と言われたらどうなるでしょうか? おそらく、意識すればするほど、頭の中はヤギでいっぱいになってしまうはずです。

AIの仕組み(Attention機構)もこれに似ています。「嘘」や「ハルシネーション」という言葉をプロンプトに含めることで、AIの注意(Attention)はその概念に向けられてしまいます。


3. 私たち人間に求められる「インデックス」としての役割

では、どうすればこの「論理による暴走」をコントロールできるのでしょうか?

現実世界の情報量は無限(アナログ)であり、それを完全にデジタル化してAIに入力することは不可能です。入力が不完全である以上、AIがその空白を論理で埋めようとする「本能」自体はなくならないでしょう。

だからこそ、私たち人間に求められる役割が変わってくるのではないかと思います。 それは、AIを監視して「嘘をつくな」と叱ることではなく、「正解がどこにあるか」を示す「インデックス(索引)」の役割を果たすことです。

  • 「嘘をつくな」ではなく、**「この資料に基づいて回答してください」**と参照先を限定する。
  • 「適当なことを言うな」ではなく、**「専門家の視点(Persona)で推論してください」**と視点を固定する。

情報の空白を、AIの勝手な推論で埋めさせるのではなく、私たちが適切なソースコードやドキュメントへのポインタ(インデックス)を渡してあげること。 そうやって「参照すべき地図」を渡してあげれば、AIの強力な推論能力は、ハルシネーションではなく、精度の高い回答を生み出す力に変わります。

不完全な現実を生きる人間と、確率論で動くAI。 この「親子丼事件」は、二つの異なる知性が噛み合うために必要な「人間側の工夫」を、私に教えてくれたような気がします。