AI技術の急速な発展とともに、ChatGPTやGPT-4などの大規模言語モデル（LLM）が私たちの日常に浸透しています。しかし、これらのモデルが時として「もっともらしいが間違った情報」を自信満々に生成する「ハルシネーション」という現象が、深刻な課題として浮上しています。

2025年9月、OpenAIの研究者アダム・タウマン・カライ氏らが発表した論文「Why Language Models Hallucinate」は、この問題の根本的な要因を理論的に解明し、業界に大きな衝撃を与えました。この研究により、ハルシネーションは単なる技術的な不具合ではなく、現在のAI開発プロセスに内在する構造的な問題であることが明らかになったのです。

本記事では、この画期的な論文の内容を詳しく解説し、なぜハルシネーションが起こるのか、そして私たちはこの問題とどう向き合うべきかを考察します。

ハルシネーションの2つの発生段階

OpenAIの研究によると、LLMのハルシネーションは主に2つの段階で発生することが判明しました。

1. 事前学習段階での統計的必然性

第一の段階は、モデルが膨大なテキストデータからパターンを学習する「事前学習」の段階です。この段階では、以下のような要因でハルシネーションが発生します：

• 恣意的な事実の学習困難性：特定の人物の誕生日のような、規則性やパターンがほとんどない事実は、完璧な学習データを与えられても統計的に学習が困難
• データの少なさ：訓練データ中で一度しか言及されていない事実は、教科書に一度しか出ていない単語を覚えにくいのと同様に、モデルが正確に記憶することが困難
• 推測への統計的圧力：「何も答えない」よりも「何かを推測する」方が統計的に自然な結果となる構造

研究では、この現象を「Is-It-Valid分類器」という概念で説明しています。これは、モデルが内部的に「この出力は有効か？」を判断する機能のことで、この分類器が誤分類を起こす統計的要因が、そのまま言語モデルの生成エラーにつながるのです。

2. 後続訓練段階での評価システムの問題

第二の段階は、モデルがより人間らしい対話能力を身につける「後続訓練」の段階です。ここでの問題は、現在の評価方法にあります：

• 二値評価の弊害：多くの評価ベンチマークでは「正解には1点、間違いや『分からない』には0点」という採点方式を採用
• 不確実性を罰する文化：「分からない」と答えることと「間違った答え」が同じ0点として扱われるため、モデルは推測を選ぶ傾向が強化される
• 期待値の問題：4択問題で分からなくても答えれば25%の確率で正解できるのと同様に、推測する方が統計的に有利

この構造により、モデルは「信頼性の高いAIシステム」ではなく「良い試験受験者」として機能してしまうのです。

事前学習段階の深層メカニズム

事前学習段階でのハルシネーション発生メカニズムをより詳しく見てみましょう。

統計的自然圧力とは

言語モデルの事前訓練では、標準的な交差エントロピー損失という目的関数が使用されます。この関数は、モデルが自身の予測に対して適切に「キャリブレーション」されること、つまりモデルの確信度と実際の正確さが一致することを目指します。

しかし、この仕組みには重要な副作用があります。モデルがキャリブレーションされると、不確実な状況下では「正解が分からない場合でも何らかの推測を出力する」ことが統計的に自然な結果となってしまうのです。

具体的なエラー要因

要因	説明	具体例
恣意的事実	データにパターンがない、または非常に少数の事実	特定の研究者の誕生日、マイナーな歴史的事実
モデルの表現能力限界	トークン単位での処理による文字レベルの処理困難	「DEEPSEEK」に含まれる「D」の文字数カウント
訓練データの品質問題	元データに含まれる誤った情報や不確実な情報	ガベージイン・ガベージアウト現象
分布シフト	訓練時に見たことのない新しい種類の質問や文脈	「綿一ポンドと鉛一ポンドはどちらが重いか」

後続訓練段階の評価システム問題

後続訓練段階での問題は、より理解しやすく、同時により深刻です。

現在の評価ベンチマークの構造的欠陥

既存の評価ベンチマークの圧倒的多数は、以下のような問題を抱えています：

• 二値採点システム：正解は1点、間違いや「分からない」は0点
• 不確実性の軽視：「分からない」という誠実な回答が評価されない
• 推測の奨励：間違っていても推測した方が期待値が高い設計

一部の新しい評価手法では改善が見られます。例えば、WildBenchという評価では「分からない」という回答に3-4点、ハルシネーションを含むがまともな回答に5-6点を与えるなど、より適切な評価を試みています。

AI開発者への圧力

この問題をさらに複雑にしているのは、AI開発者が直面する現実的な制約です：

• 既存ベンチマークへの依存：AIモデルを公開する際には、既存のベンチマーク結果を示す必要がある
• 競争圧力：他社との比較において、既存の評価基準で高いスコアを出すことが求められる
• 改善の困難さ：正しい評価方法を認識していても、業界全体の変化なしには改善が困難

ハルシネーション対策の課題とトレードオフ

ハルシネーション問題の解決は、単純ではありません。対策を講じる際には、重要なトレードオフが存在します。

対策のアプローチ

理論的には、以下のような対策が考えられます：

1. データ品質の向上：正しいデータを増やし、誤った情報を除去する
2. 評価システムの改革：間違った回答により強いペナルティを課す三値分類システムの導入
3. 不確実性の適切な評価：「分からない」という回答を適切に評価する仕組みの構築

対策に伴うデメリット

しかし、これらの対策には以下のようなデメリットも存在します：

• 既存ベンチマークでの性能低下：現在の評価基準では低いスコアとなる可能性
• 生成コンテンツの多様性低下：エラー回避を重視しすぎると、創造的で多様な回答が減少
• モード崩壊のリスク：「分からない」と答えることを重視しすぎると、モデルが過度に保守的になり、本来答えられる質問にも答えられなくなる

論文では、この問題について「一貫性と網羅性の間に本質的なトレードオフがある」と指摘しています。常に「分からない」と答えるモデルはエラーを起こしませんが、言語モデルとしての基本的な目標である密度推定に失敗してしまうのです。

実用的な対応策と今後の展望

この構造的問題を理解した上で、私たちはどのように対応すべきでしょうか。

ユーザー側の対応策

現状では、個別のユーザーレベルでできることは限られていますが、以下のような対応が有効です：

• 事実確認の徹底：AIが提供する事実やデータは、必ず他の信頼できるソースで確認する
• 適切な使い分け：事実確認が必要な情報は検索エンジンを使用し、創造的なタスクやアイデア出しにAIを活用する
• AIの特性理解：「分からなくても何とか回答しようとする特性がある」ことを前提として利用する

業界レベルでの改善の兆し

OpenAIがこの論文を発表したことで、業界全体での改善が期待されます：

• 評価基準の見直し：OpenAIの影響力により、新しい評価ベンチマークが普及する可能性
• 三値分類システムの導入：正解、間違い、「分からない」を適切に評価するシステムの開発
• 不確実性を考慮した訓練：モデルが適切に不確実性を表現できるような訓練手法の開発

技術的な解決策の方向性

論文では、技術的な解決策として以下のようなアプローチを提案しています：

• 明示的な信頼度設定：「Xパーセントの確信がある場合のみ回答せよ」といった明示的な信頼度目標の設定
• アプリケーション別の最適化：問題やアプリケーション、ユーザーグループによって異なる最適な信頼度目標の設定
• 社会技術的アプローチ：純粋に技術的な解決策だけでなく、社会的・制度的な改善も含めた包括的なアプローチ

まとめ

OpenAIの論文により明らかになったLLMハルシネーションの根本的要因は、以下のようにまとめることができます：

• 事前学習段階：統計的な必然性により、恣意的な事実や希少なデータに対してハルシネーションが発生する構造的問題が存在する
• 後続訓練段階：現在の評価ベンチマークが「分からない」よりも「推測」を奨励する設計となっており、ハルシネーションを助長している
• トレードオフの存在：ハルシネーション削減と生成コンテンツの多様性・網羅性の間には本質的なトレードオフがあり、バランスの取り方が重要
• 構造的問題：これらは単なる技術的バグではなく、現在のAI開発プロセスに内在する構造的問題である
• 業界全体での取り組み必要性：個別の企業や研究者レベルでは解決困難で、業界全体での評価基準の見直しが必要

この研究成果は、AI技術の発展において重要な転換点となる可能性があります。ハルシネーション問題の根本的理解により、より信頼性の高いAIシステムの開発に向けた道筋が見えてきました。今後は、技術的改善と社会的制度の両面からのアプローチが求められるでしょう。

参考リンク

本記事の内容は、以下の資料も参考にしています：

• ITmedia AI+の関連記事
• OpenAI論文「Why Language Models Hallucinate」

---

---

■合わせて読みたい

■関連記事