業界では、ハルシネーションは改善されつつあると言われています。データもそれを裏付けています。ただし、それは本番環境では誰も実行していないようなワークフローに限った話です。
昨年 5 月、Anthropic の CEO である Dario Amodei 氏は記者会見の場で、現在のフロンティア モデルは「おそらく人間よりもハルシネーションが少ない」と述べました。Vectara のハルシネーション リーダーボードも、この発言を後押ししています。根拠に基づく要約タスクにおいて、上位モデルのハルシネーション率を示すスコアは現在 1% 未満に抑えられています。各種メディアでも同じ方向性の見出しが続きました。つまり、ハルシネーションの問題はすでに解決した、あるいは解決に近づいている、という見解です。
しかし、自社の AI 利用ログを確認してみてください。その実態は、見解とは一致していないでしょう。
エージェント型の処理チェーン、広範に取得した情報を対象とした推論、リスクの高い専門領域の問い合わせなど、企業が実際に運用しているワークフローでは、ハルシネーションは減っていません。むしろ急激に増加しています。そして、トークン単位で課金されるモデルでは、ハルシネーションを含む回答も、正しい回答と同じようにコスト項目として請求されます。多くの場合、そのコストはさらに高くなります。なぜなら、ハルシネーションを含む推論チェーンは、答えにたどり着くまでにより長く実行されることがあるからです。
これが「ハルシネーション税」です。そして、その負担はますます大きくなっています。
集計データと実運用では結果が大きく異なります
Vectara の数値そのものに問題はありません。ただし、それが測定しているのは 1 つの特定のタスクです。つまり、モデルに渡された文書を要約する、というタスクです。この条件下では、最良のモデルは非常に優れた性能を示します。
しかし、それは企業が実際に置かれている状況や条件と一致するとは限りません。
OpenAI が o3 と o4-mini (現在多くの企業がエージェントのスタックに組み込み始めている推論モデル) をリリースした際、同社のシステム カードには、業界がまだ十分に受け止めていない事実が開示されていました。OpenAI の社内ハルシネーション ベンチマークである PersonQA において、o3 はプロンプトの 33% でハルシネーションを起こしました。o4-mini では 48% でした。前世代の o1 は 16% でした。新しい推論モデルでは、前世代と比較してハルシネーション率が 2 倍から 3 倍に増加したのです。OpenAI の技術レポートでは、「さらなる研究が必要」とのコメントにとどまりました。
この傾向は、すでに研究結果としても示されています。ICLR 2026 の論文「The Reasoning Trap」では、モデルにより深く推論させるための学習は、ハルシネーションを減らすのではなく、むしろ増幅させることが示されました。その仕組みは、一度理解すれば直感的です。推論モデルは 1 回の応答でより多くの主張を行います。そのため、正しい主張も増えますが、同時に誤った主張も増えます。思考の連鎖 (CoT) は、正確性ではなく自信を増幅させるのです。
しかもこれは、エージェントを追加する前の話です。
2026 年初頭に公開された Microsoft Research の VeriTrail の論文は、より直接的でした。エラーは思考の連鎖を通じて伝播するため、エージェント型ワークフローにおけるハルシネーション検出には、各ステップごとの出力根拠が必要です。AgentHallu のベンチマークでは、上流の計画段階で生じた 1 つのハルシネーションが、下流のツール呼び出しへと伝播し、最終回答の品質を低下させることが示されました。法務分野の問い合わせでは、Stanford RegLab が 69% から 88% のハルシネーション率を測定しています。2026 年第 1 四半期には、AI が生成した架空の判例を提出した弁護士に対して、米国の裁判所が合計 14 万 5,000 ドルの制裁金を科しました。これは、法務分野における四半期ベースで過去最高額です。
つまり、集計値で見える傾向と、実際の運用条件で見える傾向は逆です。企業が AI 活用を拡大しているまさにその領域で、ハルシネーションは悪化しています。
誤った回答もすべてコストとして発生します
次に、コストの側面を見てみましょう。
4 月に公開された Deloitte の CFO 向けアドバイザリーでは、ある大手ヘルスケア企業の事例が紹介されています。その企業では、トークン消費量が月次で 8% から 10% 増加し、6 か月間でおよそ 1 兆トークンに達しました。その結果、財務部門がコスト増加の要因を把握する前に、年換算で 600 万ドルを超える想定外のコストが発生していました。Microsoft Research は、エージェント型のコーディング タスクがチャット会話の 1,000 倍のトークンを消費し、出力トークンではなく入力トークンが請求額を押し上げていることを明らかにしています。Gartner も正式に警鐘を鳴らしています。1 回の呼び出しあたり 5,000 トークンで始まるセッションが、50 ターン目には 1 回の呼び出しあたり 200,000 トークンに達する可能性があるというのです。これは、コンテキストが積み重なり、各ターンでそのコンテキスト全体に対して課金されることが原因です。
ここに落とし穴があります。エージェント型 AI への移行は現実のものです。しかし同時に、それはトークン消費を増幅させる仕組みでもあります。そしてこの仕組みは、正しい出力とハルシネーションを含む出力を区別しません。どちらにも同じ料金が発生します。
つまり、すべてのハルシネーションは二重の損害をもたらします。誤った回答そのものによるコスト、すなわちトークン消費、下流工程での手戻り、監査リスク、顧客への悪影響に加えて、その誤った回答を生成するために消費されたトークンのコストも発生します。CFO は今、説明責任を担保する仕組みがないまま膨らみ続けるコストと向き合わなければならなくなっています。
システムレベルの説明可能性が鍵になります
反射的な対応として、より優れたモデルを待つという選択肢があります。しかし、それを待つべきではありません。
本番環境におけるハルシネーションの問題は、生成の問題ではなく圧倒的に検索の問題です。2025 年から 2026 年にかけての RAG 研究文献で最も多く引用されている知見は、企業の RAG が失敗する原因は「推論の誤り」ではなく「検索された文書チャンクの誤り」にある、というものです。肥大化した検索結果は、モデルがユーザー入力の最初の 1 語を処理する前に、すべてのプロンプトを膨張させます。そしてそれは、エージェント型ワークフローの各呼び出しでさらに積み重なっていきます。モデルは、求められたことを実行しているだけです。問題は、ノイズを含む情報を対象に推論するよう求められていることです。
企業に必要なのは、より優れたモデルだけではありません。必要なのは、すべての出力に影響を与えた要素、つまりコンテキスト、検索結果、ファインチューニング データ、エージェントの各ステップを可視化することです。そうすることで、適切な修正方法を選択できます。場合によっては検索のチューニングが必要になります。もしくは情報ソースの整理が必要かもしれません。場合によっては、対象を絞った再学習が必要になることもあります。そして常に、検索の品質を改善するために必要な機密性の高いデータが存在するであろう、自社が信頼できる環境内で実行する必要があります。具体的には、次の機能が必要です。
- 任意の出力について、モデルがどの情報を参照したのかをトークン レベルで確認できる機能。
- 各参照元がどの程度影響したのかをスコア化できる機能。
- そもそも検索対象に含めるべきではなかった情報を再学習なしで除外し、各ソースの影響度を強めたり弱めたり調整できる機能。
SeekrFlow は、これらを実現するために構築されています。SeekrFlow は、任意の応答に影響を与えた情報ソースの組み合わせを可視化し、その影響度を High (高)、Medium (中)、Low (低)、Irrelevant (無関係) としてスコア化します。さらに、利用者は回答の根拠となった文書チャンクへ直接アクセスできます。信頼度は、色分けされたスコアとしてトークン レベルで表示されます。すべてのエージェント実行は追跡されます。すべての推論ステップ、ツール呼び出し、出力がログに記録されます。市場の多くが、道路状況が見えない自動運転車を売っているような状態だとすれば、SeekrFlow はその状況に対し、利用者が適切に制御できるための「ハンドル」を提供します。
この制御性によって、AI 活用に伴うコスト構造そのものを改善できます。価値の低い情報ソースを除外することは、ハルシネーションを減らすだけではありません。ノイズに基づいた出力を生成するために使われるトークンも削減します。ハルシネーションとコストの両方の曲線を同時に押し下げることができます。
アーキテクチャに関する 1 つの考え方として、企業全体を包括的なオントロジーとして構築する方法があります。つまり、自由テキストの代わりに LLM が構造化されたセマンティック モデルに問い合わせる仕組みです。このアプローチは、構造化された業務データには確かに価値があります。しかし、多くのハルシネーションが実際に発生している非構造化ワークフローには十分に対応できていません。また、企業が AI を本番導入する前に負担するには大きすぎる、数年単位のインフラ投資が必要になります。
ハルシネーション、判断ミス、コスト増大は同時に悪化します
Seekr が企業の AI リスクを説明するために使用してきたチャートでは、導入 (Adoption)、本番運用 (Production)、スケール (Scale) の 3 段階にわたり、3 つのリスクが示されています。ハルシネーションは低下し、判断やコストは指数関数的に増大する、という構図です。この見方は、モデル出力のレイヤーでは正しいものでした。しかし、企業が実際に活動しているワークフローのレイヤーでは、3 つすべてが複合的に増大します。そして、同じ複雑性がその 3 つすべてを押し上げます。
この課題に対する有効な対策は同じです。すべての出力に影響を与えた要素を、システムレベルで説明可能にすることです。コスト曲線とハルシネーション曲線を同時に押し下げられるのは、この方法だけです。企業が現在進めている規模で AI 出力に対する説明責任を維持しながら、自社の信頼できる環境内で運用できるのも、この方法だけです。
2026 年にエンタープライズ AI へ本格的な投資を行っているのであれば、関連する支出のうち、どの割合が情報ソースに基づき、根拠を説明できる成果を生み出しているのかを把握すべきです。もしその問いに答えられないのであれば、その支出は管理されていないも同然です。
AI 導入後の「見えないコスト」にどう向き合うか
本記事で紹介したように、エンタープライズ AI ではハルシネーションそのものだけでなく、その原因となる情報ソースや推論プロセスを把握できないことが、品質面・コスト面の大きな課題となっています。
エクセルソフトは、SeekrFlow の正規販売代理店として、SeekrFlow を活用した生成 AI 基盤の構築支援や評価支援を通じて、企業が自社データを安全に活用しながら、説明可能性と運用管理性を備えた AI 環境の実現を日本語でサポートしています。ご興味をお持ちの方は、お気軽にご相談ください。
この記事は、Seekr 社の Web サイトで公開されている「The Hallucination Tax: Why Your Best Models Are Costing You the Most」の日本語参考訳です。原文は更新される可能性があります。原文と翻訳文の内容が異なる場合は原文を優先してください。
