「ハルシネーション率が最も低い AI」について検索したことがある方も多いのではないでしょうか。公開されている要約ベンチマークでは、最上位のフロンティアモデルは 2% 未満のハルシネーション率を示しています。

ただし、この数値が本番環境で AI がどの程度誤った回答を出すかを予測するものではありません。ベンチマーク上の最低ハルシネーション率は、管理された条件下における限定的なタスクを測定しているだけです。一方、企業の実際の業務では、広範な検索、複数ステップのエージェント処理、業界特有の問い合わせが組み合わさるため、ハルシネーション率はベンチマークの 10 ～ 40 倍に達することもあります。

この記事は、組織内で AI の精度に責任を持つ方に向けた内容です。たとえば、AI プラットフォームを評価する CIO や CDO、監査対応を進めるリスク・コンプライアンス部門、AI 投資が増える一方で成果を測定しづらい状況に課題を感じる財務責任者が対象です。この記事を通して、AI ハルシネーションのベンチマークが実際に何を測っているのか、リーダーボード上で最も低いハルシネーション率を示す AI モデルでも業務で失敗し得る理由、そして規制当局、監査人、経営層に対して説明できる出力を得るために何を測るべきかを理解できます。

主なポイント

ハルシネーション率が最も低い AI は、どのベンチマークを見るかによって大きく変わります。根拠に基づく文書要約のリーダーボードでは 2% 未満でも、同世代のモデルがオープンドメインの事実確認テストでは 16 ～ 33% 以上になることがあります。
OpenAI の 2025 年 4 月のシステムカードによると、o3 は PersonQA のプロンプトで 33% のハルシネーションを示しました。前世代の o1 は 16% だったため、新しい推論モデルが必ずしもハルシネーションを減らすとは限りません。
ベンチマークのスコアは、本番環境での精度をそのまま予測しません。企業のワークフローでは、不完全な検索、複数ステップのエージェント処理、専門領域のデータが加わり、実際のエラー率は大きく上がるためです。
Stanford RegLab は、汎用モデルが法務分野の問い合わせで 69 ～ 88% のハルシネーションを起こしたと報告しています。これは、重要度の高い専門領域でハルシネーション率が上がりやすいことを示しています。
調達時に問うべきなのは「どのモデルが最もハルシネーションしにくいか」ではなく、「自社の出力のうち、どれだけを説明・防御できるか」です。
説明可能性は、モデルのランキングではなくアーキテクチャの特性です。出力のみの段階から、学習データまで追跡できる段階まで、5 つのレベルで評価できます。

この記事の要点はシンプルです。ベンチマーク上のハルシネーション率だけでモデルを選ぶのは、空いているテストコースでの運転結果だけを見てドライバーを採用するようなものです。その数値自体は正しくても、実際に走る道路とは条件が異なります。

AI ハルシネーションのベンチマークは何を測っているのか

AI ハルシネーションのベンチマークとは、モデルがソース資料や検証可能な事実に基づかない内容をどの程度生成するかを測定するための標準化されたテストです。ただし、ベンチマークごとに測定対象は大きく異なります。これが、「ハルシネーション率が最も低い AI はどれか」という問いに単一の答えがない最初の理由です。

よく引用されるリーダーボードは、主に次の 3 つに分類できます。

根拠に基づく文書要約ベンチマーク。Vectara の Hughes Hallucination Evaluation Model (HHEM) リーダーボードでは、モデルに文書を与え、要約を生成させます。要約内の主張が元の文書で裏付けられていない場合、ハルシネーションと見なされます。このテストでは、上位モデルは 2% 未満を記録します。ただし、これはあえて狭く設計されたタスクです。正解は、与えられた文書の中にあります。
オープンドメインの事実性ベンチマーク。OpenAI の SimpleQA や PersonQA のようなテストでは、ソース文書を与えずに事実に関する質問を行います。モデルは学習時に得た知識に頼って回答する必要があります。この種のテストでは、ハルシネーション率が大きく上がります。OpenAI が 2025 年 4 月に公開したシステムカードでは、推論モデル o3 は PersonQA のプロンプトで 33% のハルシネーションを示し、前世代の o1 の 16% の約 2 倍でした。o4-mini はさらに高い値でした。
ドメイン特化型の評価。研究機関は、専門領域のタスクでモデルを評価しています。Stanford RegLab は、2024 ～ 2025 年に発表した研究で、汎用言語モデルが法務分野の問い合わせに対して 69 ～ 88% のハルシネーションを起こしたと報告しました。さらに、法務調査向けに設計されたツールであっても、Stanford の後続研究では、一定の割合で不正確または不完全な回答を生成することが示されています。

この差に注目してください。同じ世代のモデルでも、ある AI ハルシネーションのベンチマークでは 2% 未満、別のベンチマークでは 60% を超えることがあります。どちらの数値も間違いではありません。測定しているタスクが異なるのです。そして、企業の実際のワークフローは、1 つ目よりも 2 つ目や 3 つ目のカテゴリに近いケースが多くなります。

リーダーボード上の最低ハルシネーション率と本番環境の現実

ベンチマークの順位は、短く整った文書に対して忠実に回答できるかという特定の能力を評価します。しかし、企業の本番環境で使う AI は、ほとんどの場合そのようには動きません。リーダーボード上でハルシネーション率が低い AI モデルでも、業務では自信を持って誤った回答を返すことがあります。その理由は、主に 3 つあります。

検索は複雑で不完全です。本番環境では、「ソース文書」は数百万件の文書リポジトリ、チケット管理システム、契約書、ポリシーのアーカイブから検索パイプラインが取得したものになります。検索結果が誤った文書、古い版、または部分的にしか関連しない箇所だった場合、モデルはその不適切なソースに忠実であっても、分析担当者には誤った回答を返すことになります。ベンチマーク条件では、このような状況はほとんど検証されません。

エージェント型ワークフローではエラーが積み重なります。単一のチャット応答であれば、ハルシネーションが起こる機会は 1 回です。しかし、複数ステップのタスクを実行する AI エージェントでは、依頼内容の解釈、ツール選択、中間結果の読み取り、最終回答の作成など、各段階でハルシネーションが起こる可能性があります。Microsoft Research は、エージェント型タスクが単純なチャット対話に比べて約 1,000 倍のトークンを消費することがあると測定しています。ステップ数とトークン数が増えるほど、小さなステップ単位の誤りがタスク全体の失敗率へと積み重なります。ベンチマーク上のハルシネーション率が 2% のモデルを 20 ステップのエージェントワークフローで使っても、タスク全体のエラー率が 2% に収まるわけではありません。

重要度の高い専門領域ほど、ハルシネーション率は高くなりやすい傾向があります。Stanford RegLab の法務分野の結果は、一般的な傾向を示しています。専門用語が多く、規制変更が頻繁で、長尾の事実が多い領域では、ハルシネーション率が上がりやすくなります。これは、金融サービス、通信、防衛、サプライチェーンなど、企業が AI を活用したい領域と重なります。そして、これらは誤回答のコストが最も高い領域でもあります。

さらに、業界で語られがちな「新しいモデルほどハルシネーションが減る」という安心材料とは逆の傾向もあります。より長く考え、より自律的に動くよう最適化された最新の推論モデルが、オープンドメインのテストでは前世代より高いハルシネーション率を示すことがあります。ハルシネーションが減っているように見えるリーダーボードと、増えているように見えるシステムカードは、どちらも正しい情報です。見ている問題の範囲が異なるのです。

ハルシネーション率の比較：参考表

評価コンテキスト	一般的なハルシネーション率	何が分かるか
根拠に基づく文書要約 (例: Vectara HHEM)	上位モデルでは 2% 未満	整った提供文書に対する忠実性
オープンドメインの事実 QA (例: OpenAI システムカード、2025 年 4 月の PersonQA)	16% (o1) ～ 33% (o3) 以上	ソースなしで学習データの記憶に基づく回答の信頼性
法務分野の問い合わせ、汎用モデル (Stanford RegLab、2024～2025 年)	69 ～ 88%	専門性が高く、リスクの大きい領域での精度
複数ステップのエージェント型ワークフロー	標準的なベンチマークはまだ存在しない	各ステップでリスクが積み重なるが、十分に測定されていない

最後の行は特に重要です。企業で導入が進んでいる自律型または半自律型エージェントは、成熟した公開 AI ハルシネーションのベンチマークがまだ存在しない領域です。エージェント基盤について「最も低いハルシネーション率」を示していると説明する場合、その数値は別のテストから引用されている可能性があります。

「どのモデルが最もハルシネーションしにくいか」は調達時の適切な問いではない

モデル選定は重要ですが、企業が改善できる要素の中では最も小さな領域です。少し厳しい見方をすると、ベンチマーク上のハルシネーション率が 4% のモデルから 2% のモデルに切り替えても、不完全な検索、エージェント処理でのエラー蓄積、古いソースデータ、回答の出所を証明できないという課題は解決しません。テストコース上の成績だけを最適化し、実際に走る道路はそのままになってしまいます。

より適切な問いは、「自社の AI 出力のうち、異議を唱えられた場合にどの程度の割合で説明・防御できるか」です。説明・防御できるとは、システムがどのソースに基づいて推論したのか、各ソースが回答にどの程度影響したのかを示せること、そして人が出力を追跡し、異議を申し立てられることを意味します。この視点は、次の 3 つの立場にとって重要です。

規制当局と監査人。EU AI 法の透明性に関する規定は 2026 年 8 月に施行予定で、トレーサビリティを示せない高リスクなシステムには最大 3,500 万ユーロ、または全世界売上高の 7% の制裁金が科される可能性があります。NIST の AI リスク管理フレームワークや OCC のモデルリスク管理ガイダンス (SR 11-7) も同じ方向性を示しています。これらはベンチマークのスコアではなく、出力が説明可能で、異議申し立て可能かを問います。
財務責任者。ハルシネーションを含む出力にも、通常どおりトークン料金が発生します。McKinsey の 2025 年 11 月の State of AI 調査では、約 88% の企業が AI を利用している一方で、大きな ROI を報告している企業は約 5.5% にとどまるとされています。自信を持って提示された誤回答に対して発生した費用を支払い、その確認のために人手をかけることは、明確なコストになります。一部のチームでは、これを cost per defensible output (CPDO)、つまり説明・防御可能な出力 1 件あたりのコストとして追跡しています。
運用担当者。出力が誤っていた場合、ソースレベルの可視性を持つチームであれば、不適切な文書を特定し、スコアを下げ、パイプラインを修正できます。ベンチマーク順位だけに依存するチームは、モデルを切り替えて結果が改善することを期待するしかありません。

代わりに評価すべきこと：購入者向けチェックリスト

本番環境での精度を重視する場合、モデル単体のリーダーボード順位だけでなく、モデルを取り巻くシステムのアーキテクチャを評価する必要があります。ベンダーとの会話では、次のチェックリストを活用できます。

プラットフォームは、すべての出力について、モデルがどのソース文書に基づいて推論したかを正確に示せますか？
各ソースが回答にどの程度影響したかをスコア化し、レビュー担当者が影響の大きいソースから確認できますか？
不適切なソースを削除、修正、または重み下げし、その変更が出力に与える影響を確認できますか？
エージェント型ワークフローについて、すべてのツール呼び出しと中間ステップを含む実行トレースを記録できますか？
コンプライアンス担当者、監査人、プログラムマネージャーなどの非技術者が、ノートブックを開かずに出力を追跡し、異議を申し立てられますか？
データ主権やセキュリティ要件が厳しいワークロードに対応するため、オンプレミスやエアギャップ環境を含む必要な環境で稼働できますか？
公開ベンチマークだけでなく、自社のデータとタスクでハルシネーション率と説明・防御可能性を測定できますか？

これは、Seekr が SeekrFlow で構築している、ソース制御型 AI の考え方です。外部の AI ハルシネーションベンチマークで順位付けされたブラックボックスとしてモデルを扱うのではなく、SeekrFlow を通して、各出力に影響した学習データやソース文書まで追跡できます。また、影響度スコアリングにより、レビュー担当者はどのデータが最も大きな重みを持っているかを確認でき、エージェント実行全体の監査証跡も保持できます。SeekrGuard は、デプロイ前のモデル評価と認証を追加します。これは、ハルシネーションがゼロになるという主張ではありません。実際の業務で発生するハルシネーションを可視化、測定、削減し、残る出力を説明・防御できるようにするためのアプローチです。

ハルシネーション率だけでなく、説明・防御可能性で AI プラットフォームを比較する方法

適切な問いが「どの AI システムが説明・防御可能な出力を生成できるか」であるなら、比較にはベンチマークのリーダーボードにはない評価表が必要です。検討中の各プラットフォームを、次の 5 つの機能レベルで評価します。レベル 1 とレベル 5 の差は、2 つのモデル間のベンチマーク上のハルシネーション率の差よりも、本番環境での精度をよく示します。

機能レベル	どのように見えるか	ハルシネーション対策として重要な理由
レベル 1：出力のみ	システムがソース情報なしで回答だけを返す	検証する方法がなく、すべての出力を人手で再調査する必要がある
レベル 2：引用	回答に、使用した取得文書の一覧が示される	改善はされるが、どのソースがどの主張に影響したかまでは分からない
レベル 3：出力単位のトレーサビリティ	各主張が、それを裏付ける具体的な箇所に紐づいている	レビュー担当者が短時間で検証でき、忠実性の問題が見えるようになる
レベル 4：影響度スコアリング	ソースが出力に与えた影響度に応じて順位付けされる	繰り返し発生する誤りの原因となる不適切なソースを特定し、修正できる
レベル 5：学習データの帰属	出力を、モデルの挙動に影響した学習データや QA ペアまで追跡できる	最も深い監査対応が可能になり、意思決定の根拠を求める規制当局への説明に役立つ

多くの企業向けツールは、レベル 1 またはレベル 2 にとどまります。検索拡張生成 (RAG) システムは、レベル 2 またはレベル 3 に到達できます。ガバナンスを前提に設計されたプラットフォームは、レベル 4 やレベル 5 に対応できます。購入者がベンダーに「あなたのスタックで最もハルシネーション率が低い AI はどれか」と尋ねる場合、より本質的な追加質問は、「1 つの出力について、どのソースがどの程度影響したのかを見せてください」です。レベル 2 のベンダーは、この問いに十分答えられません。監査人や CFO が実際に必要とするのは、リーダーボード上の順位ではなく、この説明能力です。

この比較を行う際の実務上のポイントは、自社データで検証することです。各ベンダーに、自社の実際の複雑で専門的な問い合わせを 5 件処理してもらい、それぞれの結果についてトレーサビリティを示してもらいます。公開ベンチマークでは高いスコアを出していても、自社の契約書リポジトリや請求データに対する回答を追跡できないプラットフォームは、テストコースの問題を解いているだけで、実際の道路の問題を解いているわけではありません。

ベンチマークが役立つ場面とアプローチの限界

ベンチマークが役に立たないわけではありません。モデルを最初に絞り込むためのフィルターとして、世代ごとの進歩を追う指標として、また提供文書の単純な要約のようにタスクがベンチマークに近い場合の参考値として有用です。用途が、人間のレビューを前提とした低リスクな社内ドラフト作成であれば、関連するベンチマークでハルシネーション率が最も低い AI モデルを出発点にするのは合理的です。また、完全なソース制御アーキテクチャまでは不要な場合もあります。

一方で、限界も正しく把握しておく必要があります。ソース制御型のアーキテクチャはハルシネーションを減らし、残ったものを追跡可能にしますが、どのシステムもハルシネーションを完全にはなくせません。特に重要度の高い意思決定では、人による検証が引き続き必要です。また、自社のハルシネーション率を測定するには、実際の業務クエリから内部評価セットを作成する必要があり、多くのチームが想定する以上の作業が発生します。ただし、ソースレベルのトレーサビリティがあれば、その作業は改善につながるフィードバックループになります。トレーサビリティがなければ、リーダーボードを見て推測するしかありません。

まとめ：最低ハルシネーション率は文脈とセットで考える

公開ベンチマークでは、タスクによって「最も低いハルシネーション率」のモデルが変わります。そして、その多くは、不完全な検索や複数ステップのエージェントを含む企業の本番ワークフローとは異なります。モデル選択は重要ですが、改善効果としては限定的です。より大きな効果を持つのは、すべての出力をソースまで追跡し、影響度をスコア化し、異議申し立てと修正を可能にするアーキテクチャです。調達チームは「どのモデルが最もハルシネーションしにくいか」よりも、「どれだけの出力を説明・防御できるか」を問うことで、より実務に即した判断ができます。

説明可能な AI 基盤の導入をご検討中の方へ

自社データを活用した生成 AI の精度、説明可能性、監査対応に課題を感じている場合は、SeekrFlow の活用をご検討ください。SeekrFlow は、信頼性の高い AI エージェントやアプリケーションの構築、検証、導入、運用を一元管理できるエンタープライズ向けプラットフォームです。出力の根拠となるデータやソースを可視化し、ハルシネーションのリスクを測定・低減しながら、説明・防御可能な AI 運用基盤の構築を支援します。

エクセルソフトは、SeekrFlow の正規代理店として、国内企業向けに製品デモ、POC 支援、お見積り、導入前後の日本語サポートを提供しています。自社のユースケースでどのようにハルシネーション対策や説明可能性を高められるか確認したい場合は、まずは製品ページをご覧いただくか、お問い合わせフォームよりお気軽にご相談ください。

製品概要はこちら

無料相談はこちら

この記事は、Seekr 社の Web サイトで公開されている「Which AI Has the Lowest Hallucination Rate? Why Benchmarks Don’t Tell the Full Story」の日本語参考訳です。原文は更新される可能性があります。原文と翻訳文の内容が異なる場合は原文を優先してください。