AIの間違い（ハルシネーション）はなぜ起きる？業務で見抜く5つの確かめ方と、引用つきで答える仕組み

ChatGPTに聞いた答えをそのまま資料に貼ったら、存在しない数字や制度が混ざっていた。そんな経験から、「AIは間違えるから仕事には使えない」と感じている方もいるのではないでしょうか。一方で、社員はすでにAIを使い始めていて、使うなとも言いにくいのが実情です。

困るのは、AIの間違いが「いかにも正しそうな文」で出てくることです。言い切りの口調も、整った文の形も、正しい答えのときと変わらないため、読む側が気づくきっかけがありません。

AIの間違いは、ゼロにはできませんが、表に出す仕組みと確かめる手順で業務の中では扱えるものになります。この記事では、AIがなぜ間違えるのかを開発元の説明をもとに整理したうえで、業務で見抜く5つの確かめ方と、社内資料で答えるAIを作る中で当社が採っている「引用つきで答える」作りを紹介します。

AIはなぜ間違えるのか

生成AIが事実と違う内容をもっともらしく出すことを、ハルシネーション（幻覚）と呼びます。セキュリティの団体OWASPが大規模言語モデルの主なリスクをまとめた一覧（OWASP Top 10 for LLM Applications 2025）でも、「LLM09:2025 Misinformation（誤情報）」として、信頼できそうに見える誤った情報を出すことが挙げられ、その大きな原因がハルシネーションだと説明されています。

次に来る言葉を確率で選んでいる

生成AIは、それまでの文の流れから、次に来そうな言葉を選んで文を作っています。調べた事実を読み上げているわけではないため、文としては自然でも、中身が事実と合っているとは限りません。特に、人名や日付、細かい数字のように、文の流れからは決まらず一つずつ覚えておくしかない事柄で外れやすくなります。

「分からない」と言うより、当てずっぽうが得になる

ChatGPTを提供するOpenAIは、2025年9月5日に公開した「Why language models hallucinate（言語モデルはなぜハルシネーションを起こすのか）」で、AIの性能を測る試験の多くが正答の数だけを数えるため、「分からない」と答えるより推測で答えたほうが点が上がる仕組みになっていることを、原因の一つに挙げています。

同じ文書には、短い事実を問う試験（SimpleQA）での比べが載っています。答えを控えた割合が52%のモデル（gpt-5-thinking-mini）は正答22%・誤答26%で、ほとんど答えを控えないモデル（o4-mini）は控えた割合1%・正答24%・誤答75%でした。正答の差は2ポイントしかないのに、誤答は約3倍違います。「何でも答えるAI」ほど、間違いも多く出すということです。

知らない・古い・渡されていない

AIは学習した時点より新しいことを知りませんし、会社の中の決まりや取引の条件は、そもそも学習していません。それでも質問されると、一般論や似た話から答えを組み立ててしまいます。社内の質問に一般向けのAIが外れやすいのは、AIの性能より、答えの元になる資料を渡していないことのほうが大きな理由です。

間違いが起きやすい質問

ハルシネーションは、どの質問でも同じように起きるわけではありません。次のような質問では特に気をつけたほうがよいでしょう。

反対に、文の言い換えや要約、たたき台の作成のように、答えの元が手元にあって、人がすぐ見比べられる使い方では、間違いに気づきやすく、被害も小さく済みます。どの業務でAIを使ってよいかを決めるときは、この「元が手元にあるか」と「間違えたときに誰が困るか」の2つで分けると整理しやすくなります。

業務で見抜く5つの確かめ方

AIの答えを使う前に、次の5つを確かめる習慣を付けておくと、間違いの多くは業務に入る前に止められます。

1. 根拠を出させ、元を開く

「どの資料の、どこに書いてあるか」を答えに付けさせ、実際にその元を開いて読みます。根拠を示せない答えや、開いてみたら書いていない答えは、その時点で使いません。根拠の題そのものが作られていることもあるため、題だけ見て安心せず、中身まで確かめることが大切です。

2. 数字と固有名詞だけは必ず突き合わせる

全文を確かめる時間は取れなくても、数字・日付・金額・人名・条文の番号だけは元と突き合わせます。間違いが起きやすい所に確かめを絞ると、手間を抑えながら被害の大きい間違いを止められます。

3. 「分からなければ分からないと答えて」と頼む

質問の最後に「資料に無い場合は、無いと答えてください」と書き足すだけでも、推測で埋める答えは減ります。上で見たように、AIは放っておくと当てずっぽうで答えるほうに寄りやすいため、控えてよいと先に伝えておくことに意味があります。

4. 聞き方を変えて、もう一度聞く

同じ内容を言い方を変えて聞いたり、新しい会話で聞き直したりして、答えが揺れないかを見ます。答えが毎回変わる事柄は、AIが確かな根拠を持っていない可能性が高いと考えられます。

5. 社外に出す前に、人が読む

顧客への回答、社外向けの資料、契約や法令にかかわる判断は、AIの答えをそのまま出さず、担当者が読んでから出すと決めておきます。誰が読んで、何を確かめたかを残しておくと、あとで問題が起きたときに説明できます。

OWASPの一覧でも、誤情報への対策として、外部の資料を検索して答える仕組み（RAG）や、人による確認、自動の検証、利用者にリスクを伝える画面の作りなどが並んでいます。上の5つは、そのうち利用者の側でできることを、毎日の業務の手順にしたものです。

仕組みで防ぐ：引用つきで答えるAIの作り

一人ひとりの確かめに頼るだけでは、忙しいときほど抜けが出ます。社内でAIを使う場面が増えてきたら、間違いが起きにくく、起きても表に出る作りのAIを用意するのが近道です。考え方は 社内AIの構築方法 や ローカルLLMでRAGを組む でも紹介していますが、ここでは当社が提供する相棒AIで採っている作りを、間違いへの備えという面から説明します。

資料の「地図」をたどって、原本を読んで答える

相棒AIでは、どの事柄がどの資料の何ページにあるかをまとめた「地図」と、答え方の「ルールブック」を、先にAIへ渡します。AIは地図をたどって原本のページを読み、資料名と在り処と原文を並べた引用つきの決まった形で答えます。回答の文を作るのはAnthropicのClaude、資料を探す補助にはOpenAIの埋め込みのモデルを使っています。

引用が残らなければ「見当たらない」と返す

答えの中に引用が1件も残らなかったときは、AIの文を出さず、「見当たらない」の定型文を返す作りにしています。また、結論にある数値が引用の原文で確かめられなかったときは、「結論の数値は引用の原文で確認できませんでした。原本をご確認ください。」という注記を付けます。間違いをゼロにするのではなく、根拠の無い答えを「答え」として出さないことに重点を置いています。

当社の試し：50問でどうなったか

この答え方で、ある製造業の会社の資料をもとに作った50問を流した結果があります（2026年11月、当社の試験の環境、答えを作るAIは Claude の軽いモデル）。50問の答えの内訳は、回答48・聞き返し1・見当たらない1でした。答えに含まれるべき語を決めてあった36問のうち、語がすべて入ったのは34問です。

見当たらないと返した1問は、ある部品の交換費用を聞いたもので、資料に金額が書かれていませんでした。一般向けのAIなら相場らしい金額を答えてしまいかねない質問で、資料に無いことをそのまま返したことになります。一方で、「どちらの機器か」を聞き返した問いのように、質問があいまいなときに確かめに回る動きもありました。試しは1社分の資料・1回の結果で、どの資料でも同じ数字になるとは限りません。

答えられなかった質問を、資料を直す材料にする

見当たらないと返した質問や、利用者が「数値が違う」「引用が違う」と上げた答えは、管理の画面に懸案として集まります。資料に無かったのか、地図が古かったのかを見分けて資料や地図を直すことで、同じ質問に答えられるようになります。答えられなかった質問から足りない知識を見つける考え方は、属人化を解消する手順と事例 でも紹介しています。

あわせて読みたい：Copilotが使えないと感じる理由と見直し方、社内ポータルとは？「探せない」が残る理由と作り方

社内資料をもとに、引用つきで答えるAIを試してみたい方はご相談ください。

社内で決めておくこと

仕組みを整えても、AIの答えを最後に使うのは人です。社内では、少なくとも次の3つを決めておくとよいでしょう。

• AIの答えをそのまま社外に出してよい業務と、人が確かめてから出す業務の区分
• 確かめる人と、確かめたことの残し方
• 間違いに気づいたときの報告先と、同じ間違いを繰り返さないための直し方

AIの答えを使って起きた問題の責任は、AIではなく、それを使うと決めた会社と担当者にかかります。OWASPの一覧でも、航空会社のチャットボットが誤った案内をし、会社が訴えられて責任を問われた例が紹介されています。社内のルールの作り方は 生成AIの社内ルールの作り方 に、ひな型つきでまとめています。入力した情報の扱いが気になる場合は、ChatGPT・生成AIの情報漏洩はなぜ起きる？ もあわせてご覧ください。

まとめ

AIが間違えるのは、次に来る言葉を確率で選んでいること、分からないときも推測で答えるほうに寄りやすいこと、会社の資料を知らないことが重なるためです。ゼロにはできないため、業務では次のように扱います。

• 数字・制度・固有名詞・社内の決まりの質問は、特に気をつける
• 根拠を出させて元を開き、数字と固有名詞は必ず突き合わせる
• 「分からなければ分からないと答えて」と頼み、聞き方を変えて揺れを見る
• 社外に出す前に人が読むと決め、確かめたことを残す
• 社内で広く使うなら、引用つきで答え、根拠が無ければ「見当たらない」と返す作りにする

当社では、社内資料をもとに引用つきで答える「相棒AI」を提供しています。今の業務のどこでAIを使えそうか、間違いが困る所はどこかを整理するところからご相談いただけます。