社内AIの構築方法｜社内資料で答えるAIの作り方と、使われなくなる理由

社内の規程やマニュアル、過去のトラブルの対応記録をAIに読ませて、社員の質問にその場で答えさせたい。ChatGPT などの生成AIを一通り試したあと、次の一手として社内AIの構築を考える方もいるのではないでしょうか。

ところが調べ始めると、「社内データを学習させる」「RAG」「ファインチューニング」といった言葉が並び、何から手を付ければよいのかが見えにくくなります。しかも、作った社内AIの答えが外れることが続くと、社員は前と同じように詳しい人へ聞きに行くようになり、AIは使われなくなってしまうことがあります。

先に結論をお伝えすると、社内資料で答えるAIは、AIに資料を学習させるのではなく、質問のたびに社内資料から該当する箇所を探し、その内容を根拠に答えさせる仕組みで作るのが基本です。少ない資料で試すだけなら、手元の生成AIに資料を渡すところから始められます。全社で使うには、資料の権限や更新の流れを別に決める必要があります。差が出るのは作った後で、答えられなかった質問を拾って資料を直し続けられるかどうかが、使われ続けるかを分けます。

この記事では、社内AIの仕組みと3つの作り方、構築の5つのステップ、生成AIが社内で使われなくなる理由とその防ぎ方を、当社が社内資料で答えるAI「相棒AI」を開発する中で考えてきたことを交えて解説します。

社内AIとは｜社内資料で答えるAIと、汎用の生成AIの違い

「社内AI」という言葉は、社員に使わせる生成AI全般を指すこともあれば、社内の資料をもとに答えるAIを指すこともあります。この記事で扱うのは後者の、社内資料で答えるAIです。

汎用の生成AIは、社内のことを知らない

ChatGPT や Gemini、Claude といった汎用の生成AIは、インターネット上の大量の文章から学んでいるので、一般的な質問には上手に答えます。一方で、自社の就業規則や製品の取扱説明書、取引先ごとの決まりごとのように社外に出ていない情報は知らず、聞かれるとそれらしい一般論で答えてしまうことがあります。そのため社内の質問にそのまま使うと、もっともらしいけれど自社のルールとは違う答えが返ってくることがあります。

「社内AI」と呼ばれるものの違い

社員から「これはどうすればいいですか」と聞かれることが多い部署や、ベテランに質問が集中している現場で役に立ちやすいのは、2つ目の社内資料で答えるAIです。

社内データでAIを学習させる方法はある？｜学習ではなく「資料を引いて答える」

社内AIについて調べると、「社内データをAIに学習させる」という言い方をよく見かけます。言葉としては分かりやすいのですが、社内資料で答えるAIを作るときにいま一般的なのは、資料をAIに学習させる方法ではなく、質問のたびに資料を引いて答えさせる方法です。

追加学習とRAGの違い

AIそのものに社内データを覚え込ませる方法を、追加学習（ファインチューニング）といいます。これに対して、質問が来るたびに社内資料を検索し、見つけた箇所をAIに渡して答えさせる方法を、RAG（検索拡張生成）と呼びます。

規程やマニュアルは、改定や担当者の交代で中身が変わっていくものです。資料を直せばすぐに答えが変わり、答えの根拠を元の資料で確かめられるという点で、社内資料で答えるAIにはRAGのほうが向いています。「社内データでAIを学習させたい」と考えたときは、まずRAGで実現できないかを考えるのが近道です。

RAGで答えるまでの流れ

RAGで答えるまでの流れは、「質問する」「社内資料から探す」「見つけた箇所をAIに渡す」「引用をつけて答える」の4つです。社員が質問すると、まず社内資料の中から質問に関係する箇所を探して、見つけた箇所をAIに渡します。AIはその箇所を根拠に答えを組み立て、どの資料のどこを使ったかを引用として添える作りにできます。引用が付いていても答えが正しいとは限らないので、引用元を開いて確かめられることが大切です。

この仕組みでは、答えの良し悪しはAIの賢さよりも、資料の中に答えが書いてあるか、それを探し当てられるかに大きく左右されます。社内AIの構築で手間がかかるのが、AIの設定よりも資料の側の準備になるのはそのためです。

社内AIの作り方｜3つの方法と選び方

社内資料で答えるAIの作り方は、大きく3つに分けられます。どれが正解というより、扱う資料の量と、社外に出してよい情報かどうか、作った後に誰が面倒を見るかで選びます。

汎用の生成AIに資料を添付して聞く

いちばん手軽なのは、ChatGPT や Claude などの汎用の生成AIに、規程やマニュアルのファイルを添付して質問する方法です。追加の準備がいらず今日から試せる一方で、資料を毎回渡す必要があり、一度に渡せる量にも限りがあります。個人で試すには十分ですが、社員みんなが同じ資料から答えを得る仕組みにはなりません。

資料を登録して答える道具を使う

Google の NotebookLM のように、資料を登録しておくと、その資料だけをもとに引用をつけて答える道具もあります。Gemini の Gem のように、指示と資料をまとめて登録しておける機能もあり、規程を読ませて答えさせるだけなら、こうした道具で短い時間で形にできます。部署の中で試したり、どんな質問が来るかを確かめたりするには、ここから始めるのが手早い方法です。

自社の環境に組む・専用のサービスを使う

資料が数百、数千と多い場合や、部署ごとに見せてよい資料を分けたい場合、社外に出せない情報を扱う場合は、自社のクラウドの中にRAGを組むか、社内資料で答えるAIの専用のサービスを使います。資料の取り込み、検索の精度、利用者ごとの権限、質問の記録までを自社に合わせられる反面、作った後に資料と答えの面倒を見る人と費用が必要になります。

どの方法を選ぶ場合も、当社は、道具の機能の細かな違いより、作った後に「何が聞かれ、何に答えられなかったか」を見られるかどうかを重く見ています。その理由は、後半の「生成AIが社内で使われない理由」で説明します。

社内AIを構築する5ステップ

ここからは、社内資料で答えるAIを作るときの進め方を、5つのステップで説明します。どの作り方を選んでも、順番は変わりません。

1. 答えさせる範囲を決める

最初に、どの部署の、どんな質問に答えさせるかを決めます。「社内のことなら何でも」と広げると資料が集まりきらず、答えられない質問ばかりが増えてしまうので、総務の規程の問い合わせや、取扱説明書を見ながらの設備のトラブル対応のように、聞く人と質問の種類がはっきりした場面から始めると進めやすくなります。

2. 資料を集めて整える

範囲が決まったら、その質問に答えるための資料を、規程やマニュアル、取扱説明書、よくある質問の一覧、過去のトラブルの対応記録などから集めます。集めたら同じ資料の古い版を外し、どれが最新かを分かるようにしておきます。古い版が混ざっていると、AIが古い手順を根拠に答えてしまうことがあるからです。

紙をスキャンしただけのPDFは、文字として読み取れずに検索で見つからないことがあるので、よく聞かれる資料は文字を読み取れる形にしておくと安心です。そもそも資料が社内にまとまっていない場合は、社内Wikiなどに集めるところから始める方法もあります。進め方は「社内Wikiを無料で作る方法4ステップで解説」の記事で紹介しています。

3. 名前の言い換えと優先する資料を決める

社内では、同じものを部署や人によって違う名前で呼んでいることがあります。製品の愛称と型番、古い部署名と新しい部署名のような言い換えを決めておかないと、AIは質問と資料をうまく結び付けられません。

同じ内容が複数の資料に書かれていて食い違うときに、どちらを優先するかも先に決めておきます。当社の相棒AIでは、こうした決まりを「ルールブック」として登録しています。「商品名A＝型番B（同じものを指す）」といった名前の対応のほか、優先する資料、資料の新旧の関係、答えずに担当の窓口を案内する場合の考え方などを、AIが答えるときの決まりとして渡しています。

4. 小さく試して、答えられなかった質問を見る

準備ができたら、範囲を決めた部署の数人で試します。このとき見るのは、正しく答えられた数よりも、答えられなかった質問と、答えが外れた質問です。答えられなかった理由を、資料に書かれていない、書かれているが古い、言い換えが足りず探し当てられない、のように分けておくと、どこを直せばよいかが分かります。

5. 資料を直す人と流れを決めてから広げる

試して見つかった抜けを直したら、使う部署を広げます。その前に、答えられなかった質問を誰が見て、どの資料を誰が直すのかを決めておきます。ここを決めずに全社に広げると、答えられない質問が積み上がったまま放置され、次の章で説明する「使われない社内AI」になりやすくなります。

社内の情報をAIに渡すときの注意

社内の資料をAIに渡すときは、入力した内容がAIの学習やサービスの改善に使われない設定や契約になっているかを、先に確かめてください。顧客の情報や契約の金額、人事の情報など、社外に出してはいけない資料は、資料の重要度に合わせて使うAIの環境を選ぶのが基本です。選び方は「生成AIに機密情報を学習させない方法」の記事で詳しく解説しています。

あわせて、部署や役職によって見せてよい資料が違う場合は、AIが答えに使う資料も利用者ごとに分ける必要があります。誰が聞いても同じ資料から答えが返る作りにすると、本来は見られないはずの規程や記録の中身が、AIの答えを通して見えてしまうおそれがあるためです。

生成AIが社内で使われない理由｜答えられない質問が放置される

生成AIが社内で使われない理由としては、使い道が分からない、使い方を覚える時間がない、といった点がよく挙げられます。社内資料で答えるAIの場合は、これに加えて、答えられなかった質問が放置されることが、使われなくなる大きなきっかけになると当社は考えています。

外れた答えが続くと、元の聞き方に戻る

社員が社内AIに質問して、「資料が見当たりません」と返ってきたり、古い手順で答えられたりすることが何度か続くと、次からは前と同じように詳しい人へ直接聞くようになります。AIに聞いて外れるより、最初から人に聞いたほうが早いと感じるからです。こうして使われる回数が減ると、管理する側もAIを見直すきっかけを失い、資料は直されないまま止まってしまいます。

答えられなかった質問から、足りない資料や探し方の問題が見える

見方を変えると、答えられなかった質問は、社内で文書になっていない知識や、古くなった資料、探し方の問題のありかを教えてくれる一覧です。どれに当たるかを確かめてから直し、直したあとに同じ質問をして、答えと引用が変わったかを見ます。

たとえば、こういう場面を考えてみます。工場の設備である警告が出たときの対処を聞かれて答えられず、調べてみると、その対処は取扱説明書には書かれておらず、ベテランの保全担当者だけが知っていた、という場面です。この質問が記録に残っていれば、その担当者に聞いて資料に足すことで、次からはAIが答えられる見込みが立ちます。

答えられない質問を放置すると、答えが外れる、人に聞きに戻る、使われなくなる、の順に利用が細っていきます。反対に答えられない質問を拾えば、答えられなかった質問が残る、資料を足して直す、次から答えられる、という流れが回り始めます。

資料を直す人と流れを決めておく

社内AIを使われ続けるものにするには、答えられなかった質問を定期的に見て、資料を足したり直したりする人と流れを決めておくことが大切です。社内Wikiやマニュアルが更新されなくなるのと同じで、更新を誰の仕事にするかが決まっていなければ、資料は少しずつ古くなっていきます。

当社の相棒AIの作り｜引用・地図・ルールブック・聞き取り

当社は、社内資料で答えるAI「相棒AI」を開発しています。ここまでに書いた考え方を、実際の作りの中でどう形にしているかを紹介します。

引用をつけて答え、資料にない引用は出さない

画面はデモ用の資料で作った例です。設備の警告が出たときの対処を聞かれ、取扱説明書と設備トラブルの対応記録の2つの資料から、使ったページと元の文を引用として並べて答えています。

相棒AIは、答えに使った資料の箇所を引用として示し、資料に書かれていない引用を出さないように、答えと元の資料を照らし合わせています。社員は答えを読んだあとに元の資料を開いて確かめられるので、AIの答えをうのみにせずに使えます。

地図とルールブックで、答え方をそろえる

相棒AIには、どの話題がどの資料のどこに書いてあるかをまとめた「地図」と、ステップ3で触れた名前の対応や優先する資料などの決まりをまとめた「ルールブック」があります。AIは答えるときにこの地図とルールブックも一緒に受け取り、それに沿って答えます。資料では答えずに担当の窓口を案内すると決めた話題も、地図の中で決めておけます。

答えられなかった質問を残し、知っている人に聞き取る

相棒AIは、答えられなかった質問を「懸案」として残します。管理する人は、何が聞かれ、何に答えられなかったかを見られるので、足りない資料や古い資料のありかを日頃から把握できます。

その懸案を埋めるために当社が開発中の仕組みが「Knowledge Hub」です。残った懸案をもとに、答えを知っている人にAIが質問して聞き取り、内容を確かめて承認したうえで、社内の文書として相棒AIに加えます。

流れは、社員が質問する、引用をつけて答える、答えられなかった質問を懸案に残す、知っている人にAIが聞き取る、確かめて文書に加える、の5つで、文書に加えた内容は次の質問から答えに使われます。書いてもらうより聞いて残すほうが、本人が当たり前だと思っている判断まで出てきやすいと考えて、この形にしています。

社内資料で答えるAIの作り方を相談する

社内AIの構築でよくある質問

社内で使えるAIには、どんなものがある？

文章の下書きや要約に使う汎用の生成AI（法人向けのプラン）、社内の資料をもとに答えるAI、決まった作業を代わりに進めるAIエージェントの3つに分けて考えると整理しやすくなります。社内の問い合わせを減らしたい、ベテランへの質問の集中を和らげたいという目的なら、社内資料で答えるAIが合います。

無料で作れる？

個人で試すだけなら、無料で使える生成AIや、資料を登録して答える道具で始められます。ただし、無料のプランでは入力した内容がサービスの改善に使われる設定になっていることがあるので、社内の資料を入れる前に設定と利用規約を確かめてください。部署で使う段階になったら、権限の管理や質問の記録ができる環境を検討します。

資料はどれくらいそろってから始めればいい？

すべての資料がそろうのを待つ必要はありません。答えさせる範囲を1つに絞り、その範囲の資料が手元にあれば始められます。試してみて答えられなかった質問から足りない資料が見えてくるので、そこから足していくほうが、最初から完璧に集めようとするより早く形になります。

まとめ｜社内AIの構築は、答えられない質問を拾う仕組みまでがセット

社内資料で答えるAIは、社内データを学習させるのではなく、質問のたびに資料を探して引用つきで答えるRAGの仕組みで作るのが基本です。作ること自体は手軽になりましたが、使われ続けるかどうかは、答えられなかった質問を拾って資料を直し続けられるかにかかっています。

• 社内資料で答えるAIは、学習ではなく「資料を引いて答える」仕組みで作る
• 作り方は、資料の添付・資料を登録する道具・自社の環境や専用のサービスの3つから、資料の量と情報の重要度で選ぶ
• 答えさせる範囲を絞り、資料を整え、名前の言い換えと優先する資料を決めてから試す
• 答えられなかった質問を、資料や探し方を直す手がかりとして見て、直す人と流れを決めておく

まずは問い合わせの多い部署を1つ選び、その部署の資料で小さく試すところから始めてみてください。

自社の資料で答える社内AIについて相談する