ローカルLLMの導入ガイド｜社内に置くAIが向く場面と、必要な機械・運用・進め方

生成AIを業務に使いたいものの、設計図や顧客の情報、まだ発表していない計画のように、社外のサービスへ送れない情報が多いため、話が先に進まない会社があります。そこで候補に挙がるのが、自社のサーバーや閉じたネットワークの中でAIを動かす「ローカルLLM」です。

ただ、「社内に置けば安全」という理由だけで進めると、機械をそろえたあとで、思ったほど答えが良くない、直せる人がいない、という所で止まりやすくなります。この記事では、クラウドの生成AIとの違い、向く場面と向かない場面、必要な機械と運用、進め方、気をつける点を順に整理します。

先に決めるべきなのは、「何を外に出せないか」です。外に出せない情報の範囲が決まれば、すべてを社内に置くのか、その部分だけを社内に置き、ほかはクラウドの生成AIを使うのかが決まり、機械の大きさや運用の重さも見積もれるようになります。

ローカルLLMとは。クラウドの生成AIとの違い

ローカルLLMは、公開されている言語モデル（重みが配られているモデル）を、自社のパソコンやサーバー、データセンターの中で動かす使い方です。ChatGPT や Claude のようなクラウドの生成AIでは、入力した文章が提供元のサーバーへ送られて処理されますが、ローカルLLMでは処理が社内で終わります。

クラウドの生成AIでも、法人向けの契約では入力を学習に使わない設定が選べることが多く、外に出せない情報の多くはそれで足りる場合があります。学習に使われない設定の考え方は、生成AIに機密情報を学習させない方法で詳しく書いています。ローカルLLMが要るのは、学習に使われないだけでは足りず、社外へ送ること自体が取り決めや社内の規程で許されない情報を扱うときです。

ローカルLLMが向く場面、向かない場面

向くかどうかは、会社全体ではなく、扱うデータの種類ごとに考えると判断しやすくなります。社外へ送れない情報を扱う作業はローカルLLMに、それ以外はクラウドの生成AIに、というように分けて使う形も取れます。

社内の資料を読ませて答えさせる仕組み（RAG）は、ローカルLLMでも組めます。ただ、どの資料を読ませるか、答えられなかった質問をどう拾って資料を直すかといった肝心な所は、モデルを社内に置くかどうかとは別に決める必要があります。仕組みの作り方は社内資料で答えるAIの作り方にまとめました。

当社が自社で開発・運用している相棒AIは、回答の生成に Anthropic の Claude、検索の補助に OpenAI の埋め込みモデルと、クラウドのモデルを使っています。社内の資料で答えるAIであっても、扱う資料が社外に送ってよいものであれば、クラウドのモデルで十分に組めるというのが、自社で運用している立場からの見方です。

社内に置くために必要な機械と運用

機械の目安

必要な機械は、動かすモデルの大きさでほぼ決まります。たとえば OpenAI が2025年に公開したモデル gpt-oss は、公式の説明によると、大きい方の gpt-oss-120b は80GBのGPU 1枚で、小さい方の gpt-oss-20b は16GBのメモリで動くように作られています（出典: OpenAI gpt-oss-120b のモデルカード（Hugging Face）、Hugging Face による紹介）。

この数字は、1人が動かして答えが返る最低限の目安です。社内の何十人が同時に使う、長い資料を一度に読ませる、といった使い方では、必要な機械はさらに大きくなります。機械を買う前に、同時に使う人数と、1回に読ませる資料の長さを決めておくと、買いすぎも足りなさも避けやすくなります。

置いたあとに要る運用

ローカルLLMでは、クラウドの生成AIなら提供元が受け持つ作業を、自社か委託先が受け持つことになります。新しいモデルが出たときの入れ替え、機械や部品の故障への対応、使える人の権限の管理、利用の記録の保管などで、作ったあとも直し続ける人がいないと、少しずつ古く使いにくくなっていきます。

作った人が異動して誰も触れなくなる、という止まり方は、ローカルLLMに限らず社内で作った仕組みによく起きます。外注先や前任者が作った仕組みを受け継ぐときの考え方は、他社が作ったシステムの引き継ぎで書いています。

ローカルLLM導入の進め方

1つ目は、外に出せない情報の範囲を決めることです。情報システムの担当だけで決めず、取引先との取り決めや社内の規程を持つ部署と一緒に確かめると、あとで範囲が変わって作り直す事態を避けられます。

2つ目と3つ目は、使う作業を1つに絞り、手元のパソコンや小さなサーバーで試すことです。小さなモデルで、実際の資料を使って答えの質を見れば、そのモデルで足りるのか、大きなモデルが要るのかの見当が付きます。

4つ目では、試した結果をもとに、答えの質が業務に足りるか、同時に何人が使うかを確かめます。最後に、機械の大きさと、誰がどう保守するかを決めてから広げます。試したまま止まってしまったAIを動かし直すときの考え方は、PoC止まりのAIを立て直すにはにまとめています。

費用の考え方は、機械を買うかどうかで大きく変わります。AI導入の費用の見方はAI導入の費用で整理しました。

ローカルLLM導入で気をつけること

1つ目は、モデルの使い方の条件です。公開されているモデルにも、それぞれ使い方の条件（ライセンス）があり、商用で使えるか、改変してよいかはモデルごとに違います。gpt-oss は Apache 2.0 のライセンスで公開されていますが（出典: 上のモデルカード）、ほかのモデルを使うときも、必ず提供元の条件を確かめてください。

2つ目は、答えの質への期待です。社内の機械で動く大きさのモデルは、クラウドの最新の大きなモデルと比べると、難しい推論や長い文章で差が出ることがあります。実際の資料と質問で試し、業務に足りるかを確かめてから広げると、導入後の「思ったほどではない」を減らせます。

3つ目は、社内に置いても情報の扱いの決まりは要るという点です。社内で処理が終わっても、AIが誰でも見られる形で答えれば、本来は見られない人に情報が届いてしまいます。誰がどの資料を読めるかという権限を、AIの答えにも反映させる設計が必要です。

まとめ

• ローカルLLMは、外に出せない情報を社内で処理するための選択肢
• 先に「何を外に出せないか」を決めると、置く範囲と機械の大きさが決まる
• 学習に使われない設定のクラウドの生成AIで足りる場面も多い
• 機械はモデルの大きさ・同時に使う人数・読ませる資料の長さで決まる
• 置いたあとの更新・故障対応・権限の管理を受け持つ人を先に決める

ローカルLLMを考え始めたら、まず社内で外に出せない情報の一覧を作り、それを扱う作業を1つ選んで小さく試すところから始めるのがおすすめです。当社のAIソリューション開発では、外に出せない情報を扱うときに、社内のサーバーで動くAIで作ることもできます。扱うデータの範囲は、ご相談のときに一緒に決めます。

AIソリューション開発について詳しく見る