ローカルLLMの構築手順｜Ollama・LM Studioで試してから社内で運用するまで

ローカルLLMの構築を調べると、Ollama や LM Studio を入れてモデルを動かすまでの手順はたくさん見つかり、担当者のパソコンで動かすところまでは、道具の案内に沿って進められます。

止まりやすいのはその先で、同僚に使ってもらおうとした時点で、どのパソコンからつなぐのか、誰が何を聞いたかを残すのか、モデルを誰が入れ替えるのか、といった決め事が一度に出てきます。この記事では、道具で試す段と、社内で使い続ける段を分けて、それぞれの手順と決めることを整理します。

構築は「動かす」で終わりではなく、権限・記録・更新の担当を決めて初めて社内の仕組みになります。ローカルLLMがそもそも自社に向くか、どのくらいの機械が要るかは、ローカルLLMの導入ガイドで先に整理しています。

ローカルLLMの構築は「動かす」と「社内で使い続ける」の2段

ローカルLLMの構築は、1台で動かして答えの質を確かめる段と、社内の人が使える形にして保守し続ける段に分かれます。前の段は道具の使い方が中心で、後の段は担当と決まりが中心になるため、必要な人も時間のかかり方も違います。

構築の前に決める3つ

1つ目は、扱うデータです。社外に送れない情報の範囲が決まっていないと、クラウドの生成AIで足りる作業までローカルLLMで抱えることになります。範囲の決め方は、生成AI全体の決まりと合わせて考えると無駄がなく、生成AIの社内ルールの作り方が下敷きになります。

2つ目は、使う人数です。担当者が1人で使うのか、部署の数人が1台を共有するのかで、置く機械と公開の設定が変わります。

3つ目は、担当です。モデルの入れ替え、止まったときの対応、利用の記録の確認を誰が受け持つかを、構築を始める前に決めておきます。構築した1人しか設定を知らない状態は、その人が異動した時点で止まる仕組みになります。

試す段：Ollama・LM Studioの役割と選び方

試す段でよく使われるのが Ollama と LM Studio です。どちらも、公開されている言語モデルを手元の機械に取り込み、会話やほかのアプリからの呼び出しに使えるようにする道具です。

Ollama

Ollama は、macOS・Windows・Linux で動き、MIT ライセンスで公開されています（出典: Ollama の GitHub）。コマンドやアプリからモデルを取り込んで動かし、ほかのアプリからは API（ポート 11434）で呼び出せます。サーバーとして据え置き、後から社員向けの画面をつなぐ使い方に向いています。

LM Studio

LM Studio は、画面からモデルを探して取り込み、そのまま会話を試せるアプリです。2025年7月から、会社での利用も無料になりました（出典: LM Studio の発表）。同じ発表では、SSO や使えるモデルの制限が要る会社向けに Enterprise の契約があるとしています。画面で試しながらモデルを比べたい担当者に向いています。

社員向けの画面

Ollama や LM Studio だけでは、社員がブラウザから使う画面や、利用者ごとのアカウントは用意されません。そこで、Open WebUI のような画面の道具を前に置く形がよく取られます。Open WebUI は v0.6.6 以降、名前の表示を消したり変えたりすることを制限する条件が付き、30日間の利用者が50人以下などの例外があります（出典: Open WebUI のライセンスの説明）。自社の名前に差し替えて配る予定があるなら、先に条件を確かめてください。

試す段の手順

1. 扱ってよい資料を1つの作業分だけ選びます（社外に送れないものを含めるかは、上で決めた範囲に従います）。

2. 担当者の1台に Ollama か LM Studio を入れ、小さめのモデルを1つ取り込みます。どの大きさのモデルが手元の機械で動くかは、ローカルLLMの導入ガイドの機械の目安を見てください。

3. 実際の資料と、業務で本当に出る質問を10〜20個ほど用意し、答えを記録します。

4. 答えが業務に足りるか、同時に何人で使うかを見て、運用する段に進むかを決めます。

社内の資料を読ませて答えさせる（RAG）ところまで試すなら、資料の選び方や答えられなかった質問の拾い方も一緒に見る必要があります。その考え方は社内資料で答えるAIの作り方にまとめました。当社も同じ手順で、Mac mini（M5 Pro・メモリ64GB）に Ollama 0.40.0 を入れて試しました（2026年10月）。当社の試験用データ（社内資料7点・108問）で、相棒AIの答え方をそのままローカルのモデルに替えると、Qwen3.6 で108問中60〜66問が合格でした。コードで資料を探してから上位6ページだけを渡し、1回で答えさせる形に作り直し、取りこぼした問を Gemma 4 で答え直す二段にすると、94問（87%）まで上がり、待ち時間は平均15秒でした。どれも1回ずつの測定で、揺れの幅は測っていません。

製造業の顧客の、英語・ドイツ語を含む取扱説明書9本を日本語に整えさせた試験では、モデルだけに任せると型番や数値が落ちたり、作り話が混じったりしました。モデルには日本語の文だけを書かせ、型番と数値を原文とプログラムで照合し、落ちた所だけやり直す仕組みを足したところ、型番・数値が残った割合は0.99になりました（同じ数え方で Claude Sonnet は0.83）。ローカルのモデルは、物知りとして使うより、渡した資料を処理させ、仕組みで確かめる使い方が向くというのが、試した当社の見方です。

ほかのアプリから呼ぶときの注意も1つ見つかりました。Ollama 0.40.0 では、決まった道具（関数）を必ず使わせる指定（tool_choice）が守られず、文章だけの返事で終わることがあり、当社の試験では求め直す処理を足して1問ごとに1〜2回やり直させました。数字はあくまで当社の資料と機械での結果なので、答えの質は必ず自社の資料と質問で確かめてください。

社内に公開するときの設定

試す段を終えて同僚にも使ってもらう段になると、まず公開の設定が要ります。ここは便利さより先に、誰がつなげるかを決めてから変えるのが安全です。

1つ目は、つなぎ先を開く範囲です。Ollama は初期の状態では、その機械の中から（127.0.0.1 のポート 11434）しかつなげず、社内のほかの機械に開くには OLLAMA_HOST という設定を変えます（出典: Ollama の FAQ）。LM Studio にも、同じネットワークのほかの機械からつなげるようにする「Serve on Local Network」の設定があります（出典: LM Studio のサーバーの設定）。

2つ目は、認証です。LM Studio には、API を呼ぶ側に合言葉（API トークン）を求める「Require Authentication」の設定があります（出典: 同上）。Ollama の FAQ には認証の説明が無いため、社内に開くときは、前に置く画面の道具や社内のネットワークの仕組みで、つなげる人を絞る設計にします。

3つ目は、クラウド機能の扱いです。Ollama にはクラウドで動くモデルやウェブ検索の機能があり、OLLAMA_NO_CLOUD=1 などの設定で切れます（出典: Ollama の FAQ）。社外に送らないことが目的なら、知らないうちにクラウドのモデルを選んでいた、ということが起きないよう、切った状態を既定にしておくと安心です。前に置く画面の道具にも、外へ通信する機能があります。Open WebUI にはWeb検索の機能があり、有効にすると検索の質問が外部の検索サービスへ送られます。当社が試した機械では、この機能を設定しておらず、無効のままでした（2026年10月に確認）。社外に送らないことが目的なら、モデルだけでなく画面の道具の設定も確かめます。

社内で運用するために決めること

公開したあとは、クラウドの生成AIなら提供元が受け持つ作業を、自社か委託先が受け持ちます。次の4つは、担当の名前まで決めておきます。

権限は、社内の資料を読ませる場合に特に大事です。社内で処理が終わっても、AIが誰にでも同じ答えを返せば、資料の閲覧の権限を飛び越えてしまいます。資料ごとの見られる人を、AIの答えにも引き継ぐ設計にします。

記録は、Ollama や LM Studio そのものより、前に置く画面の道具や間に置く仕組みで取る形を考えます。何を残すかは、生成AIの社内ルールで決めた入力の決まりと合わせます。

更新は、モデルを入れ替える前に、試す段で使った質問で答えを比べてから切り替える手順にしておくと、入れ替えのたびに答えが変わって現場が戸惑う事態を避けられます。

担当者の1台から部署の共有までの広げ方

広げるときは、一度に全社へ出さず、使う人を段階的に増やすと、決め事の抜けに早く気づけます。

1段目は担当者の1台で答えの質を確かめ、2段目は数人に使ってもらって、質問の傾向と困りごとを集めます。3段目で部署の共有の機械に移すときに、公開の設定と、権限・記録・更新・止まったときの担当をそろえます。試したまま止まってしまったAIを動かし直すときの考え方は、PoC止まりのAIを立て直すにはにまとめています。

よくある止まり方

1つ目は、設定を知っているのが構築した1人だけ、という状態です。公開の設定、取り込んだモデル、前に置いた画面の設定を、手順として書き残しておきます。

2つ目は、モデルが古いまま使われ続けることです。更新の担当と、切り替える前に比べる質問を決めておけば防げます。

3つ目は、答えが遅い・物足りないと感じた社員が、クラウドの生成AIを個人で使い始めることです。ローカルLLMで扱う作業と、会社が認めたクラウドの生成AIで扱う作業を分けて示しておくと、個人の判断に任されずに済みます。

当社が自社で開発・運用している相棒AIは、回答の生成に Anthropic の Claude、検索の補助に OpenAI の埋め込みモデルと、クラウドのモデルを使っています。社外に送ってよい資料なら、クラウドのモデルで組む方が、更新や故障の対応を自社で抱えずに済むというのが、運用している立場からの見方です。ローカルLLMは、社外に送れない情報を扱う作業に絞って使うと、運用の重さと釣り合いが取りやすくなります。

まとめ

• ローカルLLMの構築は「試す段」と「運用する段」に分けて進める
• 始める前に、扱うデータ・使う人数・担当の3つを決める
• 試す段は Ollama か LM Studio を1台に入れ、自社の資料と質問で答えを確かめる
• 社内に公開するときは、つなぎ先を開く範囲・認証・クラウド機能の扱いを決める
• 権限・記録・更新・止まったときの担当を、名前まで決めてから広げる

まずは担当者の1台で、業務の質問10〜20個に答えさせるところから始めてみてください。当社のAIソリューション開発では、社外に送れない情報を扱うときに、社内のサーバーで動くAIで作ることもできます。試す段の進め方や、運用の担当の決め方からご相談いただけます。

AIソリューション開発について詳しく見る