ローカルLLMの性能評価 — 業務で使えるかを見極める観点

「このローカルLLM、うちの業務で使えますか」と聞かれたとき、公開ベンチマークの点数では答えられません。ローカルLLMを業務目線で評価する実務的な方法をまとめます（モデル選定の全体像はローカルLLMの選び方を参照）。

評価の単位は「モデル×自社タスク」

ベンチマークが高いモデルが自社で使えるとは限らない理由は単純で、測っているタスクが違うからです。一般知識の試験問題と、自社の議事録の要約・自社コードの修正は別の能力です。

そこで評価は2段階にします。

1. 絞り込み — 公開ベンチマークと評判で、候補を2〜4モデルに絞る（ここまでは机上でよい）
2. 判定 — 自社の業務タスクで実際に試し、採用を決める

判定に使う評価タスクは、実際の業務からそのまま取るのが原則です。本物の文書・本物のコード（機密を含むなら、評価環境も本番同様に閉じた場所で）。タスク数は最初は20〜50件程度でも、傾向は十分見えます。

見るべき4つの観点

1. 品質 — 求める水準に達しているか

出力が業務でそのまま・または軽い手直しで使えるか。「正確さ」だけでなく「指示への忠実さ」（求めた形式で出てくるか）も品質です。

2. 安定性 — 同じタスクで結果がぶれないか

1回うまくいったことと、毎回うまくいくことは別です。同じタスクを複数回試し、ばらつきを見ます。業務利用では「たまに素晴らしい」より「常にそこそこ」の方が価値があることが多いはずです。

3. 速度 — 業務のリズムに合うか

応答が遅いツールは、品質が良くても使われなくなります。1件あたりの処理時間を測り、業務の流れ（対話的に使うのか、バッチで流すのか）に合うかを見ます。速度はモデルのサイズと設備に大きく依存します（GPUサーバーの比較）。

4. 日本語の堅さ — 業務言語での実力

多くの公開モデルは英語中心に鍛えられています。日本語の業務文書・敬語・固有名詞の扱いは、英語ベンチマークからは分かりません。日本語タスクを評価セットに必ず含めてください。

4観点に加えて、失敗の仕方も見ておく価値があります。分からないときに分からないと言えるか、根拠なく補完しないか。業務利用では「上手に間違える」モデルより「正直に止まる」モデルの方が扱いやすい場面が多いはずです。

合格ラインの決め方 — 比較対象を間違えない

ローカルLLMの評価で最も多い失敗は、最新のクラウドAIと比べてしまうことです。汎用性能の比較では、ローカルLLMは見劣りすることが多い。しかしそれは選定の問いではありません。

ローカルLLMを検討しているのは、クラウドに出せないデータのためのはずです（機密データとローカルLLM）。その業務での比較対象は「クラウドAI」ではなく、「AIなしの現状」です。合格ラインは「この業務を人がやる場合と比べて、時間・品質の収支が合うか」で引きます。

導入後 — 評価は一度では終わらない

採用したモデルの評価セットは捨てずに残します。新モデルへの乗り換え判断のたびに同じセットで測れば、判断は「なんとなく良さそう」から「同じ物差しでの比較」になります。評価セットの維持・更新は、ローカルLLM運用の定常業務の一部です。

まとめ

• 評価はベンチマークで絞り込み、自社の業務タスクで判定する2段階
• 観点は品質・安定性・速度・日本語。1回の出来ではなくばらつきまで見る
• 合格ラインの比較対象はクラウドAIではなく「AIなしの現状」。問いは「その機密業務で収支が合うか」
• 評価セットは資産。モデル更新のたびに同じ物差しで測る

評価セットを持ったあと、それを実際に走らせる場所が要ります。Hoko（矛）の機密ルームは、ローカルLLMを業務で使う場所そのものです。導入評価のご相談の際は、想定業務に沿った検証の進め方からご案内します。相談の入口は製品トップです。