ルームでローカルLLMを使う

結論

ルーム内からローカルLLMを利用できる場合があります。利用可否や使えるモデルは、管理者の設定に従います。

対象

この記事は、ルーム内でコード補助、文章整理、要約などにローカルLLMを使いたい利用者に向けたヘルプです。

接続の考え方

ローカルLLMを使う場合、ルームからモデルサーバーへ直接接続するのではなく、管理された接続経路を通します。これにより、利用できるモデル、認証、利用状況の確認を管理しやすくします。

通常ルームと機密ルームでは外部接続の扱いが異なります。機密データを扱う場合は、機密ルームで利用できる範囲を管理者に確認してください。

応答が遅いとき

初回の応答は、モデルの準備に時間がかかることがあります。しばらく待ってから再度試すと、2回目以降は短い時間で応答する場合があります。

また、回答の最大長を極端に短く設定すると、本文が十分に返らないことがあります。短すぎる上限を指定していないか確認してください。

注意事項

ローカルLLMであっても、入力してよいデータは組織のルールに従ってください。特に本番の個人情報、顧客情報、未公開コード、閉域ログは、利用するルームと契約形態を確認してから扱ってください。