定義と概要
選んだ端末やサーバーで推論する言語モデルです。データ近くで処理経路を定めやすくなりますが OCR、埋め込み、ログは別途確認が必要。
実践の進め方
大きさだけで選ばず、タイ語、表、実質問を試験。同時利用、メモリー、待ち時間、費用を測定し、更新と品質低下時の復旧を計画。
ワークフロー
モデル規模だけで購入しません。実言語の質問、長文、同時利用を準備し、同条件で遅延・品質・メモリを測定。電力・更新・運用時間も含めて選定。
開始前の確認
- 言語品質
- 同時利用
- 更新と復旧
機能と導入は案件ごとに確認。根拠のない認証、ROI、顧客の主張は行いません。
重要ポイント
- 許可文書を選択
- 責任者を指定
- 参照問答を準備
- 拒否と削除を試験
- 品質・速度・費用を測定
RAGBOX の計画指針で外部認証ではありません。各層に責任者、根拠、試験が必要。
よくある質問
データは外部へ出ますか？
構成と連携によります。モデル、OCR、埋め込み、バックアップ、ログの通信を整理して確認します。
AI 回答をそのまま信頼できますか？
特に法律・会計・重要判断では原文、完全性、版を確認。出典は正確性の保証ではありません。
どう始めますか？
用途、承認文書、責任者、合格基準を定め、小規模で品質、権限、費用を検証して展開します。
参考資料
公開資料は原則説明であり RAGBOX の認証ではありません。
- NIST AI Risk Management Framework
- Microsoft: Retrieval-augmented generation
- OWASP: RAG Security Cheat Sheet
- OWASP: Prompt Injection Prevention
実務利用前に専門家確認が必要。個別の法律・税務助言ではありません。