定義與概述
本地 LLM 在選定電腦或伺服器執行推論。模型靠近資料有助定義處理路徑，但 OCR、嵌入及日誌服务仍需個別檢查。
如何實踐
模型大小並非唯一標準。測試泰語、文件表格與實際問題。衡量並行、記憶體、延遲及維運成本，準備更新與回復計畫。
開始前檢查
- 語言品質
- 同時使用者
- 更新與回復
能力與部署需依專案確認，不作無證據認證、投資報酬或客戶聲明。
重點整理
- 選擇授權文件
- 指定負責人
- 準備參考問答
- 測試拒絕存取與刪除
- 擴展前衡量品質、速度與成本
此為 RAGBOX 規劃指引，非外部認證標準。每層需負責人、證據與測試。
常見問題
資料必須離開網路嗎？
取決於部署與串接服務。先盤點模型、OCR、嵌入、備份及日誌流量，再確認邊界。
AI 答案可以直接採信嗎？
應核對原文、完整性及版本，尤其是法律、會計及重要決策。引用有助審查，但不保證正確。
如何啟動專案？
選擇明確用例、核准文件、負責人與驗收標準。小組測試答案品質、權限及成本後再擴展。
參考資料
公開來源解釋原則，不認證或背書 RAGBOX。
- NIST AI Risk Management Framework
- Microsoft: Retrieval-augmented generation
- OWASP: RAG Security Cheat Sheet
- OWASP: Prompt Injection Prevention
實際應用前需專家審閱，非個案法律或稅務建議。