定義與概述
本地 LLM 在選定電腦或伺服器執行推論。模型靠近資料有助定義處理路徑，但 OCR、嵌入及日誌服务仍需個別檢查。
如何實踐
模型大小並非唯一標準。測試泰語、文件表格與實際問題。衡量並行、記憶體、延遲及維運成本，準備更新與回復計畫。
| 比較方案 | Cloud AI | Local AI |
|---|---|---|
| 彈性部署 | 供應商或雲端團隊依約定營運基礎設施 | 組織或合作夥伴維護硬體及更新 |
| 資料邊界 | 指定區域、儲存和端點 | 聲稱離線運作前檢查每個元件 |
| 開始前檢查 | 合約、使用成本、API 限制和連線 | 記憶體、延遲、並行及維運團隊 |
公共 AI 依供應商、方案及合約而異；私有 AI 取決於架構與設定。沒有方案適合所有工作。
開始前檢查
- 語言品質
- 同時使用者
- 更新與回復
能力與部署需依專案確認，不作無證據認證、投資報酬或客戶聲明。
常見問題
資料必須離開網路嗎？
取決於部署與串接服務。先盤點模型、OCR、嵌入、備份及日誌流量，再確認邊界。
AI 答案可以直接採信嗎？
應核對原文、完整性及版本，尤其是法律、會計及重要決策。引用有助審查，但不保證正確。
如何啟動專案？
選擇明確用例、核准文件、負責人與驗收標準。小組測試答案品質、權限及成本後再擴展。
參考資料
公開來源解釋原則，不認證或背書 RAGBOX。
- NIST AI Risk Management Framework
- Microsoft: Retrieval-augmented generation
- OWASP: RAG Security Cheat Sheet
- OWASP: Prompt Injection Prevention
實際應用前需專家審閱，非個案法律或稅務建議。