定义与概述
本地 LLM 在选定计算机或服务器执行推理。模型靠近数据有助定义处理路径，但 OCR、嵌入与日志服务仍需单独检查。
如何实践
模型大小并非唯一标准。测试泰语、文档表格与实际问题。衡量并发、内存、延迟和运维成本，准备更新与质量下降回滚。
| 比较方案 | Cloud AI | Local AI |
|---|---|---|
| 灵活部署 | 供应商或云团队按约定运营基础设施 | 组织或合作伙伴维护硬件与更新 |
| 数据边界 | 指定区域、存储和端点 | 声称离线运行前检查每个组件 |
| 开始前检查 | 合同、使用成本、API 限制和连接 | 内存、延迟、并发及运维团队 |
公共 AI 因供应商、套餐和合同而异；私有 AI 取决于架构与配置。没有方案适合所有任务。
开始前检查
- 语言质量
- 并发用户
- 更新与回滚
能力与部署需按项目确认，不作无证据认证、投资回报或客户声明。
常见问题
数据必须离开网络吗？
取决于部署和连接服务。先梳理模型、OCR、嵌入、备份及日志流量，再确认边界。
AI 答案可以直接采信吗？
应核对原文、完整性及版本，尤其是法律、会计和重要决策。引用有助审核，但不保证准确。
如何启动项目？
选择明确用例、获批文档、负责人和验收标准。小组测试答案质量、权限与成本后再扩展。
参考资料
公共来源解释原则，不认证或背书 RAGBOX。
- NIST AI Risk Management Framework
- Microsoft: Retrieval-augmented generation
- OWASP: RAG Security Cheat Sheet
- OWASP: Prompt Injection Prevention
实际应用前需专家审核，非个案法律或税务建议。