🎯 AI 能力边界与系统建设
AI 应用为什么时好时坏?这套系列把「能力边界」当工程问题处理:预期管理、任务分流、能力声明、效果度量、幻觉治理、链路追踪。每一章都回答四个问题——该做什么、能做什么、做了什么、有什么效果。
适合:后端工程师、技术负责人、AI 应用负责人 · 前置:建议先读「AI 工程落地教程」,或有一两个 AI 项目经历 · 共 10 章
- 1AI 能做什么、不能做什么:能力边界总纲已发布
把 AI 能力按可靠性分层,先建立正确预期——边界管理的第一步是预期管理。
- 2把 AI 能力翻译成系统承诺:能力声明表已发布
每个 AI 功能上线前写一张能力声明表:承诺什么、不承诺什么、失败率目标、怎么验证。
- 3任务分流:什么交给 AI、什么必须代码或人工已发布
用可靠性、容错、责任三个维度给任务分类,决定 AI/规则/人工的归属。
- 4效果度量:证明「做了什么、有什么效果」已发布
评测集、四类指标与基线——没有度量,边界就是口号。
- 5幻觉的系统化治理:防、拦、兜三层已发布
幻觉是概率事件不是 bug:从输入防、生成拦、输出兜三个层面治理。
- 6AI 全链路追踪:每一步都看得见、可回放规划中
从请求、检索、工具到模型输出,整条链路可观测可回放。
- 7降级与人工接管:AI 失效时系统怎么表现规划中
AI 超时、答错、被滥用时,系统如何降级并平滑交还给人。
- 8模型换代与回归:边界不随升级漂移规划中
换模型、调提示词、改检索——每次变更都用评测回归守住承诺。
- 9把边界写进组织:角色、评审与流程规划中
能力边界要有人负责:AI 产品负责人、评测责任人、变更评审流程。
- 10从 POC 到生产:AI 项目的边界验收清单规划中
一套完整的验收清单:承诺、度量、降级、安全都过线才放生产。