写了很多篇 AI 应用的具体场景（桌游、虚拟陪伴、RAG、Agent），这篇把它们的共同骨架抽出来——大部分 AI 应用的生产架构其实长一个样，差别只在某一层做得深。这张图 + 开源选型表，可以直接当新项目的第一版架构。
参考蓝图（七层）
① 接入层 Web/App/语音网关：鉴权、限流、配额
② 编排层 流程控制 / Agent 循环 / 多步任务
③ 记忆与检索 短期记忆 / 长期记忆 / 知识库检索
④ 模型层 模型路由（小→中→大）/ 推理（自托管 or 托管 API）
⑤ 表达层 TTS / 音视频 / 前端生成物
⑥ 观测层 成本 / 延迟 / 质量 / 缓存命中（全链路埋点）
⑦ 护栏层 输入输出过滤 / 越狱检测 / 内容合规 / 成本熔断
七层的顺序不是随便排的：越靠下越接近「确定性的系统问题」，越靠上越接近「体验问题」。架构演进时从下往上做：先保证 ④⑤⑥⑦ 稳，再打磨 ②③ 的智能程度。
每层用什么：开源 vs 托管的决策
| 层 | 开源方案 | 什么时候直接用托管/现成 |
|---|---|---|
| 接入 | FastAPI + 网关 | 量小直接框架内限流 |
| 编排 | LangGraph / 手写状态机 | 简单流程别用编排框架 |
| 记忆 | Redis + pgvector/Qdrant | 还没验证留存先别建记忆系统 |
| 模型 | vLLM + 开源模型自托管 | 数据出域受限前，托管 API 更划算（账怎么算） |
| 语音 | LiveKit + CosyVoice/Fish | 文字版验证前不碰语音 |
| 观测 | Langfuse 自托管 | 先埋点记录，面板二期上 |
| 护栏 | 开源 moderation + 自训分类器 | 平台级内容安全优先用商用 API |
贯穿全篇的一条原则，我写在各篇里也重复过：能确定性解决的（规则、状态、判定）永远用代码，模型只处理开放的生成部分。 这是 AI 应用架构里唯一不随技术换代的原则。
常见「骨架级」错误（新项目最容易犯）
- 一上来就全层自建：第一版就把编排、记忆、语音、观测全配齐，三个月后一半组件没用上。每层只做「验证当前假设需要的最小量」。
- 模型层直接私有化：还没数据出域需求就先买 GPU（先算账再买卡），把现金流压在「以后可能用到」上。
- 观测层最后补：上线后才想起要埋点，成本、幻觉、失败全都说不清——观测是第 0 层，不是第 7 层。
- 把「功能 demo」当「生产架构」：demo 是一层（直接调 API），生产是七层，中间差的是护栏和观测——这两层 demo 里最容易被砍，生产里最不能缺。
落地清单
- 画出你的七层图，标出每层「这版做到什么程度」
- 明确哪些层用代码确定性解决、哪些用模型
- 模型层先按托管 API 起步，数据出域需求出现再私有化
- 观测层从第一行代码就埋点（成本、延迟、拒绝率）
- 护栏与合规需求上线前过一遍，不后补
- 每层选型对照工具与工作流栏目里的真实踩坑
每层深入读哪篇
这套骨架每层都有对应工具行的实测记录，见 AI 工程工具。