虚拟陪伴大概是 AI 应用里「留存天花板最高、技术债也最重」的场景——用户要的不是「能聊天」，是「记得住我、像同一个人」的长期关系。这篇拆解它的技术难点，给一套开源可落地的方案。
先说一句负责任的话：这个方向对未成年人保护和情感依赖伦理非常敏感，做之前请先读出海合规清单里未成年人相关的部分，这不是可以后补的。
核心难点拆解：不是「会聊天」，是「是这个人」
- 角色一致性：同一个人设不能聊三天就崩成另一个人。
- 长期记忆：记住用户说过的事，几周后还能提起来。
- 表达有温度：文字只是底线，语音/形象让陪伴成立。
- 幻觉与安全：编造记忆、输出越界内容，会直接摧毁信任。
分层架构（开源版）
表达层：文字 / 语音（TTS）/ 虚拟形象（VRM/表情）
护栏层：输入输出过滤 · 越狱检测 · 敏感话题策略 · 成本帽
对话服务（编排）：
角色层（人设卡 + 行为约束，每次注入或检索）
记忆层（短期记忆 Redis + 长期记忆向量库 + 定期摘要）
决策层（什么时候闲聊 / 回应 / 主动发起话题）
模型层（模型路由：小模型接日常，大模型接复杂话题）
推理：vLLM 自托管 或 托管 API（按量过渡）
观测：Langfuse（token、延迟、拒绝率、记忆命中）
开源选型表
| 层 | 开源组件 | 备注 |
|---|---|---|
| 对话编排 | LangGraph / 手写状态机 | 记忆路由比 Agent 自由发挥更可控 |
| 模型 | Qwen 等开源模型 + vLLM | 或先托管 API 验证留存，再谈私有化 |
| 短期记忆 | Redis（TTL + 最近 N 轮） | 每次请求拼最近上下文 |
| 长期记忆 | pgvector/Qdrant + 摘要任务 | 按「事实类 vs 感受类」分两类记忆 |
| 语音 | LiveKit + CosyVoice/Fish Speech | 先文字验证，语音是二期 |
| 形象 | VRM + 开源 Web 播放器 | 成本远低于定制 3D，表情驱动选开源方案 |
| 护栏 | 开源 moderation/自训小分类器 | 关键词不够，需要语义级过滤 |
| 观测 | Langfuse | 记忆命中率、幻觉倾向都要埋点 |
关键设计点
- 记忆分级，不搞一把抓：短期（最近 N 轮，Redis）／中期（本周摘要）／长期（向量检索，按「与用户关系的事实」抽取）。全部塞向量库是常见错误——检索不到时模型会编造记忆，比没有记忆更糟。
- 一致性靠「角色卡 + 约束」而不是靠提示词祈祷：人设卡结构化（性格维度、说话风格、禁忌），每次注入 + 关键决策用规则兜底（例如「不许自称不是 AI 以外的身份」写成硬约束）。
- 表达层决定留存，但不决定第一版：文字版先验证「用户会不会回来」，语音与形象等留存数据出来再投入——这两个都是重工程。
- 主动 vs 被动：陪伴感很大程度来自「它主动找你」。用一个低频的「发起话题」任务（每天几次，规则触发 + 模型生成），比被动等用户开口有效得多。
- 成本是留存的对立面：陪伴类对话轮次极多，必须做语义缓存 + 模型路由 + 上下文瘦身，否则成本随留存线性爆炸（成本控制教程整篇都适用）。
落地清单
- 角色卡结构化，行为约束写进硬规则
- 记忆分级：短/中/长三层，向量只存「事实类」
- 拒绝编造：检索不到就明说，不留幻觉空间
- 输入输出双层过滤 + 越狱测试用例
- 未成年人保护与隐私合规（目标市场）先过
- 文字版验证留存后再投入语音/形象
姊妹篇：桌游 AI 主持方案 ｜ 通用分层见 AI 应用参考蓝图