test

心智模型

测试 Agent 的核心挑战在于 LLM 的非确定性。因此策略分层为：单元测试（用模拟模型隔离测试确定性逻辑）、集成测试（用真实 API 验证组件协作与端到端流程）、评估（用评判器评估执行轨迹质量）。Agent 测试更侧重集成测试，因为其价值在于多组件协同。

二级标题及内容

• 【单元测试】Unit testing 使用模拟聊天模型和内存持久化，在不调用 API 的情况下隔离测试 Agent 逻辑。适合快速、确定性地验证小段确定性代码。

• 【集成测试】Integration testing 使用真实 LLM API 测试 Agent，确认各组件能正确协作、凭证和模式匹配、延迟可接受。需要组织测试、管理密钥、处理 LLM 随机性带来的不稳定性并控制成本。

• 【评估】Evals 通过确定性匹配或 LLM 作为评判者来评估 Agent 的执行轨迹质量。用于衡量端到端行为是否符合预期。

最佳实践

• 优先写单元测试：对工具函数、中间件逻辑等确定性部分，用模拟模型快速验证，成本低且稳定。
• 集成测试是关键：Agent 的价值在于真实模型驱动的多步推理，必须有集成测试覆盖核心用户流程。
• 用评估衡量质量：单元和集成测试只能验证“能不能跑”，评估才能回答“跑得好不好”，尤其适合捕捉回归。
• 控制集成测试成本与稳定性：管理好 API 密钥，用重试机制应对 LLM 随机失败，必要时限制测试频率。