文档核实日期:2026 年 10 月 16 日。官方页面为持续更新的技术文档,未标注固定发布日期。
先定义“更好”
Anthropic 的评估文档强调,成功标准应具体、可衡量,并与实际用途相符。测试样本应贴近真实任务,同时考虑边界情况;评价也可以同时覆盖完成质量、响应时间和价格。
一份可执行的小测试
以下是本站据此设计的入门流程,适用于准备更换模型的小项目。
- 选一种常用任务。 例如整理产品更新、分类工单或提取发票字段,不要把完全不同的任务混成一个总分。
- 准备固定样本。 从日常工作选取经过脱敏的输入,加入缺失信息、格式混乱和容易误解的案例。保留一部分不用于调试。
- 写出完成标准。 例如字段是否齐全、引用是否支持结论、无法判断时是否明确说明。需要运行的代码,以实际执行结果核对。
- 让新旧模型用同样条件完成。 记录模型版本、提示词、参数、结果、耗时及实际费用,并单独查看失败样本。
最后写下“在哪些任务上更好、在哪些任务上退步”。只把通过验收的任务迁移过去,并保留原配置。小样本适合发现明显问题;要支撑更大范围的替换,还需要持续补充真实案例。