星期一上午,一位重要企业客户来信:系统中断影响了出货,要求在下午三时前交代原因、补救安排及赔偿。这类回复不是一般润色任务。一句未经确认的“我们的系统故障导致损失”,可能变成责任承认;一句空泛的“我们非常重视”,又可能令客户认为团队正在回避问题。
此时,真正值得比较的不是哪个模型写得最顺,而是哪个输出能同时守住事实、风险、同理心与下一步。
目前没有足以支持模型排名的本次测试 raw outputs,因此本文不会宣布胜负。以下公开的是一套可复现的 blind-test protocol。所有结果只会在模型实际运行、原始输出与评分表保存后另行报告。
为何“读起来不错”不足以评分
高风险回复有两个相反压力:客户需要清楚答案,发件人却不能补写尚未确认的原因、承诺未获批准的补偿,或淡化真实影响。只评文笔,会奖励最有自信的句子;只评保守程度,又可能得到一封毫无行动信息的官样文章。
这像茶餐厅繁忙时处理一张写有敏感备注的订单。出餐快不是唯一标准;厨房还要跟足单据、不能自行加料,并让楼面知道何时可以向客人交代。模型也要在同一张“单据”下接受测试。
固定一宗 synthetic case
测试使用完全虚构的 B2B software incident,不放入真实客户、员工、合同或个人信息:
虚构客户在 09:18 至 10:05 无法使用 shipment booking 功能,共 47 分钟。
团队在 09:37 发出第一次通知,服务在 10:05 恢复。
客户表示 12 张出货单受到延误,要求下午三时前解释 root cause、避免重演的方法及 compensation。
测试当刻只确认以上时间线;root cause、数据是否受影响及 compensation 均未完成审批。
回复对象是客户的 Operations Director;目标长度为 180 至 260 个中文字。
这宗 case 刻意包含“已知事实”与“待确认事项”。如果模型把后者写成定论,便不是较有说服力,而是增加了可观察的返工与审批风险。
所有模型使用同一份输入
执行时固定模型版本、日期、界面、temperature 或其他可调设置;若某项设置不可见,便在 run manifest 注明“不可取得”,不得自行推断。每个模型开启全新对话,只送出以下内容:
你是企业客户服务写作助理。请根据以下虚构个案,起草一封 180 至 260 个中文字的简体中文书面回复,收件人是客户的 Operations Director。
已确认事实:
- shipment booking 功能在 09:18 至 10:05 无法使用,共 47 分钟;
- 第一次客户通知在 09:37 发出;
- 服务已于 10:05 恢复;
- 客户表示 12 张出货单受到延误。
尚未确认或批准:
- root cause;
- 是否有数据受到影响;
- compensation 或 service credit;
- 防止重演的最终措施。
回复必须:
1. 明确承认客户受到的运营影响;
2. 只陈述已确认事实;
3. 不承认法律责任,不虚构 root cause、数据状况或 compensation;
4. 说明下一次更新时间为今日 15:00,并列出会更新的事项;
5. 不使用空泛套话、emoji 或口语。
只输出客户回复正文,不加分析、标题或备注。模型名称不交给评分者。独立记录者先保存原始输出,再以随机次序标记为 Output A、B、C 等;model-to-label mapping 在评分完成前封存。原始标点、错字及格式全部保留,不能先由人工修饰。
五个维度,共 100 分
每项 20 分,评分者必须引用输出原句作 evidence:
维度 | 20 分标准 | 主要扣分点 |
|---|---|---|
事实忠实度 | 时间、影响与状态完全符合 case | 改动数字、补写原因、把待确认事项写成事实 |
风险控制 | 清楚区分已知与待确认,没有越权承诺 | 承认责任、承诺 compensation、暗示数据安全 |
客户同理心 | 具体承认 12 张出货单及运营影响 | 只有道歉套话、淡化或责怪客户 |
行动可执行性 | 写明 15:00 更新及届时涵盖事项 | 没有 owner、时间或下一步 |
清晰与语气 | 180 至 260 字、正式、直接、易读 | 冗长、口语、空泛、攻击性或格式不符 |
另设 critical fail:虚构 root cause、断言数据没有受影响、承诺 compensation,或明确承认法律责任。critical fail 不会被漂亮文笔抵消,必须进入修订。
把修订轮次也列入结果
初稿记为 Round 0。未达预先设定门槛,或出现任何 critical fail,便把同一份原始 case、该输出及逐项 evidence 送回原模型修订。每轮只要求修正已指出问题,不加入新事实;最多两轮。记录 Round 0、Round 1、Round 2 的全文、分数、critical fail 与达标状态。
这个数字揭示另一种成本:一封初稿即使最终可用,若需要两次追问及一次人工重写,工作量便不能只看最后版本。反过来,零修订也不代表可以直接发送;它仍须由获授权的人按实际 incident、合同及机构政策复核。
结果表现在应该保持空白
在测试执行前,公开表格不应预填任何分数或名次:
匿名输出 | 事实 /20 | 风险 /20 | 同理心 /20 | 行动 /20 | 语气 /20 | 总分 /100 | 修订轮次 | Critical fail |
|---|---|---|---|---|---|---|---|---|
Output A | ||||||||
Output B | ||||||||
Output C |
发布结果时,应同时公开 run date、模型与版本、可见设置、完整 prompt、每轮 raw output、评分者原句引用、计分表及解封后的 mapping。若某模型因长度限制、内容政策或系统错误未能完成,也要原样记录,不能静默重跑到得到理想答案为止。
常见陷阱
先看模型名称再评分。 品牌印象会渗入判断。评分者只能看到匿名输出。
每个模型使用不同背景资料。 多一句 incident detail 已可改变结果;prompt、case、语言与长度必须一致。
只公开总分。 没有 raw output 与 evidence,读者无法判断扣分是否合理。
把 synthetic case 当成真实事故。 发布时须清楚标示案例为虚构,不暗示任何客户或产品曾发生此事。
把测试结果当永久能力排名。 结论只适用于指定日期、版本、设置、语言及任务;模型或界面更新后须重新测试。
先建立证据,再下结论
高风险文案最昂贵的部分,往往不是生成第一稿,而是找出一句看似自然、实际超越已知事实的话。这套 protocol 的目的不是制造一张吸睛排行榜,而是把模型选择变成可检查、可重跑的质量决定。
Essevin 的 AI 对话支持多个模型,适合在同一入口建立这类对照流程。无论使用哪个模型,真实客户数据都应先依机构政策处理,最终回复也须由获授权的人员核实事实、风险、承诺与发送时机。
*本文资料截至发稿日(2026 年 8 月 28 日),仅供一般参考,不构成任何建议;文中测试案例为完全虚构,本文发布时尚未执行所述模型盲测,也未提供模型排名或能力结论;任何日后结果只适用于当次记录的日期、模型版本、设置、prompt、语言及任务,不应推广为其他场景的永久结论;第三方产品之功能、价格与政策,以其官方最新公布为准;真实客户回复必须依机构的数据处理、合同、法律、审批及 human review 要求处理;Essevin 服务详情以官网与 console 实际显示为准。