很多团队把评测留到最后,结果上线前才发现「感觉还行」和「真的能用」之间差着十万八千里。

评测集不是测试用例

测试用例验证功能有没有坏,评测集验证回答有没有用。前者是二元的,后者是连续的。

从第一天开始建

每遇到一个真实问题,就把它加进评测集。项目结束时,你会得到一份属于自己业务的、可复用的质量基线。

谁来维护

最好是一线使用者,而不是算法团队。他们最清楚什么样的回答算「好」。