知识库回答看着对，怎么知道它真的对？

用问题集定义“好用”

在搭建前准备一份小型评估集。让了解材料的人写出问题、标准答案与对应原文，避免先看模型答案再调整标准。

• 明确有答案的问题：检查内容是否正确。
• 需要组合两段资料的问题：检查是否遗漏条件。
• 资料中没有答案的问题：检查是否承认不知道。
• 含糊或有冲突的问题：检查是否追问或指出冲突。

把检索与回答分别检查

先看找回的片段是否包含答案，再看模型是否正确使用了片段。前者出问题时，调整解析、切片或检索；后者出问题时，再考虑提示词、模型和输出约束。

给出引用并不代表引用支持结论。逐条打开引用，检查原文是否真的包含回答中的信息。

记录每次改动

记录文档版本、模型、主要设置、问题集和测试日期。修改一个因素后，用相同问题集复测，同时加入上一轮失败样本。

这是一套评估方法，本文没有声称某个产品已经达到特定准确率。你可以把测试结果作为后续选型和上线判断的证据。