数据集 · 创建 & 管理
配一份题目,存起来调 prompt
选 checker → 按 TP/FN/FP/TN/待定 分别配几条 → 生成预览 → 存成数据集,调试台里直接选用。
⚠ 演示数据 · 数据集保存在本机浏览器(localStorage)已保存数据集
数据集列定义(点开)
题目(expert_prompt) = 专家出的题目原文,不含我们的 checker prompt。
previous_label = 建集时该题上一次被 checker 判定的结果(pass/fail)。
ground_truth = 真实应该判定的结果(pass/fail),由矩阵类别反推:TP/FN 该拦=fail;TN/FP 该过=pass;待定题无 ground_truth。
pe_checker_prompt_snapshot(可选列) = 建集时该 checker 的 prompt 全文快照,用于调试台预填对照。
数据集一经保存即为快照,不随后续判定变化而更新 —— 这样才能公平对比「改 prompt 前后」的效果。
previous_label = 建集时该题上一次被 checker 判定的结果(pass/fail)。
ground_truth = 真实应该判定的结果(pass/fail),由矩阵类别反推:TP/FN 该拦=fail;TN/FP 该过=pass;待定题无 ground_truth。
pe_checker_prompt_snapshot(可选列) = 建集时该 checker 的 prompt 全文快照,用于调试台预填对照。
数据集一经保存即为快照,不随后续判定变化而更新 —— 这样才能公平对比「改 prompt 前后」的效果。