Loading…
Loading…
在未接触的 281 条记录留出集上,LitSynth 误排除为 0,相关记录全部得到保护。但 82.9% 仍需人工复核,未达到预注册的 80% 工作量上限。因此留出集结果为失败。
TOPIC / CD000996
TASK / Intervention
RECORDS / 281
PROTOCOL VERSION / 1
POLICY VERSION / title-abstract-v3
PREREG COMMIT / 8fd1e19
BLIND HASH / 282a24a4830f…
STATUS / FAIL — NO RETEST
保护召回率
100.0%
9/9 条相关记录得到保护 · PASS
误排除
0
0.0% 占相关记录
人工复核
82.9%
233/281 条记录 · FAIL(上限 ≤80%)
自动排除
15.7%
44/281 条记录建议排除
总体结果
FAIL
两道门槛都必须通过;没有综合准确率分数
01 / 揭盲前锁定
安全性通过,工作量未通过。工作量门槛差 2.9 个百分点。看到标签后,我们没有改锁定策略,也没有重跑这份语料。
LOCK 01
CD000996: Inhaled corticosteroids for bronchiectasis. 来源提交、题目哈希、PMID 列表哈希和 281 条记录数均已公开。
LOCK 02
title-abstract-v3, deepseek-v4-flash, temperature 0.1, batch size 5. 模型、温度、批次大小和源码哈希均已固定。
LOCK 03
全部 281 条无标签判定必须先写入并哈希,然后才允许拉取 qrels。
LOCK 04
误排除和保护召回率与 UNSURE 条数、人工复核率一并公布。安全但用不了的复核队列不能算通过。
02 / 查看完整审计轨迹
目前只评过一份未接触留出集:一个 CLEF TAR 题目、281 条记录、9 条金标准相关记录,且只用题名和摘要。保护召回率统计的是标为 INCLUDE 或 UNSURE 的相关记录,并不等于每条相关记录都被正确纳入。
这里的人工复核指 UNSURE / 全部记录(233/281)。这是队列长度,不是实测审稿时间或总人工量:INCLUDE 和 EXCLUDE 建议仍需人审。自动排除是模型建议率,不是允许不审就丢掉记录。
它的标签参与过策略修订,因此只作为透明的事后误差分析回归档案保留。未接触留出集只评一次。未通过的工作量门槛已公布,这份语料不会再被当成未接触证据重复使用。
打开历史开发档案