LitSynthLitSynth
  • 功能特点
  • 价格
  • 常见问题
  • 文献综述
  • 博客
  • 方法

Loading…

LitSynthLitSynth

使用AI驱动的文献分析和综述技术变革您的研究工作流程

DiscordEmail
产品
  • 功能
  • 价格
  • 常见问题
资源
  • 博客
  • 方法指南
  • 更新日志
友情链接
  • 查找论文
  • LitFigure 科研绘图
公司
  • 联系我们
法律
  • 隐私政策
  • 服务条款

研究工作流

探索文献综述、PubMed 工作流、引用审计和 PRISMA-lite 综述规划相关指南。

AI文献综述生成系统综述AI工具PRISMA-lite综述工具系统综述文献筛选系统综述数据提取系统综述方案生成器司美格鲁肽肥胖系统综述示例AI教育文献综述示例气候变化健康文献综述示例
©️ 2026 LitSynth 版权所有。
只评一次 · 总体 FAIL

用未接触留出集衡量筛选安全性和工作量

在未接触的 281 条记录留出集上,LitSynth 误排除为 0,相关记录全部得到保护。但 82.9% 仍需人工复核,未达到预注册的 80% 工作量上限。因此留出集结果为失败。

TOPIC / CD000996

TASK / Intervention

RECORDS / 281

PROTOCOL VERSION / 1

POLICY VERSION / title-abstract-v3

PREREG COMMIT / 8fd1e19

BLIND HASH / 282a24a4830f…

STATUS / FAIL — NO RETEST

保护召回率

100.0%

9/9 条相关记录得到保护 · PASS

误排除

0

0.0% 占相关记录

人工复核

82.9%

233/281 条记录 · FAIL(上限 ≤80%)

自动排除

15.7%

44/281 条记录建议排除

总体结果

FAIL

两道门槛都必须通过;没有综合准确率分数

01 / 揭盲前锁定

失败本身就是结果的一部分。

安全性通过,工作量未通过。工作量门槛差 2.9 个百分点。看到标签后,我们没有改锁定策略,也没有重跑这份语料。

  1. LOCK 01

    语料锁定

    CD000996: Inhaled corticosteroids for bronchiectasis. 来源提交、题目哈希、PMID 列表哈希和 281 条记录数均已公开。

  2. LOCK 02

    策略锁定

    title-abstract-v3, deepseek-v4-flash, temperature 0.1, batch size 5. 模型、温度、批次大小和源码哈希均已固定。

  3. LOCK 03

    先预测后看标签

    全部 281 条无标签判定必须先写入并哈希,然后才允许拉取 qrels。

  4. LOCK 04

    安全加上工作量

    误排除和保护召回率与 UNSURE 条数、人工复核率一并公布。安全但用不了的复核队列不能算通过。

02 / 查看完整审计轨迹

复现顺序、计数和这次失败。

预测封存时间(UTC)
2026-09-01T02:31:50.490Z
拉取标签 / 揭盲时间(UTC)
2026-09-01T02:31:50.492Z
盲预测原文 · SHA-256
282a24a4830f59e1ce7e1b91c449e7dcc9171464784a3075f0cfea827693f486
全部计分预测predictions.csv误排除台账false-excludes.csv人工复核台账manual-review.csv指标与门槛metrics.json运行顺序与盲哈希run.json语料与来源哈希manifest.json盲预测blinded-predictions.json机读预注册preregistration.json人读预注册preregistration.md

局限

目前只评过一份未接触留出集:一个 CLEF TAR 题目、281 条记录、9 条金标准相关记录,且只用题名和摘要。保护召回率统计的是标为 INCLUDE 或 UNSURE 的相关记录,并不等于每条相关记录都被正确纳入。

这里的人工复核指 UNSURE / 全部记录(233/281)。这是队列长度,不是实测审稿时间或总人工量:INCLUDE 和 EXCLUDE 建议仍需人审。自动排除是模型建议率,不是允许不审就丢掉记录。

这不能证明什么

  • 在其他题目、语料、模型或策略版本上保证召回或节省工作量。
  • 全文合格性、数据提取准确性、偏倚风险评价效度,或主张级带引用综述质量。
  • 优于 Rayyan 或其他工具:这不是头对头比较。
  • 可以替代双人独立筛选,或替代审稿人最终的纳入与排除决定。

277 条记录的语料不再作为性能主张

它的标签参与过策略修订,因此只作为透明的事后误差分析回归档案保留。未接触留出集只评一次。未通过的工作量门槛已公布,这份语料不会再被当成未接触证据重复使用。

打开历史开发档案