LitSynthLitSynth
  • 機能
  • 価格
  • FAQ
  • 文献レビュー
  • ブログ
  • 方法

Loading…

LitSynthLitSynth

AI駆動の文献分析と統合で研究ワークフローを変革

DiscordEmail
製品
  • 機能
  • 価格
  • FAQ
リソース
  • ブログ
  • 方法ガイド
  • 変更履歴
フレンドリンク
  • 論文を探す
  • LitFigure 科学図版
会社
  • お問い合わせ
法的
  • プライバシーポリシー
  • 利用規約

研究ワークフロー

文献レビュー、PubMed ワークフロー、引用監査、PRISMA-lite レビュー計画のガイドを確認できます。

AI文献レビュー生成ツール系統的レビューAIツールPRISMA Lite系統的レビュー スクリーニング系統的レビュー データ抽出系統的レビュープロトコル生成ツールセマグルチド系統的レビュー例教育AI文献レビュー例気候変動 健康 文献レビュー例
©️ 2026 LitSynth. 全著作権所有。
SCORED ONCE · OVERALL FAIL

未接触ホールドアウトで測る、スクリーニングの安全性と作業量

未接触の 281 件ホールドアウトで、LitSynth の誤除外は 0 件、関連記録はすべて保護されました。しかし 82.9% が手動レビュー対象のままで、事前登録した作業量上限 80% を超えました。したがってホールドアウト結果は失敗です。

TOPIC / CD000996

TASK / Intervention

RECORDS / 281

PROTOCOL VERSION / 1

POLICY VERSION / title-abstract-v3

PREREG COMMIT / 8fd1e19

BLIND HASH / 282a24a4830f…

STATUS / FAIL — NO RETEST

保護再現率

100.0%

9/9 件の関連記録を保護 · PASS

誤除外

0

0.0% 関連記録に占める割合

手動レビュー

82.9%

233/281 件 · FAIL（上限 ≤80%）

自動除外

15.7%

44/281 件を除外推奨

総合結果

FAIL

両方のゲート通過が必要。合成精度スコアは使わない

01 / ブラインド解除前にロック

失敗も結果の一部です。

安全性は通過。作業量は未達。作業量ゲートは 2.9 ポイント届きませんでした。ラベルを見たあと方針を改訂したり、コーパスを再実行したりしていません。

  1. LOCK 01

    コーパスロック

    CD000996: Inhaled corticosteroids for bronchiectasis. 固定したソースコミット、トピックハッシュ、PMID リストハッシュ、281 件は公開しています。

  2. LOCK 02

    方針ロック

    title-abstract-v3, deepseek-v4-flash, temperature 0.1, batch size 5. モデル、温度、バッチサイズ、ソースハッシュは固定です。

  3. LOCK 03

    ラベル前の予測

    281 件すべてのラベルなし判定を書き出し、ハッシュしてからでなければ qrels を取得できません。

  4. LOCK 04

    安全性と作業量

    誤除外と保護再現率を、UNSURE 件数および手動レビュー率と並べて公開します。安全でも使えないレビュー待ち行列は合格になりません。

02 / 監査証跡を確認する

順序、件数、失敗を再現できます。

予測の封印時刻（UTC）
2026-09-01T02:31:50.490Z
ラベル取得 / ブラインド解除（UTC）
2026-09-01T02:31:50.492Z
ブラインド予測原文 · SHA-256
282a24a4830f59e1ce7e1b91c449e7dcc9171464784a3075f0cfea827693f486
全採点予測predictions.csv誤除外台帳false-excludes.csv手動レビュー台帳manual-review.csv指標とゲートmetrics.json実行順とブラインドハッシュrun.jsonコーパスとソースハッシュmanifest.jsonブラインド予測blinded-predictions.json機械可読の事前登録preregistration.json人が読む事前登録preregistration.md

限界

未接触ホールドアウトは 1 件だけです。CLEF TAR の 1 トピック、281 件、金標準関連 9 件、タイトルと抄録のみ。保護再現率は INCLUDE または UNSURE とされた関連記録の割合であり、すべてが正しく採択されたことではありません。

ここでの手動レビューは UNSURE / 全記録（233/281）です。待ち行列の大きさであり、実測の査読時間ではありません。INCLUDE と EXCLUDE の推奨も人の確認が必要です。自動除外はモデルの推奨率であり、未確認で捨ててよいという意味ではありません。

これでは証明できないこと

  • 他のトピック、コーパス、モデル、方針版での再現率や作業量削減。
  • 全文適格性、データ抽出精度、バイアスリスク評価、主張単位の引用合成の質。
  • Rayyan 等に対する優越。これは直接比較ではありません。
  • 独立した二重スクリーニングや、最終的な採択・除外判断の代替。

277 件コーパスは性能主張ではありません

ラベルが方針改訂に使われたため、誤差分析後の回帰アーカイブとして残しています。未接触ホールドアウトは一度だけ採点しました。失敗した作業量ゲートは公開し、未接触証拠として再利用しません。

開発時の履歴アーカイブを開く