LitSynthLitSynth
  • Caratteristiche
  • Prezzi
  • FAQ
  • Revisione della Letteratura
  • Blog
  • Metodi

Loading…

LitSynthLitSynth

Trasforma il tuo flusso di lavoro di ricerca con analisi e sintesi della letteratura potenziate dall'IA

DiscordEmail
Prodotto
  • Funzionalità
  • Prezzi
  • FAQ
Risorse
  • Blog
  • Metodi
  • Registro Modifiche
Link amici
  • Trova paper
  • LitFigure – Figure scientifiche
Azienda
  • Contatto
Legale
  • Politica sulla Privacy
  • Termini di Servizio

Workflow di ricerca

Esplora guide mirate per revisioni della letteratura, workflow PubMed, audit delle citazioni e pianificazione PRISMA-lite.

generatore IA di revisione della letteraturastrumento IA per revisione sistematicaPRISMA litescreening revisione sistematicaestrazione dati revisione sistematicageneratore protocollo revisione sistematicarevisione sistematica semaglutide esempioIA nell’istruzione revisione della letteratura esempiocambiamento climatico salute revisione della letteratura esempio
©️ 2026 LitSynth. Tutti i diritti riservati.
SCORED ONCE · OVERALL FAIL

Sicurezza e carico dello screening, misurati su holdout non toccati

Sull’holdout non toccato di 281 record LitSynth ha fatto zero false esclusioni e ha protetto ogni record rilevante. Ma l’82,9% richiedeva ancora revisione manuale, superando il tetto preregistrato dell’80%. Il risultato dell’holdout è quindi un fallimento.

TOPIC / CD000996

TASK / Intervention

RECORDS / 281

PROTOCOL VERSION / 1

POLICY VERSION / title-abstract-v3

PREREG COMMIT / 8fd1e19

BLIND HASH / 282a24a4830f…

STATUS / FAIL — NO RETEST

Recall protetto

100.0%

9/9 record rilevanti protetti · PASS

False esclusioni

0

0.0% dei record rilevanti

Revisione manuale

82.9%

233/281 record · FAIL (limite ≤80%)

Esclusione automatica

15.7%

44/281 record consigliati per l’esclusione

Risultato complessivo

FAIL

entrambi i gate dovevano passare; nessun punteggio composito di accuratezza

01 / Bloccato prima del disvelamento

Il fallimento fa parte del risultato.

La sicurezza è passata. Il carico di lavoro no. Il gate sul carico è fallito di 2,9 punti percentuali. Dopo aver visto le etichette non abbiamo modificato la policy bloccata né rieseguito il corpus.

  1. LOCK 01

    Blocco del corpus

    CD000996: Inhaled corticosteroids for bronchiectasis. Il commit sorgente, l’hash del topic, l’hash della lista PMID e i 281 record sono pubblici.

  2. LOCK 02

    Blocco della policy

    title-abstract-v3, deepseek-v4-flash, temperature 0.1, batch size 5. Modello, temperatura, dimensione del batch e hash del codice sono fissi.

  3. LOCK 03

    Predizioni prima delle etichette

    Tutte le 281 decisioni senza etichetta devono essere scritte e hashate prima di poter scaricare i qrels.

  4. LOCK 04

    Sicurezza più carico

    False esclusioni e recall protetto sono pubblicati accanto al conteggio UNSURE e al tasso di revisione manuale. Una coda sicura ma inutilizzabile non supera.

02 / Ispezionare la traccia di audit

Riprodurre ordine, conteggi e fallimento.

Predizioni sigillate (UTC)
2026-09-01T02:31:50.490Z
Etichette scaricate / disvelate (UTC)
2026-09-01T02:31:50.492Z
Predizioni cieche grezze · SHA-256
282a24a4830f59e1ce7e1b91c449e7dcc9171464784a3075f0cfea827693f486
Predizioni complete valutatepredictions.csvRegistro false esclusionifalse-excludes.csvRegistro revisione manualemanual-review.csvMetriche e sogliemetrics.jsonOrdine di esecuzione e hash ciecorun.jsonHash di corpus e sorgentemanifest.jsonPredizioni ciecheblinded-predictions.jsonPreregistrazione machine-readablepreregistration.jsonPreregistrazione human-readablepreregistration.md

Limiti

È stato valutato un solo holdout non toccato: un topic CLEF TAR, 281 record e 9 record gold-rilevanti, usando titoli e abstract. Il recall protetto conta i record rilevanti marcati INCLUDE o UNSURE; non significa che ogni record rilevante sia stato incluso correttamente.

La revisione manuale qui è UNSURE / tutti i record (233/281). È una misura di coda, non il tempo di revisore misurato. Anche le raccomandazioni INCLUDE ed EXCLUDE richiedono supervisione umana. L’esclusione automatica è il tasso di raccomandazione del modello, non il permesso di scartare senza revisione.

Cosa questo NON dimostra

  • Recall garantito o risparmio di carico su altri topic, corpus, modelli o versioni di policy.
  • Accuratezza di eleggibilità full-text, estrazione dati, validità del rischio di bias o qualità della sintesi citata a livello di claim.
  • Superiorità rispetto a Rayyan o a un altro strumento: non è un confronto diretto.
  • Un sostituto dello screening indipendente in doppio o delle decisioni finali di inclusione ed esclusione.

Il corpus da 277 record non è più una pretesa di prestazione

Le sue etichette hanno informato la revisione della policy, quindi resta solo come archivio di regressione dopo l’analisi degli errori. L’holdout non toccato è stato valutato una volta. Il gate sul carico fallito è pubblicato e il corpus non sarà riciclato come evidenza non toccata.

Apri l’archivio storico di sviluppo