Loading…
Loading…
En el holdout no tocado de 281 registros, LitSynth tuvo cero exclusiones falsas y protegió todos los registros relevantes. Pero el 82,9 % siguió exigiendo revisión manual y superó el techo preregistrado del 80 %. El resultado del holdout es, por tanto, un fallo.
TOPIC / CD000996
TASK / Intervention
RECORDS / 281
PROTOCOL VERSION / 1
POLICY VERSION / title-abstract-v3
PREREG COMMIT / 8fd1e19
BLIND HASH / 282a24a4830f…
STATUS / FAIL — NO RETEST
Recall protegido
100.0%
9/9 registros relevantes protegidos · PASS
Exclusiones falsas
0
0.0% de los registros relevantes
Revisión manual
82.9%
233/281 registros · FAIL (límite ≤80%)
Exclusión automática
15.7%
44/281 registros recomendados para exclusión
Resultado global
FAIL
había que superar ambas puertas; no hay puntuación de exactitud compuesta
01 / Bloqueado antes de desvelar etiquetas
La seguridad pasó. La carga de trabajo, no. La puerta de carga falló por 2,9 puntos porcentuales. Tras ver las etiquetas no revisamos la política bloqueada ni volvimos a ejecutar el corpus.
LOCK 01
CD000996: Inhaled corticosteroids for bronchiectasis. El commit de origen, el hash del tema, el hash de la lista PMID y las 281 registros son públicos.
LOCK 02
title-abstract-v3, deepseek-v4-flash, temperature 0.1, batch size 5. Modelo, temperatura, tamaño de lote y hashes de origen están fijos.
LOCK 03
Las 281 decisiones sin etiqueta deben escribirse y cifrarse con hash antes de poder obtener los qrels.
LOCK 04
Las exclusiones falsas y el recall protegido se publican junto al recuento UNSURE y la tasa de revisión manual. Una cola segura pero inutilizable no aprueba.
02 / Revisar la pista de auditoría
Solo se ha puntuado un holdout no tocado: un tema CLEF TAR, 281 registros y 9 registros relevantes de oro, con títulos y resúmenes. El recall protegido cuenta registros relevantes marcados INCLUDE o UNSURE; no significa que todos se hayan incluido correctamente.
La revisión manual aquí es UNSURE / todos los registros (233/281). Es un tamaño de cola, no tiempo de revisor medido. Las recomendaciones INCLUDE y EXCLUDE siguen necesitando supervisión humana. La exclusión automática es la tasa de recomendación del modelo, no permiso para descartar sin revisión.
Sus etiquetas informaron la revisión de la política, así que permanece solo como archivo de regresión tras el análisis de errores. El holdout no tocado se puntuó una vez. La puerta de carga fallida está publicada y el corpus no se reciclará como evidencia no tocada.
Abrir el archivo histórico de desarrollo