LitSynthLitSynth
  • 기능
  • 가격
  • 자주 묻는 질문
  • 문헌 리뷰
  • 블로그
  • 방법

Loading…

LitSynthLitSynth

AI 기반 문헌 분석 및 종합으로 연구 워크플로우를 혁신하세요

DiscordEmail
제품
  • 기능
  • 가격
  • 자주 묻는 질문
리소스
  • 블로그
  • 방법 가이드
  • 변경 로그
친구 링크
  • 논문 찾기
  • LitFigure 과학 도해
회사
  • 연락처
법적
  • 개인정보 보호정책
  • 서비스 약관

연구 워크플로

문헌 리뷰, PubMed 워크플로, 인용 감사, PRISMA-lite 리뷰 계획 가이드를 살펴보세요.

AI 문헌고찰 생성기체계적 문헌고찰 AI 도구PRISMA Lite체계적 문헌고찰 선별체계적 문헌고찰 데이터 추출체계적 문헌고찰 프로토콜 생성기세마글루타이드 체계적 문헌고찰 예시교육 분야 AI 문헌고찰 예시기후 변화 건강 문헌고찰 예시
©️ 2026 LitSynth. 모든 권리 보유.
SCORED ONCE · OVERALL FAIL

미접촉 홀드아웃으로 측정한 스크리닝 안전성과 작업량

미접촉 281건 홀드아웃에서 LitSynth는 오배제 0건, 관련 기록을 모두 보호했습니다. 그러나 82.9%가 여전히 수작업 검토가 필요해 사전등록한 80% 작업량 상한을 넘겼습니다. 따라서 홀드아웃 결과는 실패입니다.

TOPIC / CD000996

TASK / Intervention

RECORDS / 281

PROTOCOL VERSION / 1

POLICY VERSION / title-abstract-v3

PREREG COMMIT / 8fd1e19

BLIND HASH / 282a24a4830f…

STATUS / FAIL — NO RETEST

보호 재현율

100.0%

9/9 건의 관련 기록 보호 · PASS

오배제

0

0.0% 관련 기록 대비

수작업 검토

82.9%

233/281 건 · FAIL (상한 ≤80%)

자동 배제

15.7%

44/281 건을 배제 권고

종합 결과

FAIL

두 게이트를 모두 통과해야 함. 합성 정확도 점수는 없음

01 / 블라인드 해제 전 잠금

실패도 결과의 일부입니다.

안전성은 통과, 작업량은 미달입니다. 작업량 게이트는 2.9퍼센트포인트 부족했습니다. 라벨을 본 뒤 잠긴 정책을 고치거나 코퍼스를 다시 돌리지 않았습니다.

  1. LOCK 01

    코퍼스 잠금

    CD000996: Inhaled corticosteroids for bronchiectasis. 고정한 소스 커밋, 토픽 해시, PMID 목록 해시, 281건은 공개되어 있습니다.

  2. LOCK 02

    정책 잠금

    title-abstract-v3, deepseek-v4-flash, temperature 0.1, batch size 5. 모델, temperature, 배치 크기, 소스 해시는 고정입니다.

  3. LOCK 03

    라벨 전 예측

    281건의 라벨 없는 판정을 모두 기록하고 해시하기 전에는 qrels를 가져올 수 없습니다.

  4. LOCK 04

    안전성과 작업량

    오배제와 보호 재현율을 UNSURE 건수, 수작업 검토율과 함께 공개합니다. 안전하지만 쓸 수 없는 검토 대기열은 통과가 아닙니다.

02 / 감사 추적을 확인하세요

순서, 건수, 실패를 재현할 수 있습니다.

예측 봉인 시각(UTC)
2026-09-01T02:31:50.490Z
라벨 수집 / 블라인드 해제(UTC)
2026-09-01T02:31:50.492Z
블라인드 예측 원문 · SHA-256
282a24a4830f59e1ce7e1b91c449e7dcc9171464784a3075f0cfea827693f486
전체 채점 예측predictions.csv오배제 대장false-excludes.csv수작업 검토 대장manual-review.csv지표와 게이트metrics.json실행 순서와 블라인드 해시run.json코퍼스와 소스 해시manifest.json블라인드 예측blinded-predictions.json기계 판독 사전등록preregistration.json사람이 읽는 사전등록preregistration.md

한계

미접촉 홀드아웃은 한 건뿐입니다. CLEF TAR 토픽 1개, 281건, 금표준 관련 9건, 제목과 초록만 사용했습니다. 보호 재현율은 INCLUDE 또는 UNSURE로 표시된 관련 기록의 비율이며, 모든 관련 기록이 올바르게 포함된 것은 아닙니다.

여기서 수작업 검토는 UNSURE / 전체 기록(233/281)입니다. 대기열 크기이며 실측 검토 시간이 아닙니다. INCLUDE와 EXCLUDE 권고도 사람 확인이 필요합니다. 자동 배제는 모델 권고율이며, 검토 없이 버려도 된다는 뜻이 아닙니다.

이것이 증명하지 않는 것

  • 다른 주제, 코퍼스, 모델, 정책 버전에서의 재현율이나 작업량 절감.
  • 전문 적격성, 자료 추출 정확성, 비뚤림 위험 평가, 주장 단위 인용 합성의 질.
  • Rayyan 등과의 우위. 이는 직접 비교가 아닙니다.
  • 이중 독립 스크리닝이나 최종 포함·배제 판단의 대체.

277건 코퍼스는 더 이상 성능 주장이 아닙니다

라벨이 정책 개정에 쓰였으므로 오차 분석 후 회귀 아카이브로만 남깁니다. 미접촉 홀드아웃은 한 번만 채점했습니다. 실패한 작업량 게이트는 공개하며, 미접촉 증거로 재사용하지 않습니다.

개발 이력 아카이브 열기