ChatGPT의 가짜 인용: AI는 왜 참고문헌을 만들고, 어떻게 피할 수 있는가
ChatGPT 같은 대형 언어 모델은 실재하는 것처럼 보이지만 없는 참고문헌을 자주 만든다. 왜 생기는지, 어떻게 찾는지, 문헌 리뷰에서 더 안전한 순서는 무엇인지.
ChatGPT에게 문헌 리뷰를 시키면 매끈한 단락과 자신 있는 인용이 나온다. 저자, 연도, 학술지 이름, DOI까지. 문제는 그중 상당수가 존재하지 않는다는 점이다.
가끔 나는 고장이 아니다. LLM이 만든 참고문헌을 감사한 연구들은 반복해서 날조를 찾았다. 2023년 Cureus에 실린 연구에서는 GPT-3.5가 만든 참고문헌의 약 47%가 완전히 날조였고, 실재하는 것에도 오류가 많았다. 이후 모델은 나아졌지만 문제는 사라지지 않았다. GPT-4도 학술 과제에서 날조나 잘못 붙인 인용을 무시할 수 없는 비율로 남긴다.
대학원생과 연구자에게, 투고 원고에 가짜 인용이 하나 있는 손실은 AI가 아낀 시간보다 크다.
언어 모델이 인용을 만드는 이유
LLM은 데이터베이스가 아니다. 그럴듯한 다음 단어를 예측하는 장치다. 맨 채팅에서는 인용 환각이 거의 구조적으로 난다.
1. 인용은 검색이 아니라 생성이다
ChatGPT가 “(Smith et al., 2021)”이라고 쓸 때 아무것도 찾지 않는다. 훈련 데이터에 나온 인용 꼴과 통계적으로 비슷한 문자열을 만들 뿐이다. 저자명, 학술지, 연도가 붙는 이유는 같이 두면 그럴듯해서이지, 그 논문이 있어서가 아니다.
2. 훈련 목표는 “참”이 아니라 “참처럼 보임”이다
예를 들어 “Machine learning approaches for early sepsis detection: a systematic review. Journal of Clinical Medicine, 2022” 는 완전히 그럴듯한 문자열이다. 논문이 없어도 모델은 일을 끝낸 것이다. 최적화 대상은 진실성이 아니었다.
3. 자신감은 불확실함을 싣지 않는다
날조한 인용도 실재하는 인용과 같은 유창함으로 나온다. “검색했다”와 “만들었다”를 가르는 신호는 모델 안에 없다. 가리는 부담은 전부 읽는 사람에게 남는다.
가짜 인용을 찾는 법
AI가 쓴 인용을 원고에 넣기 전에 이것을 통과시킨다.
- 제목을 그대로 검색한다. Google Scholar, PubMed, Semantic Scholar. 완전한 제목으로 안 나오면 위험 신호다.
- DOI를 푼다. doi.org에 붙인다. 날조된 DOI는 풀리지 않거나 다른 논문을 가리킨다.
- 저자와 학술지의 짝을 본다. 환각은 실재하는 저자를, 그 사람이 쓴 적 없는 학술지와 묶는 일이 많다.
- 존재만이 아니라 주장을 맞춘다. 실재하는 논문을, 그 논문이 하지 않은 말에 인용하는 편이 없는 논문보다 찾기 어렵고 해도 크다.
손작업은 된다. 양에는 못 버틴다. 40편을 하나씩 확인하면 몇 시간이 되고, AI가 아낀 시간은 사라진다.
더 안전한 순서: 생성이 아니라 검색이 먼저
구조적인 수정은 순서를 뒤집는 것이다. “글을 만들고 인용이 진짜이기를 바란다”가 아니라 “실재하는 논문을 모아 거기에서만 쓴다”.
| 작업 | 인용의 출처 | 환각 위험 |
|---|---|---|
| 챗봇(ChatGPT 등) | 훈련 데이터에서 생성 | 높음 |
| 챗봇 + 웹 검색 | 검색과 생성이 섞임 | 중간 |
| 검색을 먼저 하는 리뷰 도구 | 학술 데이터베이스에서 가져온 논문 | 낮음. 다만 주장의 지지는 따로 확인한다 |
검색을 먼저 하는 흐름은 이렇다.
- 실재하는 데이터베이스를 검색한다. 연구 질문에서 학술 색인의 논문을 가져온다.
- 쓰기 전에 선별한다. 관련성을 보고 초고를 받칠 것을 고른다.
- 고른 논문에서만 생성한다. 초고가 인용할 수 있는 것은 그 집합뿐이므로, 없는 문헌은 구조상 만들 수 없다.
- 주장의 지지를 감사한다. 인용이 실재해도, 내보내기 전에 그 논문이 그 주장을 받치는지 본다.
LitSynth의 인용 감사 가 이 순서다. 논문을 가져오고, 근거를 고르고, 고른 논문으로 인용이 달린 초고를 만든 뒤, 지지가 약한 주장에 내보내기 전에 표시한다. 전체 순서는 문헌 리뷰 작업 에 있다.
자주 나오는 질문
ChatGPT 인용은 항상 가짜인가. 아니다. 유명한 논문은 실재하는 인용도 나온다. 문제는 하나씩 보지 않으면 어느 것이 진짜인지 모른다는 점이다.
GPT-4 같은 새 모델이면 인용은 안전한가. 더 안전할 뿐, 안전하지는 않다. GPT-3.5보다 날조 비율은 꽤 내려갔다. 감사에서는 아직도 날조나 잘못 붙인 인용이 나온다. 투고에서 “가끔 날조”는 받아들일 수 없다.
문헌 리뷰에 ChatGPT를 써도 되는가. 검색어 아이디어, 직접 준 논문의 요약, 자기 초고를 다시 짜는 일에는 쓸 수 있다. 위험한 곳은 아무것도 없는 데서 인용을 내게 하는 일이다. 생성은 직접 가져온 논문에 묶어 둔다.
AI가 만든 참고문헌을 가장 빨리 확인하는 방법은. Google Scholar에서 제목을 그대로 찾고 DOI를 풀면 날조의 상당수가 걸러진다. 주장 단위로 양을 보려면 인용 감사가 들어 있는 도구를 쓴다.
결론
가짜 인용은 언젠가 고쳐질 고장이 아니다. 생성을 먼저 하는 작업의 성질이다. 고침은 구조다. 먼저 실재하는 논문을 가져오고, 고른 것에서만 쓰고, 내보내기 전에 주장의 지지를 감사한다. 문헌 리뷰는 출처까지 따라갈 수 있어야 감사할 수 있다.