환각과 오류의 검증 — 인용 검증 프로토콜

6.1 환각의 네 가지 유형

“환각(hallucination)”은 AI가 사실이 아닌 내용을 사실처럼 제시하는 현상이다. 학술 글쓰기에서는 네 유형으로 나타난다. 유형 내용 탐지 난이도 ① 존재하지 않는 문헌 저자·연도·제목·저널이 모두 그럴듯하나 중간 실재하지 않음 ② 서지정보 오류 문헌은 실재하나 저자·연도·권호·쪽수가 중간 틀림 ③ 내용 불일치 문헌은 실재하나 인용된 주장이 원문에 높음 없음 ④ 사실·수치 오류 통계, 연도, 제도, 용어 정의가 틀림 높음 가장 위험한 것은 ③ 내용 불일치다. 서지정보가 정확하므로 검색으로는 걸러지지 않고, 원문을 실제로 읽어야만 발견된다. 그리고 심사자는 자기 분야의 문헌을 읽은 사람이므로, 이 오류를 정확히 잡아낸다.

6.2 3단계 인용 검증 프로토콜

모든 인용에 대해 다음 세 단계를 순서대로 적용한다. 1단계 — 실재 확인(Existence)

• 검색 대상: Google Scholar, Scopus, Web of Science, ERIC, RISS, KCI, 출판사 사이트

• 확인 사항: 해당 제목의 논문이 실제로 존재하는가

• 판정: 검색되지 않으면 즉시 삭제한다. “찾지 못했지만 있을 것”이라는 판단은 하지 않는다. 2단계 — 서지 일치 확인(Accuracy)

• 확인 사항: 저자명 철자, 발행 연도, 저널명, 권(volume)·호(issue), 쪽수, DOI

• 방법: DOI를 https://doi.org/[DOI]로 직접 열어 원문 서지와 대조

• 판정: 하나라도 불일치하면 원문 기준으로 수정한다. 3단계 — 내용 일치 확인(Correspondence)

• 확인 사항: 내가 인용한 주장이 그 문헌에 실제로 있는가, 맥락이 왜곡되지 않았는가

• 방법: 원문에서 해당 부분을 찾아 읽는다. 최소한 초록과 결론은 반드시 읽는다.

• 판정: 원문에 없으면 인용을 삭제하거나, 실제로 그 주장을 하는 문헌으로 교체한다. 원칙. 3단계를 통과하지 못한 인용은 원고에 남기지 않는다. 예외는 없다. 이 원칙 하나만 지켜도 AI 사용에서 오는 가장 심각한 위험은 제거된다.

6.3 검증 기록표

고위험 영역의 검증은 기록으로 남긴다. 심사자나 편집자가 문의할 때, 그리고 학위논문 심사에서 근거가 된다. 인용(저자, 1단계 2단계 3단계 번호 연도) 실재 서지 내용 조치 확인일 1 ○/× ○/× ○/× 유지/수정/ 삭제

6.4 사실·수치의 검증

인용 외에도 다음 항목은 반드시 별도로 확인한다.

• 통계 수치: 자신의 분석 결과와 본문 서술이 일치하는가. 표의 값과 본문의 값이 같은가.

• 제도·정책 정보: 법령·제도·기관명은 변경이 잦다. 원출처(정부·기관 공식 사이트)에서 확인한다.

• 용어 정의: AI가 제시한 정의가 해당 분야의 표준 정의와 일치하는가. 원전(primary source)으로 확인한다.

• 연구 방법의 절차: 통계 기법의 가정, 절차, 보고 방식이 표준과 맞는가.

6.6 최종 점검 순서

투고 직전 다음 순서로 한 번에 점검한다. 1. 참고문헌 목록의 모든 항목에 3단계 프로토콜 적용 2. 본문 인용과 참고문헌 목록의 상호 일치 확인(본문에 있는데 목록에 없거나, 그 반대) 3. 표·그림의 수치와 본문 서술 대조 4. 주장 강도 점검(6.5의 마지막 항목) 5. 유사도 검사 실시 및 표시 구간 확인 6. 검증 기록표 완성 및 보관 자기 점검

• 내 원고의 인용 중 원문을 직접 열어 확인한 비율은 몇 퍼센트인가?

• 3단계를 통과하지 못한 인용을 발견했을 때 나는 삭제할 준비가 되어 있는가?