AI 팩트체크 3단계, AI 답 그대로 믿기 전에 거르는 법

안녕하세요, 깅글렛이에요.

AI한테 받은 답, 그대로 복사해서 보고서에 붙여 넣은 적 있으시죠? 저도 그러다 한 번 식겁한 적이 있거든요. AI가 멀쩡하게 알려준 숫자가 알고 보니 어디에도 없는 가짜였어요. 그래서 오늘은 AI 답을 발행이나 보고 전에 거르는 AI 팩트체크 3단계를 정리해드릴게요. 출처 요구, 교차 검색, 원문 확인 이 순서만 지키면 돼요.

AI는 왜 모를 때도 자신 있게 지어낼까요

먼저 딱 한 가지만 짚고 갈게요. AI는 모르는 걸 “모른다”고 안 하고 그럴듯하게 지어내는 버릇이 있어요. 이걸 할루시네이션(AI가 거짓 정보를 사실인 척 매끄럽게 내놓는 현상)이라고 불러요.

OpenAI 연구진은 이게 가끔 나는 고장이 아니라 학습 방식에서 나오는 구조적인 문제라고 봤어요. 객관식 시험에서 모르는 문제도 빈칸 대신 찍는 게 점수에 유리하잖아요. AI도 불확실할 때 “모른다” 대신 일단 찍도록 길들여졌다는 거죠. MIT 슬론도 고급 추론 모델조차 애매하면 전략적으로 추측한다면서, 그래서 검증은 타협할 수 없는 기본이라고 정리했어요.

왜 틀리는지 그 원리랑 자주 틀리는 항목들은 예전에 올린 ‘할루시네이션’ 글에서 따로 풀었어요. 오늘은 거기서 한 발 더 나가서, 그럼 이 답을 어떻게 걸러내느냐를 다뤄볼게요. 못 막아요. 대신 거르는 방법은 있어요.

AI 팩트체크 3단계 흐름도 인포그래픽 - ① 출처·근거 요구 → ② 다른 AI·검색으로 교차 → ③ 원문 직접 확인, 각 단계마다 한 줄 행동과 “왜 필요한지” 한 줄, 그린 베이스

1단계, 출처를 요구하되 그 출처마저 의심해요

답을 받으면 곧바로 근거를 같이 내놓게 시켜요. 제일 쉬운 방법이에요. 이렇게 복붙해서 쓰면 돼요.

위 내용의 출처를 3개만, 출처마다 왜 믿을 만한지 한 줄로 같이 줘.
확실하지 않으면 '모른다'고 답하고 지어내지 마.

확신도를 매기게 하는 것도 좋아요. “각 주장마다 확신도를 1~10으로 매기고 이유를 짧게 붙여줘”라고 하면 어디가 약한 답인지 표시가 나거든요. “확실하지 않으면 모른다고 해줘” 같은 조건만 붙여도 추측성 환각이 줄어들어요.

그런데 여기 함정이 하나 있어요. AI는 출처를 요구하면 그럴듯한 가짜 논문이랑 링크, DOI까지 통째로 지어내요. 실제로 한 가이드는 AI가 “2021년 하버드 연구, NeuroCognition Journal”처럼 세상에 없는 출처를 만들어낸 사례를 보여줘요. 형식만 보면 진짜랑 구분이 안 가요.

숫자로도 증명됐어요. 한 연구(Scientific Reports, 2023)에서 ChatGPT가 만든 인용 636개를 분석했더니, GPT-3.5는 55%, GPT-4는 18%가 아예 존재하지도 않는 가짜였어요. 진짜 있는 인용 중에서도 권이나 페이지, 날짜가 틀린 게 수두룩했고요. 출처가 붙어 있다고 진짜라는 보장이 전혀 없다는 얘기예요.

✍️ 저는 거래처에 보낼 시장 자료를 정리할 때 AI한테 통계랑 출처를 같이 받아봤어요. 출처가 깔끔하게 달려 있길래 그냥 믿을 뻔했는데, 한번 링크를 눌러봤더니 페이지 자체가 없더라고요. 그날 이후로 출처는 받기만 하고 절대 그 자리에서 안 믿어요.

그러니까 1단계는 출처를 “받는” 단계지 “믿는” 단계가 아니에요. 받은 출처는 그대로 다음 단계로 넘깁니다.

위험한 답 유형 카드 5종 인포그래픽 - 통계·수치 / 인용·논문·링크 / 법령·판례 / 날짜·연도 / 인물·기관명, 각 카드에 한 줄 검증 포인트, 그린 베이스

2단계, 다른 AI랑 검색으로 교차해요

받은 답이 중요하면 같은 질문을 다른 AI에도 던져봐요. 답이 서로 수렴하면 신뢰도가 올라가고, 한쪽만 말하거나 서로 엇갈리는 내용은 따로 팩트체크 대상으로 표시해요. 한국 실무자들도 제미나이랑 ChatGPT를 같이 돌려서 공통/단독/상반으로 나누는 방식을 권하더라고요.

AI한테 스스로 반론을 시키는 것도 의외로 잘 먹혀요. “위 내용을 반박하는 다른 관점이나 연구 2개를 근거와 함께 제시해줘”라고 하면, 환각은 반대 관점 앞에서 잘 무너지거든요.

같은 질문을 다른 AI에도 똑같이 던져 답을 비교해줘.
그리고 위 내용을 반박하는 관점·연구 2개를 근거와 함께 제시해줘.

통계나 인물, 기관명은 챗봇 답에 기대지 말고 검색 엔진이나 권위 있는 사이트, 학술 DB로 따로 확인해요. 구글 제미나이엔 답변을 구글 검색으로 자동 대조해서 문장마다 색칠해주는 ‘응답 다시 확인(double-check)’ 기능도 있어요. 초록은 비슷한 근거가 있다는 뜻, 주황은 다른 내용이 있거나 근거를 못 찾았다는 뜻이에요. 빠른 1차 교차에 쓰기 좋아요. 다만 주황이라고 무조건 거짓은 아니고 검색으로 확인을 못 했다는 뜻일 수도 있어서, 거기까진 사람이 판단해야 해요.

여기서 꼭 짚을 게 있어요. “검색 붙은 AI니까 믿어도 되겠지”는 틀린 생각이에요. 검색 자료를 같이 읽고 답하는 방식(RAG)은 환각을 줄여주긴 하지만 없애진 못하거든요. 스탠퍼드 RegLab이 법률 질문 202개로 측정해보니, 검색 연동을 붙인 전문 도구조차 Lexis+ AI 17%, Westlaw 33%, 일반 GPT-4는 43%가 환각을 냈어요(2024년 5월 측정, 법률 질문 한정).

📊 그러니까 출처 링크가 붙어 있다고 정확한 게 아니에요. 교차의 진짜 핵심은 내가 다른 경로로 똑같은 사실에 도달하는지를 보는 거예요.

검증의 한계 막대 비교 인포그래픽 - “검색 붙은 AI도 틀린다” Lexis+ AI 17% / Westlaw 33% / 일반 GPT-4 43% 환각률, 하단 캡션 “2024년 5월 측정 · 법률 질문 한정 · 스탠퍼드 RegLab”, 그린 베이스

3단계, 원문을 직접 열어요

마지막은 원문 확인이에요. 출처 링크가 있으면 직접 눌러서 열어봐요. 그리고 두 가지를 봐요. 그 출처가 실제로 존재하는지, 그리고 AI가 말한 내용이 원문에 정말 있고 맥락에 맞게 인용됐는지요.

숫자나 법령, 인용문처럼 한 글자만 틀려도 큰일 나는 정보는 요약본 말고 원문 문장이랑 직접 대조해요. “요약하지 말고 원문에서 그대로 인용해줘”라고 시키면 대조가 훨씬 쉬워져요. “A 매체 보도, B 기관 조사”처럼 재인용된 자료라면 B 기관 원문 보고서까지 거슬러 올라가고요. 재인용 과정에서 기관명이나 수치가 슬쩍 바뀌기 쉽거든요.

왜 이게 최종 안전벨트냐면, 1·2단계를 통과해도 여러 곳에 똑같이 퍼진 틀린 정보는 못 거르기 때문이에요. 원문을 한 번 열어보는 그 1~2분만이 그걸 잡아요.

실제 사고가 이걸 보여줘요. 미국 오리건 연방법원은 존재하지도 않는 판례 15건이랑 가짜 인용문 8건을 의견서에 넣은 변호사들에게 11만 달러를 물렸어요(2025년 12월 결정). 미국에서 AI 환각으로 내려진 제재 중 사상 최대 규모였죠. 한 변호사는 지적을 받고도 슬쩍 고쳐서 다시 냈는데, 그 고친 버전마저 검증을 안 해서 판사가 은폐 시도로 봤어요. 원문 한 번 안 열어본 대가가 이렇게 컸어요.

오리건 가짜 판례 사고 요약 카드 - “원문 한 번이 11만 달러를 가른다”, 가짜 판례 15건 + 가짜 인용문 8건 + 벌금 11만 달러, 하단 캡션 “2025년 12월 미국 오리건 연방법원 결정”, 그린 베이스

이런 답이 나오면 무조건 검증하세요

가이드들이 공통으로 꼽는, 위험한 답 유형이 있어요. 신기하게도 그럴듯하고 구체적일수록 더 의심해야 해요.

통계·수치 존재하지도 않는 조사기관 이름까지 대면서 구체적인 숫자를 지어내요. 원본 보고서 URL과 기관, 표본, 시점을 확인하세요.
인용·논문·출처 링크 가짜 논문이랑 DOI, 링크를 형식만 맞춰 만들어내요. 링크를 직접 열어 원문에 실제로 있는지 보세요.
법령·판례·사건번호 없는 판례나 조항을 그럴듯하게 만들어요. 공식 DB로 실재 여부를 조회하세요.
날짜·연도 최근 자료를 요구하면 발행 연도를 더 최근으로 바꿔치기해요. 원문 발행일을 직접 확인하세요.
인물·기관명 그럴듯한 전문가나 기관을 실존처럼 붙여요. 실제로 있는지, 그 주장이 맞는지 확인하세요.

재밌는 건, 전문가도 헷갈리는 주제에 AI가 너무 단정적으로 답하면 그게 오히려 환각 신호라는 점이에요. 매끄럽고 확신에 차 있을수록 한 번 더 멈춰서 봐야 해요.

“AI는 정답이 아니라 검증하면 쓰는 초안” 메시지 카드 - 위쪽 “그대로 붙여넣는 정답 ❌” / 아래쪽 “검증하면 쓸 수 있는 초안 ✅”, 그린 베이스

자주 묻는 질문

Q. 출처만 물어보면 검증 끝난 거 아닌가요? 아니에요. AI는 가짜 출처도 진짜처럼 지어내요. 실제로 ChatGPT 인용의 상당수가 존재하지 않는 가짜였다는 연구도 있어요. 출처는 받기만 하고, 교차랑 원문 확인까지 가야 검증이 끝나요.

Q. 검색 기능 붙은 AI를 쓰면 믿어도 되나요? 그것도 아니에요. 검색을 붙인 전문 법률 도구조차 17~33%가 환각을 냈다는 측정이 있어요(2024년 5월, 법률 질문 한정). 검색이 붙어도 사람이 다른 경로로 한 번 더 대조하는 게 안전해요.

Q. 매번 3단계를 다 하려면 시간 너무 많이 들지 않나요? 중요도에 따라 조절하면 돼요. 가볍게 참고만 할 답은 1·2단계로 끝내고, 보고서나 발행처럼 책임이 걸린 답만 3단계 원문 확인까지 해요. 원문 한 번 여는 1~2분이 더 큰 사고를 막아줘요.

깅글렛 한줄평

💬 AI는 정답을 주는 기계가 아니라 검증하면 쓸 수 있는 초안을 주는 동료예요. 오늘 받은 AI 답 하나, 출처 링크부터 직접 한 번 열어보세요.

마무리

AI를 못 믿겠다는 얘기가 아니에요. 거르는 습관만 들이면 오히려 더 마음 편하게 잘 쓸 수 있어요. 출처 요구, 교차 검색, 원문 확인. 이 3단계 중에 오늘 하나라도 본인 업무에 끼워 넣어보시는 걸 추천해요.

여러분은 AI 답을 어디까지 검증하고 쓰시나요?

※ 본 글은 2026년 6월 기준 정보를 바탕으로 작성됐어요. 인용한 연구와 사례의 수치는 측정 시점·대상이 정해져 있으니, 본문에 적힌 시점을 함께 봐주세요.