AI 할루시네이션, 직장인이 꼭 알아야 할 거르는 법

안녕하세요, 깅글렛이에요.

혹시 “세종대왕 맥북프로 던짐 사건” 들어보셨어요? 챗봇한테 물었더니 진짜 있었던 일처럼 술술 지어낸 그 밈이요.

저도 처음엔 웃고 넘겼는데, 막상 보고서에 AI 답을 붙여 쓰다 보니 이 AI 할루시네이션이 남 일이 아니더라고요.

결론부터 말하면, AI 할루시네이션은 못 막아요. 대신 거르는 습관은 들일 수 있어요.

왜 생기는지, 실제 사고 사례, 직장인이 바로 쓰는 거르기 6가지 순으로 풀어볼게요.

할루시네이션은 AI가 모르면서 자신 있게 지어내는 현상이에요

먼저 말부터 정리하고 갈게요. AI 할루시네이션(환각)은 쉽게 말하면 “AI가 거짓이거나 오해를 부르는 정보를 사실인 것처럼 그럴듯하게 내놓는 응답”이에요. 위키피디아도 “사실로 제시된 거짓 또는 오해를 부르는 정보”라고 거의 같은 식으로 정의하고 있고요.

좀 더 직장인 버전으로 줄이면 이래요. AI가 모르는 걸 모른다고 안 하고, 틀린 답을 매끄러운 문장으로 자신 있게 지어내는 거예요. 무서운 건 그 문장이 너무 자연스러워서, 읽는 사람이 “어, 맞나 보다” 하고 넘어가게 만든다는 점이에요.

여기서 한 가지는 짚고 갈게요. “AI도 사람처럼 헛것을 본다”는 뜻은 아니에요. 사람 환각은 감각·지각 경험이지만, AI 쪽은 작화증(없는 걸 그럴듯하게 끼워 맞추는 것)에 더 가깝거든요. 감정이 아니라 작동 방식 자체에서 나오는 거라, “달래면 낫는” 그런 게 아니에요.

할루시네이션 개념 포인트 카드 - “할루시네이션 = 모르는 걸 모른다 안 하고 그럴듯하게 지어내는 것”이라는 한 줄 정의와, 사람 환각(감각) vs AI 작화증(작동 방식) 비교 아이콘

시험에서 모르는 문제도 일단 찍는 학생이랑 똑같아요

그럼 똑똑한 AI가 왜 이런 실수를 할까요? 핵심은 AI가 진실을 아는 게 아니라는 데 있어요.

LLM(대규모 언어모델)은 앞에 나온 단어들을 보고 “다음에 올 법한 단어”를 확률로 이어 붙이는 모델이에요. 한마디로 자동완성의 고급 버전이죠. 사실인지 아닌지를 따로 검증하는 장치가 없어서, 추론하다 생긴 작은 오류가 그대로 그럴듯한 거짓말로 번져요.

여기에 더 결정적인 이유가 있어요. OpenAI 연구진이 2025년 9월에 낸 논문은 환각을 “그럴듯하지만 틀린 진술”로 정의하면서, 이게 모델의 특이한 고장이 아니라 학습·평가 방식에서 나온 구조적 문제라고 봤어요. 비유가 찰떡인데요.

객관식 시험에서 모르는 문제를 빈칸으로 두면 0점이잖아요. 그러니 학생은 일단 찍어요. 가끔 맞으면 점수가 오르니까요. AI도 똑같은 방식으로 평가받아서, 불확실할 때 “모른다”고 하기보다 그럴듯하게 찍는 쪽이 점수에 유리하게 학습됐어요.

실제로 주요 벤치마크 10개 중 9개가 “맞으면 1점, 틀리거나 모른다고 하면 0점” 식의 이진 채점을 써요. 모른다고 솔직히 답해도 어차피 0점이니, 모델 입장에선 찍는 게 남는 장사인 거죠. 연구진은 이런 압력 때문에 기반 모델의 환각이 “통계적으로 불가피”하다고까지 봤어요.

이게 얼마나 막무가내인지 보여주는 실험도 있어요. 한 모델한테 특정 인물의 생일을 묻자, “모르면 답하지 말라”고 했는데도 틀린 날짜를 세 개나 각기 다르게 내놨대요. 모르면 모른다고 하면 될 걸, 끝까지 확신에 차서 지어낸 거예요.

단계 다이어그램 - “다음 단어 확률 예측 → 사실 검증 장치 없음 → 이진 채점이 ’찍기’에 보상 → 확신에 찬 오답” 4단계 흐름도

가짜 판례가 이미 한국 법정까지 들어왔어요

원리만 보면 “그래봤자 좀 틀리는 정도겠지” 싶죠. 근데 실제 사고를 보면 생각이 달라져요.

가장 상징적인 첫 사건은 미국에서 났어요. 2023년, 한 변호사가 ChatGPT를 “슈퍼 검색엔진”쯤으로 여기고 법률 리서치에 썼는데, 의견서에 존재하지 않는 가짜 판례 6건이 가짜 인용문까지 붙어 들어갔어요(Mata v. Avianca 사건). 상대측이 “이런 판례 못 찾겠다”고 지적했는데도 바로 철회하지 않았고요. 결국 법원은 변호사들과 로펌에 5,000달러 벌금을 부과했어요. 다만 판사는 “신뢰할 수 있는 AI 도구를 쓰는 것 자체가 부적절한 건 아니다”라고 선을 그었어요. 도구가 문제가 아니라, 검증 없이 낸 게 문제라는 거죠.

남의 나라 얘기 같죠? 그런데 한국 법정에도 이미 들어왔어요. 2025년 들어 사례가 줄줄이 보고됐거든요.

한 지방 형사재판부가 변호사 의견서에 인용된 판결 5건을 전산망에서 조회했더니, 모두 존재하지 않았어요. 변호사는 “AI를 사용했다”고 인정하고 철회했고요. (2025년 9월 보도, 한국 첫 보고 사례)
용인동부경찰서는 아동복지법 사건 불송치 결정문에 대법원·서울북부지법 판결을 인용했는데, 확인해보니 그 판시가 실제 판결엔 없었어요. 국정감사에서 “챗GPT로 한 것”이라고 인정했고요.
울산에서는 부당해고 사건 노무사 답변서에 인용된 판례 10건의 원문을 하나도 못 찾았어요. 법원행정처도 “다 없는 사건”이라고 답했대요.
서울북부지법은 한 나 홀로 소송에서 원고가 낸 대법원 사건번호를 두고 “AI가 만들어낸 존재하지 않는 사건번호”라고 판결문에 대놓고 명시했어요.

이쯤 되니 사법부도 움직였어요. 법원행정처가 2026년 3월, AI 환각 대응 방안을 내놨거든요. 검증 없이 AI 자료를 인용한 변호사는 대한변협 징계 의뢰가 가능하고, 허위 법령으로 소송을 끌면 소송비용을 당사자에게 물릴 수도 있게요. 2026년 2월부터는 AI가 댄 사건번호가 실제 있는지 확인하는 서비스도 열었어요.

법원 대응 정책 카드 - “법원행정처 AI 환각 대응(2026.03)“을 헤드라인으로, ①검증 없이 인용 시 대한변협 징계 의뢰 ②허위 법령으로 소송 끌면 소송비용 부담 ③허위 사건번호 확인 서비스(2026.02) 세 항목을 체크 아이콘으로 정리, 상단에 법원 로고풍 아이콘

법원 인공지능연구회는 2025년 2월 가이드라인에서 더 단호하게 정리했어요. “현재 법조인 수준으로 법리를 검토할 수 있는 AI는 없다”고요. 중앙대 이재성 교수는 “GPT나 제미나이는 문장을 유려하게 만드는 데 목적이 있고, 답변의 사실 여부 검토는 별개”라고 짚었어요. 이 한 줄이 할루시네이션의 본질을 제일 잘 보여주는 것 같아요.

비교 카드 - 좌측 해외 “Mata v. Avianca 가짜 판례 6건·5,000달러 벌금”, 우측 한국 “변호사 5건·경찰·노무사 10건·가짜 사건번호 판결문 명시” 사례 묶음을 지도/국기 아이콘과 함께 정리

똑똑한 최신 모델일수록 더 틀리는 역설도 있어요

여기서 좀 의외인 반전이 하나 있어요. 보통 “최신 모델이니까 더 정확하겠지” 생각하잖아요. 근데 꼭 그렇지가 않더라고요.

OpenAI의 추론 모델을 보면, 인물 사실을 회상하는 PersonQA 테스트에서 o3는 33%, o4-mini는 48% 비율로 환각을 일으켰어요. 그런데 이전 모델인 o1은 16%였거든요. 옛날 모델 16%에서 새 모델은 33%·48%로, 오히려 더 틀린 거예요. OpenAI는 “이 모델들이 전반적으로 더 많은 주장을 하다 보니, 맞는 주장도 늘지만 틀린 주장도 같이 늘어난다”고 설명했고, “원인은 더 연구해야 한다”고 인정했어요.

그래서 “AI 환각률은 몇 %?“라고 단답을 기대하면 안 돼요. 단일한 환각률이라는 건 없거든요. 벤치마크마다 재는 게 달라요. 문서를 충실히 요약하는지, 모를 때 안 찍고 기권하는지, 출처를 제대로 다는지 전부 따로예요.

예를 들어 한 리더보드(Vectara, 2026년 5월 기준)는 “주어진 문서를 요약할 때 환각을 얼마나 끼워 넣는지”를 재는데요. 여기선 일반 모델보다 명시적 추론 모델(o3-Pro 23.3%, o4-mini 18.6%)이 환각률이 오히려 꽤 높게 나왔어요.

재미있는 건 정확도(많이 아는 것)랑 환각률(모를 때 안 찍는 절제력)이 따로 논다는 점이에요. 많이 알아도 모를 때 자꾸 찍으면 환각률이 높아져요. 결국 “똑똑함”이랑 “안 지어냄”은 다른 능력인 거죠.

막대그래프 - PersonQA 환각률 비교 “o1 16% / o3 33% / o4-mini 48%”, 최신 모델로 갈수록 막대가 높아지는 역설을 강조

AI 답은 일단 의심, 직장인이 현장에서 쓰는 거르기 6가지

그럼 어떻게 써야 할까요. 못 막는다고 안 쓸 순 없잖아요. AI 할루시네이션을 완전히 막을 순 없지만, 핵심은 “AI를 믿지 말고 검증하며 쓰는 것”이에요. 제가 업무에 적용해본 것까지 묶어서 6가지로 정리해볼게요.

첫째, 출처를 요구하되 그 출처를 직접 열어 확인해요. “답변 출처도 같이 알려줘. 없으면 모른다고 해줘”라고 시키면 허위 인용을 좀 줄일 수 있어요. 단, 여기서 끝내면 안 돼요. AI는 출처 링크까지 그럴듯하게 지어내거든요. 한 전문가는 “링크까지 포함하라고 했더니 링크마저 가상으로 만들어버리더라”고 했어요. 결국 출처를 단다고 그게 진짜라는 보장은 없다는 거죠.

둘째, 검색연동(RAG)을 쓰되 맹신하진 말아요. 믿을 만한 자료를 같이 넣어주는 방식(RAG)은 환각을 꽤 줄여줘요. 근데 완전히 없애진 못해요. 스탠퍼드 연구에서 법률 AI도 Lexis+ AI 17%, Westlaw 33%, 일반 GPT-4는 43%나 환각을 냈거든요. 연구진은 일부 업체의 “100% 환각 없음” 주장에 대해 “과장됐다”고 결론지었고요.

✍️ 저는 회의록 정리할 때 이 방식을 자주 써요. AI한테 미리 시키지 않고, 녹취나 메모를 통째로 붙여 넣은 다음 “이 안에 있는 내용으로만 정리해줘”라고 못을 박아두거든요. 예전에 그냥 시켰다가 회의에서 안 나온 안건이 슬쩍 끼어 있길래 식겁한 뒤로 생긴 습관이에요. 자료를 직접 주면 옛날 학습 지식보다 방금 준 데이터를 먼저 보게 돼서 한결 안심돼요.

셋째, “모르면 모른다고 답하라”고 미리 못 박아요. “확실하지 않으면 모른다고 답해줘”라는 조건을 붙이면 추측성 환각이 줄어요. 좀 더 세게는 “90% 이상 확신할 때만 답하고, 틀리면 답 못 하는 것보다 더 큰 감점을 받는다”는 식으로 규칙을 줄 수도 있어요. 다만 앞서 본 생일 실험처럼 이렇게 시켜도 끝까지 지어내는 경우가 있어서, 프롬프트랑 사람 검증은 함께 가야 해요.

넷째, 요약 말고 원문을 직접 인용하게 시켜요. “요약하지 말고 원문에서 그대로 인용해줘”라고 하면 사실 왜곡이 줄어요. 더 강하게는 “근거가 되는 문장을 본문에서 먼저 그대로 적어줘”라고 시키면, AI가 추측 대신 눈앞의 자료에 발을 붙이게 돼요. 숫자나 법령처럼 한 글자도 틀리면 안 되는 일에 특히 잘 들어요.

다섯째, 교차검증해요. 같은 질문을 다른 AI한테도 던져보세요. 답이 비슷하면 신뢰도가 올라가고, 엇갈리면 환각 신호예요. 후속 질문으로 앞뒤가 맞는지 확인하는 것도 좋고요. AI한테 자기 답을 스스로 검증하게 시키는 방법(검증의 사슬)도 있는데, 단순 프롬프트보다 환각을 더 잘 줄여줘요.

여섯째, 숫자·이름·날짜·법령은 무조건 사람이 1차 출처로 확인해요. 환각은 이런 구체적인 디테일을 그럴듯하게 끼워 넣어서 신뢰감을 줘요. 그러니 정밀한 정보일수록 더 의심해야 해요. 전문가도 헷갈려하는 주제에 AI가 너무 단정적이면, 오히려 그게 환각 신호라는 거죠.

거르기 6단계 체크리스트 인포그래픽 - “①출처 요구+직접 확인 ②RAG 맹신 금지 ③모르면 모른다 ④원문 직접 인용 ⑤교차검증 ⑥숫자·이름·날짜 1차 확인”을 번호와 아이콘으로 정리

회의록 한 줄도 그냥 안 믿게 됐어요

이쯤 되면 좀 무섭게 들릴 수도 있는데요. 사실 AI를 쓰지 말자는 얘기가 전혀 아니에요. 제 경우엔 AI 덕에 자료 검토하고 초안 잡는 시간이 확실히 줄었거든요.

다만 결과를 대하는 태도가 바뀌었어요. 예전엔 AI가 정리해준 자료를 거의 그대로 보고서에 옮겼는데, 요즘은 숫자랑 인용은 한 번씩 원문이랑 대조해요. 솔직히 처음엔 “이렇게까지 해야 하나” 싶었는데, 가짜 판례 사건들을 보고 나니 이게 귀찮은 게 아니라 안전벨트 같은 거더라고요. 한 번 더 보는 그 1분이, 틀린 자료가 윗선까지 올라가는 사고를 막아주는 거니까요.

그래서 저는 할루시네이션을 “AI의 단점”보다 “AI를 쓰는 사람이 갖춰야 할 기본기”로 봐요. 업계도 이제 “환각 0%“를 좇기보다 “불확실성을 어떻게 관리할까”로 시선을 옮기는 분위기고요.

마무리 컨셉 이미지 - 책상 위 노트북 화면에 AI 답변이 떠 있고, 그 옆에서 사람이 빨간 펜으로 숫자에 체크하는 장면, 하단에 “믿지 말고 검증하며 쓰기” 문구

깅글렛 한줄평

💬 AI 할루시네이션은 끄는 게 아니라 거르는 거예요. 오늘 6가지 중에 “숫자·이름·날짜는 원문 대조” 이거 하나만이라도 이번 주 업무에 끼워보세요. 그거면 사고의 대부분을 막을 수 있답니다.

마무리

오늘 주제는 AI를 쓰지말자는 이야기가 아니라, 한 번 더 확인하는 습관을 가지자는 이야기랍니다.

다음 글에서는 ’블로그 썸네일 AI로 5분 만에 만들기’로 찾아올게요. 텍스트 말고 이미지 쪽 활용이라 또 다른 재미가 있을 거예요.

※ 본 글은 2026년 5월 기준 정보를 바탕으로 작성됐어요. AI 모델·기능·정책은 추후 변경될 수 있어요. ※ 환각률 수치는 측정 벤치마크·시점에 따라 크게 달라지니, 본문의 “어떤 측정·언제 기준”을 함께 봐주세요.