AI는 왜 거짓말(환각)을 할까, KAIST 옴니RAG로 보는 해법

안녕하세요, 깅글렛이에요.

AI한테 뭘 물어보면 가끔 너무 자신 있게 틀린 답을 내놓을 때가 있죠. 이걸 ’AI 환각’이라고 불러요. AI가 환각을 내는 건 구조 때문이고, 이걸 줄이려고 나온 방법이 바로 RAG예요. 그리고 며칠 전 KAIST가 그 RAG를 한 단계 끌어올린 기술을 발표했어요.

이번엔 환각이 뭔지부터 RAG, KAIST 신기술까지 누구나 알기 쉽게 풀어볼게요.

AI 환각, 모르는 걸 자신 있게 지어내는 거예요

먼저 환각이 뭔지 가볍게 정리할게요. AI 환각(할루시네이션)은 AI가 틀린 정보를 사실인 것처럼 그럴듯하게 내놓는 걸 말해요. 위키피디아도 “사실로 제시된 거짓 정보”로 정의하고 있고요.

쉽게 말하면 모르는 걸 모른다고 안 하고, 틀린 답을 매끄러운 문장으로 자신 있게 써내는 거예요. 문장이 워낙 자연스러워서 읽는 사람이 “맞나 보다” 하고 넘어가는 게 진짜 위험한 부분이죠.

📖 **AI 환각(할루시네이션)**이란? AI가 모르는 내용을 틀리게, 그런데 아주 자신 있게 지어내는 현상이에요.

왜 이런 일이 생기냐면, AI의 작동 방식 자체에 이유가 있어요. ChatGPT·Claude 같은 LLM(대규모 언어모델)은 사실을 검증하는 게 아니라 “다음에 올 법한 단어”를 확률로 이어 붙이는 모델이거든요. 사실 확인 장치가 따로 없으니, 모르는 자리는 그럴듯하게 메워버리는 거예요.

환각이 왜 생기는지 더 깊은 이야기랑, 실무에서 거르는 방법은 예전에 올린 ‘AI 할루시네이션, 직장인이 꼭 알아야 할 거르는 법’ 글에서 자세히 다뤘어요. 오늘은 그 다음 이야기, 그러니까 이 환각을 어떻게 줄이느냐로 바로 넘어갈게요.

인포그래픽 - AI 환각 개념 한 컷. 왼쪽 “사람: 모르면 모른다고 함” vs 오른쪽 “AI: 모르면 그럴듯하게 지어냄(환각)”, 하단에 “원인 = 사실 검증이 아니라 다음 단어를 확률로 잇는 구조”

RAG는 AI한테 오픈북 시험을 보게 하는 방식이에요

그럼 환각을 어떻게 줄일까요? 가장 많이 쓰는 방법이 RAG예요.

📖 **RAG(검색증강생성)**란? AI가 답을 지어내기 전에, 믿을 만한 외부 자료를 먼저 검색해 그걸 근거로 답하게 만드는 방식이에요.

이름이 어렵지 원리는 단순해요. 보통 AI는 자기가 학습한 기억에만 의존해서 답해요. 학습 안 한 내용이나 최신 정보는 모르니까 빈칸을 지어내고요. RAG는 답하기 전에 관련 자료를 먼저 찾아보고, 그 자료를 근거로 답을 만들게 해요.

저는 이걸 시험에 빗대 이해하면 편하더라고요. 기억에만 의존하는 게 책 덮고 보는 시험이라면, RAG는 책을 펴놓고 보는 오픈북 시험이에요. 실제 자료를 보고 답하니 허구를 지어낼 가능성이 줄어드는 거죠.

동작은 이름 그대로 3단계예요.

검색(Retrieval): 질문과 관련된 자료를 외부 DB에서 찾아요.
증강(Augmented): 찾은 자료를 AI한테 같이 넣어줘요.
생성(Generation): AI가 그 자료를 근거로 답을 만들어요.

이 방식의 좋은 점은 환각만 줄이는 게 아니에요. AI가 학습 시점 이후의 최신 정보를 모르는 문제까지 같이 보완해줘요.

인포그래픽 - RAG 3단계 흐름 다이어그램. ① 검색(외부 DB에서 자료 찾기) → ② 증강(찾은 자료를 AI에 넣기) → ③ 생성(자료 근거로 답 만들기), 화살표로 연결

다만 한 가지는 짚고 갈게요. RAG도 환각을 완전히 없애진 못해요. 6회차에서 소개한 스탠퍼드 연구처럼, RAG를 쓴 법률 AI도 17~33%는 여전히 환각을 냈거든요. 그래서 더 정확한 RAG를 만들자는 흐름이 생겼고, 이번 KAIST 연구가 바로 거기에 있어요.

기존 RAG의 약점은 복잡한 질문에 약하다는 거예요

KAIST가 뭘 풀었는지 이해하려면, 기존 RAG의 약점을 먼저 봐야 해요.

지금까지 RAG는 주로 벡터 검색 한 가지에 기댔어요. 질문과 문서를 숫자로 바꿔서 의미가 비슷한 자료를 찾아주는 방식이에요. 줄글로 된 문서엔 강하죠.

문제는 좀 복잡한 질문이에요. 예를 들어 “A와 거래한 회사들 중, 2024년 이후 계약한 곳에서 나온 X 제품 불량”을 물으면 어떻게 될까요? 이건 회사들 사이의 ’관계’도 따져야 하고, 날짜·유형 같은 ’조건’도 같이 걸러야 해요. 벡터 검색 하나로는 이런 걸 동시에 처리하기 어려워요.

그래서 기존엔 성격이 다른 DB 세 개를 따로 두고 각각 검색한 뒤 결과를 합쳐야 했어요. 이 과정에서 데이터가 오가며 빠지거나 어긋나기 쉬웠고, 그 틈으로 환각이 끼어들 여지가 커졌죠.

여기서 DB 세 가지를 한 번 짚고 갈게요. 옴니RAG를 이해하는 데 이게 바탕이 되거든요.

DB 종류	무엇을 잘 하나
벡터 DB	의미가 비슷한 문서·문장 찾기(유사도 검색)
그래프 DB	사람·회사 같은 대상들 사이의 관계·연결 분석
관계형 DB	표로 정돈된 데이터에서 정확한 조건 거르기

결론은 이거예요. 셋이 잘하는 일이 다 달라서, 복잡한 질문엔 셋이 다 필요해요.

📖 벡터·그래프·관계형 DB란? 벡터는 비슷한 의미 찾기, 그래프는 관계 분석, 관계형은 표 형태의 정확한 조건 걸기에 강한 데이터 저장소예요.

인포그래픽 - DB 3종 비교 카드 3개. ① 벡터 DB “의미 비슷한 문서 찾기” ② 그래프 DB “대상 간 관계 분석” ③ 관계형 DB “표에서 정확한 조건 거르기”, 하단에 “기존엔 따로따로 → 느리고 부정확”

KAIST 옴니RAG는 세 DB를 한 시스템으로 합쳤어요

이번 발표의 가장 큰 부분이 여기예요. KAIST 김민수 전산학부 교수 연구팀이 교원창업기업 ㈜그래파이(GraphAI)와 함께 새 기술 두 가지를 내놨어요. 국내 보도는 6월 19일에서 20일 사이에 집중됐고요.

📖 옴니RAG·아카식DB란? 아카식DB는 벡터·그래프·관계형 DB를 한 시스템으로 합친 차세대 데이터베이스이고, 옴니RAG는 그 아카식DB를 활용한 새 RAG 기법이에요.

핵심은 따로 놀던 세 DB를 하나의 시스템(DBMS)으로 합쳤다는 거예요. 그래서 옴니RAG는 의미를 찾는 벡터 검색, 관계를 보는 그래프 탐색, 날짜·유형을 거르는 관계형 필터링을 한 번의 질문 안에서 동시에 처리해요.

작동 원리는 이렇게 정리돼요. 예전엔 세 DB를 따로 검색하고 결과를 옮기다 보니 중간에 누락·오류가 생겼어요. 옴니RAG는 이 중간 이동을 줄여서, 의미·관계·조건을 한꺼번에 따져 더 정확한 근거를 찾아내요. 근거가 부실해서 생기던 환각을 그만큼 줄이는 거죠.

김민수 교수는 KAIST 보도자료에서 이렇게 밝혔어요. “AI 에이전트가 기업이 보유한 방대한 데이터를 정확히 이해하고 활용하려면, 벡터·그래프·관계형 데이터를 하나의 시스템에서 통합 처리할 수 있는 데이터 인프라가 필수적이다.”

이 연구는 데이터베이스 분야에서 권위 있는 국제학회인 ACM SIGMOD 2026에서 6월 2일 발표됐어요. 형식은 시스템을 직접 시연해 보이는 데모 논문이에요. 정식 풀페이퍼와는 좀 다르지만, 보도자료만 있는 주장이 아니라 국제학회에 올라간 연구라는 점은 분명해요.

인포그래픽 - 옴니RAG 구조. 위쪽 “기존: 벡터·그래프·관계형 DB 따로 검색 → 합치기(느림·누락)”, 아래쪽 “옴니RAG: 한 시스템(아카식DB)에서 한 번에 처리(빠름·정확)”, 출처 라벨 “KAIST 김민수 교수팀 + ㈜그래파이, ACM SIGMOD 2026”

정확도 78% 향상, 어떻게 읽어야 정확할까요

성능 수치가 인상적인데, 읽는 법을 정확히 짚고 갈게요. 연구팀이 내놓은 수치는 두 가지예요.

답변 정확도: 기존 RAG 대비 최대 78% 향상(연구팀 실험 기준)
처리 속도: 복합 검색 질문이 21.3초에서 1초 이내로, 최대 20배 이상 빨라짐(연구팀 실험 기준)

여기서 78%를 오해하면 안 돼요. 옴니RAG의 정확도가 78%라는 뜻이 아니에요. 기존 RAG와 비교했을 때 정확도가 최대 78%만큼 더 올랐다는 뜻이에요. 두 수치 모두 KAIST·그래파이 연구팀이 직접 한 실험 결과이고, 독립된 제3자가 검증한 수치는 아니에요. 그래서 ’최대치’이자 ’기존 대비’라는 점을 같이 봐야 해요.

다만 앞서 말했듯 이게 SIGMOD 2026 데모 논문으로 게재된 연구라는 점은 신뢰 요소예요. 과장된 보도자료와는 결이 다르죠.

이 기술이 노리는 곳은 일반 소비자가 아니라 기업용 AI예요. 국방·제조·금융·법률·과학기술처럼 방대한 내부 문서를 다루면서 높은 신뢰성이 필요한 분야의 데이터 인프라죠. 일부 보도는 이미 상용화 단계로 알려졌다고 전하지만, 구체적인 출시일이나 가격, 고객사는 아직 공개되지 않았어요.

데이터 차트 - 옴니RAG 성능. 막대 2개: “처리 속도 21.3초(기존) → 1초 이내(옴니RAG)”, 별도 라벨 “정확도 기존 RAG 대비 최대 78% 향상”. 차트 안에 작게 “연구팀 실험 기준·최대치·기존 대비” 라벨 필수

그래서 지금 우리 챗봇은 어떻게 해야 할까요

오해는 피해야 해요. “옴니RAG가 나왔으니 이제 AI 거짓말 끝!“은 아니에요. 이건 기업이 자사 데이터에 붙여 쓰는 기술이고, 아직 연구·상용화 단계의 진전이에요. 우리가 지금 쓰는 ChatGPT나 Claude 같은 챗봇이 당장 환각을 안 낸다는 의미는 아니거든요.

그래서 지금 우리한테 필요한 건 그대로예요. AI가 내놓은 답, 특히 숫자·날짜·인용은 한 번 더 확인하는 습관이요. AI가 자신 있게 말해도 그게 맞다는 보장은 없으니까요. 구체적인 검증 방법은 6회차 글에 정리해뒀어요.

기술은 환각을 구조적으로 줄이는 쪽으로 가고 있어요. 이런 흐름을 알아두면, 적어도 AI 답을 무조건 믿지도, 무조건 의심하지도 않고 균형 있게 쓸 수 있어요.

깅글렛 한줄평

💬 AI가 똑똑해지는 것보다 더 중요한 건, 우리가 그 답을 검증할 줄 아는 거예요. 새 기술이 나와도 마지막 확인은 결국 사람 몫이에요.

마무리

오늘은 AI 환각이 왜 생기는지부터 RAG, KAIST 옴니RAG까지 한 번에 풀어봤어요. 어려운 이름이 많았지만, 결국 “AI가 답하기 전에 진짜 자료를 보게 한다”는 한 줄이 전부예요.

이런 기술 소식을 쉽게 풀어주는 글로 또 찾아올게요.

※ 본 글은 2026년 6월 기준 정보를 바탕으로 작성됐어요. 수치(정확도·속도)는 연구팀 자체 실험 결과이며, 기술·상용화 내용은 추후 바뀔 수 있어요.