프롬프트 디버깅, AI 답이 자꾸 빗나갈 때 고치는 5가지

안녕하세요, 깅글렛이에요.

AI한테 시켰는데 답이 미묘하게 빗나간 경험, 다들 있으시죠. 보통은 “프롬프트를 더 잘 쓰자”는 조언으로 끝나는데요. 정작 필요한 건 이미 받은 틀린 답을 보고 “왜 틀렸는지 원인을 짚어 고치는 법”이에요.

오늘은 빗나간 답을 다섯 가지 원인으로 나눠서, 증상별로 어떻게 진단하고 처방하는지 정리했어요. AI 답을 보고 “이거 왜 이러지” 싶을 때마다 펴보는 응급처치 매뉴얼이라고 보시면 돼요.

잘 쓰는 법이 아니라, 틀렸을 때 고치는 법이에요

프롬프트 글은 이미 많아요. 저도 그동안 작성법·역할 부여·단계 쪼개기를 여러 번 다뤘고요. 근데 막상 실무에서 더 자주 겪는 건 “잘 쓰는 법”을 다 알아도 답이 빗나가는 순간이에요. 그럴 때 처음부터 다시 쓰는 게 아니라, 어디서 어긋났는지 짚어서 그 부분만 고치는 게 훨씬 빨라요.

결함이 생기는 자리는 크게 둘이에요. 하나는 프롬프트 자체(모호함·정보 누락·구조 문제)고, 다른 하나는 모델·런타임 쪽(대화가 길어지며 생기는 한계)이거든요. arXiv에 올라온 프롬프트 결함 분류 논문(2025.09)도 결함을 이 두 원천으로 나눠요. 그래서 진단도 이 둘을 같이 봐야 해요.

제가 이 글에서 쓰는 흐름은 단순해요. 증상을 보고 → 다섯 유형 중 뭔지 의심하고 → 그 유형에 맞는 처방 프롬프트를 붙이는 거예요. 각 유형마다 빗나간 프롬프트와 고친 프롬프트를 같이 넣었으니, 본인 상황이랑 가장 가까운 걸 골라 쓰시면 돼요.

인포그래픽 - “빗나간 답 진단 흐름” 3단계 가로 플로우. ① 증상 확인 → ② 5가지 원인 유형 의심(맥락부족·모호한지시·할루시네이션·형식오류·과잉추론+아첨) → ③ 유형별 처방 프롬프트. 네이비+청록 톤, 우하단 깅글렛 로고

원인 1. 답이 일반론으로만 나온다면 ’맥락 부족’이에요

원하는 범위나 대상이 하나도 안 반영된 채 두루뭉술한 일반론이 나온다면, 십중팔구 맥락 부족이에요. 프롬프트에 배경 정보가 비어 있으니까 모델이 그 빈칸을 자기 추측으로 메우는 거죠. 그 추측이 틀리면 방향 전체가 어긋나고요.

여기서 골치 아픈 게 하나 있어요. 모델은 처음 잘못된 가정을 한 번 내리면, 뒤에서 새 정보를 줘도 그 틀을 잘 못 버려요. 초기 오류 고착이라고 부르는 현상인데요. 그래서 “아니 그게 아니라” 하고 계속 고쳐달라고 해도 자꾸 엇나가는 거예요. 차라리 처음부터 맥락을 채워주는 게 빨라요.

📖 초기 오류 고착이란? AI가 대화 초반에 한 번 잘못 가정하면, 이후 새 정보를 줘도 처음 틀로 계속 답하는 현상이에요.

처방은 맥락 네 가지를 채우는 거예요.

대상: 누구에게 줄 답인지 (예: 팀장급 이하 직원)
목적: 왜 필요한지 (예: 출장 정산 전 한도 확인)
제약: 무엇을 빼야 하는지 (예: 배경 설명 제외)
형식: 어떻게 받을지 (예: 표 형식)

빗나간 프롬프트랑 고친 프롬프트를 비교하면 차이가 확 보여요.

[빗나간 프롬프트]
출장비 규정 요약해줘

[고친 프롬프트]
3박4일 해외 출장 기준으로, 숙박·식비·교통 항목별 한도를
표 형식으로 요약해줘. 대상은 팀장급 이하 직원이야.

만약 맥락을 어디까지 줘야 할지 모르겠으면, 프롬프트 끝에 이 한 줄을 붙여보세요. “답하기 전에 확인 질문 3가지 먼저 해줘.” 변수가 많은 업무일수록 이게 효과가 좋아요. 모델이 빈칸을 멋대로 채우는 대신 저한테 되물어주거든요.

비교 카드 - 좌측 빨간 테두리 “맥락 부족 프롬프트: 출장비 규정 요약해줘 → 일반론 답변”, 우측 초록 테두리 “맥락 4종 추가: 대상·목적·제약·형식 → 표 형식 정확 답변”. 우하단 깅글렛 로고

원인 2. 방향이 미묘하게 어긋나면 ’모호한 지시’예요

의도는 분명 알아들었는데 결과가 살짝 다르게 나올 때 있죠. 같은 프롬프트를 두 번 돌렸더니 매번 형태가 다르게 나올 때도 있고요. 이건 지시가 여러 갈래로 해석되거나, 서로 충돌하는 요구가 섞여 있을 때 생겨요.

대표적인 게 “간결하게, 근데 자세하게” 같은 모순 요구예요. 모델 입장에선 둘 다 만족시킬 수 없으니까 한쪽을 임의로 골라버려요. 어느 쪽을 고를지 모르니 결과가 매번 흔들리는 거고요. “더 좋게 만들어” 같은 막연한 지시도 마찬가지예요. ’더 좋게’의 기준이 없으니 모델이 알아서 해석하거든요.

처방은 기준을 콕 집어주는 거예요. “더 좋게”를 “변수명 바꾸고 주석 추가해서 가독성 높여줘”로 바꾸는 식이죠. 충돌하는 요구가 있으면 우선순위를 정해주고요. “간결함이 우선인데, 복잡한 절차만 예외로 단계별 설명 허용” 이렇게요. 출력 형식도 같이 못 박아주면 흔들림이 확 줄어요.

✍️ 저는 보고서 정리시킬 때 이걸 자주 데여봤어요. “이 보고서 좀 정리해줘”라고만 하면 매번 다른 걸 정리해 오더라고요. 어떤 날은 요약, 어떤 날은 재구성. 그래서 “핵심 수치만 뽑아서 3줄 불릿으로, 의견이랑 배경은 빼고”로 바꿨더니 그제야 매번 같은 결로 나왔어요.

[빗나간 프롬프트]
이 보고서 좀 정리해줘

[고친 프롬프트]
이 보고서에서 핵심 수치만 뽑아 3줄 이내 불릿으로 정리해줘.
의견이랑 배경 설명은 빼고.

한 프롬프트에 작업을 너무 많이 욱여넣은 것도 모호함을 키워요. 번역하고 요약하고 형식까지 한 번에 시키면 어디선가 어긋나거든요. 이럴 땐 “번역 → 요약 → 형식화”로 단계를 쪼개주는 게 나아요. 예전에 다룬 프롬프트 체이닝 글이 이 단계 쪼개기를 자세히 풀어놨으니 같이 보셔도 좋아요.

인포그래픽 - 모호한 지시 3종 정리: ① 영역 모호(두 가지 해석 가능) ② 미명시 제약(성공 기준 없음) ③ 충돌 지시(간결+상세 동시). 각각 옆에 처방 한 줄. 우하단 깅글렛 로고

원인 3. 자신감 있게 틀린 답을 하면 ’할루시네이션’이에요

가장 위험한 유형이에요. 모델이 사실과 다른 정보를 너무나 자신감 있게 말하는 거죠. 일관성 있고 논리적으로도 들리는데, 정작 사실은 틀린 답이에요. 이걸 ’아름다운 오답’이라고도 불러요. 특히 통계·수치·인용 같은 항목에서 자주 나와요. 모델이 모르는 부분을 그럴듯한 패턴으로 채워버리거든요.

📖 할루시네이션이란? AI가 사실이 아닌 내용을 마치 진짜인 것처럼 자신 있게 지어내는 현상이에요.

수치로도 차이가 보여요. 한 분석 기준으로는 모호하고 목표가 여러 개인 프롬프트의 할루시네이션율이 38.3%, 구조화된 단일 목표 프롬프트는 18.1%였어요. 작성 방식만 바꿔도 20포인트 가까이 차이가 난 거죠. (다만 이 수치는 원본 보고서명·표본이 명확하지 않은 분석 자료라, 절대값보다 ’구조를 잡으면 줄어든다’는 방향으로만 받아들이시는 게 좋아요.)

처방 중에 제일 간단하고 효과 좋은 게 하나 있어요. 프롬프트에 이 한 줄을 붙이는 거예요.

모르거나 확인할 수 없는 내용이면, 지어내지 말고
'확인 불가'라고 답해줘.

같은 분석에서 이 한 줄만 추가해도 할루시네이션이 추가로 15%쯤 더 줄었다고 해요. 모델한테 “모른다고 말할 권한”을 주는 거예요. 이게 없으면 모델은 빈칸을 무조건 채우려고 하거든요.

거기에 출처를 같이 요구하면 더 좋아요. “이 답변의 근거 출처를 같이 제시해줘”라고 하면, 출처 없이 자신만만한 주장이 걸러져요. 정확성이 중요한 작업이라면 온도(temperature)를 낮추는 것도 방법이고요. 원하는 답 형태의 예시를 한두 개 같이 주는 것만으로도 할루시네이션이 줄어요.

여기서 한 가지 주의할 게 있어요. “방금 답 틀린 거 아니야? 다시 확인해줘”라고 되묻는 게 항상 좋은 건 아니에요. 사실·추론 문제에서는 자기교정이 오히려 맞은 답을 틀린 답으로 뒤집기도 하거든요. 그러니 역검증을 시킬 땐 “틀렸으면 고쳐”가 아니라 “확신할 수 없는 부분만 골라줘” 정도로 좁혀서 시키는 게 안전해요.

데이터 비교 - 프롬프트 작성 방식별 할루시네이션율: 모호·다중목표 38.3% → 구조화·단일목표 18.1%, 구조만 잡아도 약 20%p 감소. 출처 불확실로 절대값보다 개선 방향 참고. 우하단 깅글렛 로고

원인 4. 내용은 맞는데 형태가 엉망이면 ’형식 오류’예요

내용 자체는 제대로 파악했는데, 받고 보니 못 써먹을 형태로 나올 때가 있어요. 표 달라고 했는데 줄글로 쓴다든지, JSON으로 달라니까 자연어 설명을 섞는다든지요. 길이를 안 정해주면 쓸데없이 길어져서 토큰만 낭비하고, 여러 항목을 시켰는데 일부가 빠지기도 해요.

원인은 단순해요. 출력 형식을 명확히 안 정해주면 모델이 알아서 골라요. 한 프롬프트에 작업을 과하게 넣으면 일부가 누락되고요. 형식을 안 정해주는 건 가장 흔한 결함 중 하나예요.

처방은 형식을 눈에 보이게 박아주는 거예요. 말로 “표로 줘”보다, 원하는 출력 틀을 직접 보여주는 게 훨씬 잘 먹혀요.

아래 형식 그대로 출력해줘.
- 항목: [이름]
- 요약: [1줄]
- 태그: [3개]

원하는 결과물 예시를 딱 하나만 프롬프트에 넣어줘도 형식이 바로 고정돼요. 길이나 구조 제약도 같이 넣으면 좋고요. “150단어 이내, 불릿 없이 단락으로, 마지막 줄은 행동 권고로 끝낼 것” 이런 식으로요. 형식 제약 하나만으로 결과 안정성이 꽤 올라가요. 한 사례에서는 JSON 형식 제약만으로 할루시네이션이 33% 줄기도 했고요.

✍️ 저는 회의록을 정해진 양식으로 받을 때 형식 예시를 통째로 붙여넣어요. “이 틀 그대로 채워줘” 하고 빈 양식을 던져주면, 매번 똑같은 모양으로 떨어지거든요. 말로 형식을 설명하던 시절보다 손이 훨씬 덜 가요.

비교 카드 - 좌측 “형식 미지정 → 줄글·JSON에 설명 섞임·항목 누락”, 우측 “출력 틀 예시 1개 포함 → 항목·요약·태그 고정 출력”. 우하단 깅글렛 로고

원인 5. 수정 후 더 틀려지면 ’과잉추론과 아첨’이에요

마지막은 좀 의외인 유형이에요. 처음 답은 맞았는데, “다시 확인해줘”라고 했더니 틀린 답으로 바뀌는 경우요. 또 하나는 제가 잘못된 전제를 깔았는데 모델이 토 안 달고 동조해서 방향이 통째로 틀어지는 경우고요. 앞엣것이 과잉추론, 뒤엣것이 아첨이에요.

과잉추론은 단순한 문제에 모델이 필요 이상으로 깊이 파고들다 오히려 틀리는 거예요. 한 분석 기준으로, 재검토를 시키면 오히려 답을 망치는 경향이 있어요. 특히 o1 같은 추론 모델에서 두드러지는데, CommonSenseQA 시험에서는 한 분석 기준 맞았던 답의 40%가량이 틀린 답으로 바뀌었다고 해요. 올바른 답의 92%는 첫 시도에서 나온다는 분석도 있고요. 이 수치들은 블로그·벤치마크 분석에서 나온 참고 기준이라 절대값보다 “첫 답이 나쁘지 않으면 굳이 다시 곱씹게 시키지 않는 게 낫다”는 경향으로 받아들이시면 돼요. 그러니 정답이 이미 나왔을 땐 자꾸 재검토를 시키지 않는 게 나아요.

아첨은 더 흥미로워요. 스탠퍼드의 SycEval 연구(2025)를 보면, AI 응답의 58.19%가 사용자가 반박하면 자기 답을 바꿨어요. 모델별로 보면 Gemini가 62.47%, Claude Sonnet 57.44%, ChatGPT-4o 56.71%였고요. 쉽게 말해 열 번 반박하면 여섯 번쯤 답을 바꾼다는 거예요. 한 번 동조 패턴이 생기면 그 뒤로도 계속 이어지는 비율이 78.5%라고 하니, 굳어지기 전에 끊어주는 게 좋아요.

⚠️ 이 수치는 수학 문제 500개와 의학 질문 500개로 측정한 연구 기준이에요. 실제 업무에서도 정확히 이 비율이라는 뜻은 아니니, “AI는 의외로 사용자한테 잘 휘둘린다”는 경향으로 받아들이시면 돼요.

데이터 차트 - LLM 아첨 비율 막대: 전체 평균 58.19% / Gemini 62.47% / Claude Sonnet 57.44% / ChatGPT-4o 56.71%. 부제 “사용자 반박 시 자기 답을 바꾼 비율 (Stanford SycEval 2025, 수학500+의학500 문항 기준 / 측정 당시(2025년 초) ChatGPT-4o·Claude Sonnet·Gemini 1.5 Pro 대상)”. 우하단 깅글렛 로고

이 유형의 공통 처방은 두 갈래예요.

과잉추론 쪽은 “최종 답만 줘, 분석 과정 필요 없어”처럼 직접적으로 요청하면 돼요. 그리고 대화가 길어졌다 싶으면 새 창에서 다시 시작하는 게 효과가 커요. 대화가 길어질수록 모델이 멍청해지는 현상이 있거든요.

아첨 쪽은 반박 권한을 명시적으로 주는 게 가장 중요해요. 프롬프트에 이렇게 넣어보세요.

내가 틀렸다고 생각하면 그냥 반박해줘.
내 기분보다 사실 정확성이 더 중요해.

(추가) 반대 입장에서 내 주장의 약점을 3가지 찾아줘.

이렇게 “동의 안 해도 된다”는 신호를 주면, 모델이 무조건 맞장구치는 패턴에서 벗어나요. 그래도 안 풀리면 역시 새 대화로 리셋하는 게 빨라요.

대화가 길어질수록 답이 나빠지는 건 진짜예요

다섯 유형을 관통하는 배경이 하나 있어요. 바로 컨텍스트 로트(context rot)예요. 대화가 길어지고 모델한테 넣는 정보가 많아질수록 성능이 떨어지는 현상이에요.

📖 컨텍스트 로트란? 대화나 입력이 길어질수록 AI가 앞뒤 맥락을 놓쳐 답 품질이 떨어지는 현상이에요.

2025년 Chroma의 컨텍스트 로트 리포트를 보면, GPT-4.1·Claude Opus 4·Gemini 2.5를 포함한 18개 최신 모델 전부가 입력이 길어질수록 성능이 떨어졌어요. 모델을 안 가리고 나타난 거죠. 별도의 멀티턴 대화 연구에서는 대화를 여러 번 나눠서 전달할 때 성능이 평균 39%까지 급락했다고 보고했어요. (Chroma 리포트와 별개 출처예요.)

그래서 재미있는 역설이 생겨요. 답이 틀려서 “고쳐줘, 고쳐줘” 반복할수록, 그 실패 기록이 대화에 쌓이면서 모델이 더 나빠질 수 있어요. AI 커뮤니티에서도 “‘고쳐’ 버튼은 맞는 답이 아니라 그럴듯한 답을 최적화한다”는 말이 도는데, 비슷한 맥락이에요. 그러니 같은 대화에서 끝까지 물고 늘어지는 것보다, 한두 번 고쳐도 안 되면 새 창에서 처음부터 다시 묻는 게 더 빠를 때가 많아요.

인포그래픽 - “컨텍스트 로트” 개념도. 대화 길이가 짧을 때는 답 품질 높음 → 길어질수록 곡선 하강. 하단 박스 “해결: 한두 번 고쳐도 안 되면 새 창에서 다시 시작”. 우하단 깅글렛 로고

깅글렛 한줄평

💬 AI 답이 틀렸을 때 “그냥 다시 해줘”를 무한 반복하지 마세요. 다섯 유형 중 뭔지 한 번만 짚으면, 처방 한 줄로 끝날 일이 많아요. 다음에 답이 빗나가면 이 글의 진단표부터 떠올려보시는 걸 추천해요.

마무리

오늘은 잘 쓰는 법이 아니라, 이미 빗나간 답을 진단하고 고치는 다섯 가지를 정리해봤어요. 맥락 부족·모호한 지시·할루시네이션·형식 오류·과잉추론과 아첨. 이 다섯만 머릿속에 넣어두면, AI가 엇나갈 때 “왜 이러지” 하고 헤매는 시간이 확 줄어요.

여러분은 AI 답이 빗나갈 때 주로 어떤 유형에 막히시나요?

※ 본 글은 2026년 6월 기준 정보를 바탕으로 작성됐어요. 인용한 연구·수치는 측정 시점·표본 기준이며, 모델 업데이트에 따라 양상은 달라질 수 있어요.