프롬프트 작성법, 표현만 바꿔도 정답률 5배 갈리는 이유

안녕하세요, 깅글렛이에요.

프롬프트는 거의 같은데 AI 답이 어제랑 오늘이 다른 적, 한 번쯤 있으시죠? 저도 처음엔 “AI가 변덕부리나” 했거든요.

근데 알고 보니 AI 입장에선 제가 매번 다른 질문을 던지고 있었던 거예요. 답부터 말하면, AI는 질문의 ’뜻’을 이해하는 게 아니라 글자 그대로의 입력을 보고 다음 단어를 통계로 예측하기 때문에, 표현만 바꿔도 다른 길로 들어서서 다른 답을 내놓는 거예요.

보고서 초안이나 메일을 AI한테 맡기는데 답 품질이 들쭉날쭉해서 답답한 직장인이라면, 오늘 글이 도움이 될 거예요. 프롬프트 작성법을 다루되, “왜 표현만 바꿔도 답이 달라지는지” 그 원리부터 직장인 눈높이로 풀어볼게요. 원리를 알면 답이 이상할 때 프롬프트를 스스로 고칠 수 있거든요.

공백 하나만 더 붙여도 AI는 답을 바꿔요

먼저 좀 충격적인 실험 하나부터 볼게요. USC·ISI 연구진이 2024년에 발표한 “프롬프트 나비효과” 논문(Salinas & Morstatter, ACL Findings 2024)이 있어요. 프롬프트 끝에 띄어쓰기(스페이스) 하나를 더 붙이는 것만으로도 AI가 답을 바꾸더라는 거예요.

더 센 숫자도 있어요. 알리바바·중국과학원 연구진이 똑같은 과제를 표현만 12가지로 바꿔서 한 AI 모델(Llama-2-70B)에 넣어봤어요. 그랬더니 정답률이 9.4%에서 54.9%까지 출렁였거든요. 내용은 한 글자도 안 바꿨는데, 말투만 바꿔서 정답률이 5배 넘게 차이 난 거죠.

✍️ 저는 거래처에 보내는 양해 메일을 몇 달째 AI한테 초안 맡기고 있는데요. 단가 인상 양해 메일이 특히 까다롭더라고요. 같은 부탁을 “정중하게”라고만 했을 때랑 “미안한 마음이 드러나게”라고 했을 때, 받아보는 결이 완전히 달라지더라고요. 처음엔 그게 신기했는데, 이 원리를 알고 나니 당연한 거였어요.

그럼 도대체 AI 속에서 무슨 일이 벌어지길래 이렇게 휘둘리는 걸까요? 핵심은 “AI가 글을 어떻게 읽는가”에 있어요.

같은 문장에 공백 하나 차이만 둔 두 프롬프트가 서로 다른 답으로 갈라지는 개념도, 가운데에서 화살표로 분기 표시

AI는 뜻을 이해하는 게 아니라 다음 단어를 ’예측’해요

가장 큰 오해부터 풀게요. 우리는 AI가 질문의 “뜻”을 사람처럼 알아듣는다고 생각하잖아요. 근데 사실은 그렇지 않아요.

AI는 지시를 이해하는 게 아니라, 앞에 나온 단어들을 보고 “다음에 올 가장 그럴듯한 단어”를 통계로 추측해요. 지금까지 세상의 글에서 “이런 말 다음엔 보통 이런 말이 나오더라”를 어마어마하게 학습한 뒤, 그 통계로 다음 말을 고르는 식이거든요.

그래서 질문의 ’말투’가 곧 ’어떤 통계 길로 들어설지’를 정하는 분기점이 돼요. 표현을 바꾸면 AI가 보는 단어들의 통계 지형이 달라지고, 다른 길로 들어서니 다른 답이 나오는 거죠. 사람한텐 같은 질문이어도, AI한텐 출발점이 달라진 셈이에요.

입력 프롬프트가 통계적 갈림길로 들어가 서로 다른 답에 도달하는 비유 일러스트

띄어쓰기·대소문자가 바뀌면 AI에겐 ’다른 입력’이에요

여기서 한 발 더 들어가 볼게요. AI는 문장을 통째로 읽지 않아요. 토큰(token)이라는 작은 조각으로 잘게 쪼갠 다음, 각 조각을 숫자로 바꿔서 처리하거든요. 쉽게 말하면 “AI가 글을 읽는 최소 단위”가 토큰이에요.

문제는 띄어쓰기나 대소문자가 바뀌면 이 쪼개지는 모양 자체가 달라진다는 거예요. 예를 들면 “Hello World”와 “hello World”는 사람 눈엔 거의 같은 문장이지만, AI 안에선 서로 다른 숫자 코드로 들어가요. 중간에 공백을 하나 더 넣어도 마찬가지라, ’공백 토큰’이 끼어들어서 입력이 달라지고요.

거기에 학습 데이터의 편향까지 겹쳐요. 대문자 “Windows”는 마이크로소프트 운영체제 쪽으로, 소문자 “windows”는 건물 창문 쪽으로 의미가 살짝 기우는 식이죠. 글자 하나가 의미의 방향을 틀어버리는 거예요.

게다가 AI는 어떤 단어에 더 주목할지를 매번 다시 따져요. 입력이 조금만 달라져도 “어디에 집중해서 읽을지”가 재배치되거든요. 같은 문장이라도 어디에 강세를 두느냐에 따라 뜻이 달라지는 것처럼요.

그러니까 앞서 본 “공백 하나로 답이 바뀐다”는 게 마법이 아니에요. AI 입장에선 진짜로 다른 입력이 들어온 거라, 다른 답이 나오는 게 오히려 자연스러운 거죠.

Hello World와 hello World가 서로 다른 토큰 조각·숫자로 쪼개지는 모습을 보여주는 도식

그럼 어떻게 고치나요? 핵심은 ’AI가 추측할 여지’를 줄이는 거예요

원리를 알았으니 이제 실전이에요. 좋은 프롬프트 작성법의 비결은 딱 한 줄로 묶여요. “AI가 멋대로 추측할 빈칸을 줄이는 것.” 막연하게 물으면 AI는 빈칸을 통계로 대충 메워서, 무난하지만 빗나간 답을 내놓거든요. 직장인이 바로 쓸 수 있는 네 가지를 추려봤어요.

① 구체적으로 — 막연하면 막연하게 추측해요. 앤트로픽(Claude 만든 회사)은 AI를 “똑똑하지만 우리 회사 관례를 하나도 모르는 신입사원”이라고 생각하라고 해요. 신입한테 “분석 자료 좀 만들어줘”라고만 던지면 뭘 만들어야 할지 알 수가 없잖아요.

Before: “보고서 초안 써줘”
After: “신제품 출시 회의 결과를 임원 보고용 1쪽 요약으로 정리해줘. 항목은 결정사항·후속과제·담당·기한, 표 형식, 존댓말로.”

실제로 제가 ChatGPT한테 그대로 시켜봤거든요. “보고서 초안 써줘”라고만 하니까 [보고 주제]·[문제점] 같은 빈칸투성이 기본 템플릿이 돌아오더라고요. 제 회의 내용은 하나도 안 들어간 채로요.

막연한 프롬프트 “보고서 초안 써줘”에 ChatGPT가 빈칸투성이 기본 템플릿으로 답한 실제 화면

근데 항목이랑 형식을 못 박아서 다시 시키니까, 결정사항·후속과제·담당·기한이 깔끔한 표로 한 번에 정리돼서 나왔어요. 빈칸을 줄여주니 AI도 추측할 일이 없어진 거죠.

구체 프롬프트(임원 보고용 1쪽 요약·항목·표·존댓말 지정)에 ChatGPT가 결정사항·후속과제·담당·기한 표로 답한 실제 화면

② 맥락과 ’이유’를 같이 줘요 — ’왜’를 알면 AI가 알아서 응용해요. 지시 뒤에 “왜 이게 중요한지”를 붙이면 AI가 목표를 더 잘 잡아요. 앤트로픽 공식 예시가 딱 와닿더라고요.

Before: “말줄임표(…)는 절대 쓰지 마”
After: “이 답변은 음성으로 읽어줄 거야. 기계가 말줄임표를 발음하지 못하니 쓰지 마”

이유를 알려주니까 AI가 같은 원칙을 다른 상황에도 알아서 적용해요. ’이유’는 결국 AI한테 길을 잡아주는 이정표인 셈이죠.

Before/After 프롬프트를 좌우로 비교한 표 - 막연한 지시 vs 구체적 지시 + 이유

③ 역할 한 문장 — 답의 관점이 정렬돼요. “당신은 10년차 경영지원 담당입니다” 같은 역할 한 줄만 앞에 붙여도, 답의 톤과 전문성이 그쪽으로 맞춰져요. AI가 가진 방대한 패턴 중에서 ‘그 직무가 쓰는 말투’ 영역으로 통계 길을 좁혀주는 스위치 같은 거예요.

Before: “이 메일 좀 다듬어줘”
After: “당신은 경영지원팀 베테랑이에요. 아래 사내 공지 메일을 정중하지만 군더더기 없는 톤으로 다듬어줘”

④ 좋은 예시 한두 개 — 백 마디 설명보다 한 줄 예시예요. 원하는 결과물의 ’모양’을 직접 보여주는 게, 출력 형식을 잡는 가장 믿을 만한 방법이에요. 여기에 팁이 하나 더 있어요. “하지 마”보다 “이렇게 해”가 잘 통하거든요. “마크다운 쓰지 마”보다 “매끄러운 문단으로 써줘”가 낫고, “표로”, “200자 이내로”처럼 원하는 구조를 직접 못 박으면 처음부터 그 모양으로 나와요.

Before: “회신 메일 써줘”
After: “아래 예시 톤으로 회신 써줘. [예시] ‘안녕하세요 OO님, 말씀주신 일정 확인했습니다…’ — 이렇게 첫 문장에 용건부터, 3문장 이내로”

이 네 가지가 다 같은 원리예요. 예시는 AI한테 정답의 모양을 보여주고, 역할·맥락·구체적 지시는 추측할 빈칸을 메워줘요. 그래서 결과가 안정되는 거죠.

업무별로 보면, 보고서·공문처럼 형식이 정해진 글엔 ①번(항목·표·존댓말 못 박기)이 제일 잘 들어요. 형식이 어긋나면 다시 손봐야 하니까 빈칸을 줄여주는 게 효과가 크거든요. 거래처 메일이나 회신은 ④번(예시 톤 보여주기)이 편하고요. 원하는 말투를 글로 설명하기보다 예시 한 줄 던지는 게 빠르더라고요. 번역·요약처럼 결과 모양이 뻔한 작업은 ③번 역할 한 줄로도 충분할 때가 많아요.

구체성·맥락·역할·예시 4가지 개선 원리를 추측 여지를 줄인다 한 줄로 묶는 인포그래픽

2026년엔 좀 달라요 — 시시콜콜 통제는 오히려 독이에요

여기서 중요한 단서 하나. 위 원리가 기본이긴 한데, 2026년 요즘 모델은 옛날과 좀 달라요.

앞에서 본 “공백 하나로 5배 차이” 같은 실험은 대부분 Llama 2나 옛 ChatGPT(2023~2024년 모델) 기준이거든요. 일반적으로 더 크고 최신인 모델일수록 표현 변화에 덜 흔들려요. 그러니까 무료·소형 모델을 쓸 때 프롬프트 표현이 더 중요하고, 최신 모델은 좀 더 너그러운 편이죠.

그래서 GPT나 Claude 최신 버전은, 시시콜콜 통제하는 긴 프롬프트보다 “명확한 목표 + 성공 기준”을 주는 게 더 잘 통해요. 오히려 “반드시”, “CRITICAL” 같은 강한 문구나 대문자 강조를 남발하면 AI가 과민하게 반응해서 엉뚱하게 작동하기도 하고요. “단계별로 생각해” 같은 주문도 만능은 아니라서, 모델과 상황에 따라 도움이 될 때도 역효과일 때도 있어요.

저도 회의록 요약에 AI를 매주 쓰다가 한 번 호되게 겪었어요. 답이 길게 나오는 게 싫어서 “무조건 3문장 이내로” 같은 조건을 너무 빡빡하게 걸었더니, 구체적으로 시켰는데도 답이 오히려 빈약해지더라고요. 정작 챙겨야 할 결정사항이 잘려나가고요. 구체적으로 주되 과하게 옥죄진 않는 게 포인트구나, 그때 알았어요.

결국 표현은 여전히 중요하지만, 방향이 바뀐 거예요. ’주문을 정확히 외우기’에서 ’내가 원하는 걸 명확하게 전달하기’로요.

옛 모델: 표현에 민감 / 최신 모델: 명확한 목표가 더 중요 대비를 보여주는 비교 이미지

깅글렛 한줄평

💬 프롬프트 작성법은 외워야 할 주문이 아니라 ’명확하게 전달하기’예요. 다음에 AI 답이 이상하게 나오면, 질문을 바꾸기 전에 “내가 추측할 빈칸을 너무 많이 남겼나?“부터 한번 자문해보세요.

마무리

오늘은 같은 질문인데 답이 달라지는 원리를 풀어봤어요. 이 원리만 알아도 “왜 이런 답이 나왔지?“가 “아, 내가 이렇게 물어서 그렇구나”로 바뀌거든요.

다음 글에선 또 다른 업무 속 AI 활용 꿀팁으로 찾아올게요.

※ 본 글은 2026년 5월 기준 정보를 바탕으로 작성됐어요. 모델·기능은 추후 변경될 수 있어요. ※ 본문에서 언급한 정확도 수치(9.4%→54.9%)는 Llama-2 등 비교적 옛 모델 대상 연구 결과예요. 최신 모델은 표현 변화에 덜 민감한 편이에요.