AI 답이 애매할 때, 꼬리질문 3개로 끌어올리는 법

안녕하세요, 깅글렛이에요.

AI한테 물었는데 “상황에 따라 다릅니다” 같은 맹맹한 답이 돌아온 적 있으시죠? 저도 그럴 때마다 질문을 처음부터 다시 쓰곤 했거든요. 근데 그럴 필요가 없더라고요. 받은 답에 꼬리질문(후속 질문)을 이어 던지면, 같은 대화 안에서 답을 훨씬 끌어올릴 수 있어요.

이 글은 첫 질문을 잘 쓰는 법이 아니라, 답을 받은 뒤에 던지는 후속 질문에 대한 거예요. 복붙해서 바로 쓰는 꼬리질문 3종을 중심으로 풀어볼게요.

ChatGPT든 클로드든 제미나이든, 쓰시는 AI 켜두고 따라와 보세요.

질문을 다시 쓰지 말고, 답에 이어 물어보세요

먼저 답부터 드릴게요. AI 답이 두루뭉술할 때 해결책은 질문을 새로 쓰는 게 아니라, 받은 답에 후속 질문을 이어 붙이는 것이에요. 주요 AI 제작사 공식 가이드가 입을 모아 “프롬프트는 한 번에 끝내는 게 아니라 대화처럼 이어가며 다듬는 것”이라고 말하거든요.

MIT 슬론의 가이드 표현이 마음에 들었어요. “프롬프트는 대화의 시작점”이고, 답이 마음에 안 들면 “그냥 후속 지시를 덧붙이면 된다”는 거예요. 구글 제미나이 공식 문서도 똑같아요. 첫 응답이 완벽하지 않으면 후속 질문을 하거나 프롬프트를 다시 표현하라고요.

그러니까 한 번에 완벽한 질문을 쓰려고 끙끙댈 필요가 없어요. 일단 받고, 꼬리질문으로 고친다. 이 마음가짐이 부담을 확 덜어줘요.

가장 직관적인 예가 분량이에요. 답이 너무 길죠? “3줄로 줄여줘” 한 마디면 끝나요. 이게 바로 꼬리질문의 가장 쉬운 형태예요.

인포그래픽 - “애매한 첫 답 → 꼬리질문 → 끌어올린 답” 3단 비교. 왼쪽 ‘두루뭉술한 답’, 가운데 ‘꼬리질문 한 줄’, 오른쪽 ‘구체적인 답’

왜 첫 답은 늘 무난하기만 할까요

원리는 의외로 단순해요. AI는 제 머릿속에 있는 맥락을 모르거든요. 그래서 막연하게 물으면 “가장 무난하고 일반적인 답”을 내놓아요. 제 상황이나 의도가 빠져 있으니 평균값 같은 답이 나오는 거죠.

여기서 비유 하나가 도움이 돼요. AI 제작사들이 공통으로 권하는 게 “AI를 회사 사정을 전혀 모르는, 똑똑하지만 갓 입사한 신입사원처럼 생각하라”는 거예요. 똑똑하긴 한데 우리 사정을 모르니, 정밀하게 설명할수록 결과가 좋아진다는 뜻이죠.

Anthropic이 정리한 ’명확한 프롬프트의 황금률’이 이걸 잘 짚어요. 그대로 옮기면 이래요.

📖 황금률: 당신의 프롬프트를, 그 일에 대한 맥락이 거의 없는 동료에게 보여주고 따라 해보게 하라. 그 사람이 헷갈린다면 AI도 헷갈린다.

그러니 꼬리질문은 그 빠진 맥락을 한 조각씩 채워 넣어 AI의 초점을 좁히는 일이에요. MIT 슬론도 구체적으로 줄수록 “모델의 초점을 특정 방향으로 유도해 더 표적화된 답”이 나온다고 했고요. 좋은 답은 좋은 첫 질문 더하기, 끈질긴 꼬리질문에서 나와요.

인포그래픽 - “AI = 회사 사정 모르는 신입사원” 비유 일러스트. 막연한 질문 → 평균값 답, 맥락 채운 질문 → 표적화된 답 대비

① 구체화 질문: “더 구체적으로, 실제 예시로”

이제 본론이에요. 첫 번째 꼬리질문은 구체화 요구예요. 답이 “~할 수 있습니다”, “상황에 따라 다릅니다” 같은 원론·교과서 톤일 때 써요. 이런 답은 틀린 건 아닌데 당장 써먹을 수가 없잖아요.

이럴 땐 이렇게 이어 물어요.

방금 답을 우리 같은 [상황/직무]에 맞춰 더 구체적으로 다시 써줘.
일반론 말고 실제로 어떻게 하는지 단계로.

각 항목에 실제 예시를 하나씩 붙여줘.

그 중 내 상황에 가장 중요한 것 한 가지만 골라서 깊게 설명해줘.

왜 통하냐면, 모든 AI 가이드의 1원칙이 “구체적으로 지시하라”거든요. Anthropic은 원하는 출력을 구체적으로 지시하면 결과가 좋아진다고, 그 이상을 원하면 막연한 프롬프트에 기대지 말고 명시적으로 요청하라고 해요. MIT 슬론도 자세히 줄수록 더 맞춤화되고 오류가 적은 답이 나온다고 했고요.

참고로 첫 질문 자체를 구체적으로 쓰는 법은 예전에 올린 ‘AI 답이 달라지는 이유’ 글에서 다뤘어요. 여기선 이미 받은 답을 구체화하는 후속 질문에 초점을 맞출게요.

인포그래픽 - 구체화 질문 카드. “언제: 원론적인 답일 때 / 복붙 한 줄: 우리 상황에 맞춰 단계로 / 효과: 표적화된 답”

② 출처 질문: “어디서 나온 거야? 출처는?”

두 번째는 근거·출처 요구예요. AI가 숫자나 사실, 주장을 단정할 때 써요. “연구에 따르면”, “통계상” 같은 말이 나오면 일단 한 번 멈춰 세우는 거죠.

방금 말한 내용의 근거와 출처를 알려줘. 어디서 나온 정보야?

이 주장에서 확실한 사실과 너의 추정을 구분해서 표시해줘.

확실하지 않은 부분이 있으면 '확실하지 않음'이라고 솔직히 말해줘.

근데 여기서 정말 중요한 경고가 하나 있어요. AI는 그럴듯하지만 실재하지 않는 출처를 지어내기도 해요. 이걸 할루시네이션이라고 부르는데요. AI가 만든 학술 인용 중 상당수가 아예 존재하지 않는 가짜였다는 연구가 있어요(Scientific Reports, 2023). 더 골치 아픈 건, 가짜 인용도 진짜처럼 보이는 저자명이랑 서식을 갖춰서 더 헷갈린다는 점이에요.

그래서 출처를 받았다고 끝이 아니에요. 그 출처가 진짜인지 사람이 직접 확인해야 해요. 할루시네이션 자체를 더 깊이 다룬 글도 따로 올려뒀으니 같이 보시면 좋고요. Anthropic도 긴 문서 작업 땐 “관련 부분을 그대로 인용하게 하라”며 근거에 묶어 답하게 하는 기법을 권하는데, 그래도 최종 검증은 사람 몫이에요.

인포그래픽 - 출처 질문 + 할루시네이션 경고. “AI가 만든 출처 → 진짜처럼 보이는 가짜일 수 있음 → 사람이 직접 검증” 흐름, 경고 아이콘 강조

③ 반례 질문: “이 주장의 약점이나 반대 의견은?”

세 번째는 반례·약점 요구예요. AI가 장점만 늘어놓거나 “좋은 선택입니다” 같은 한쪽으로 치우친 답을 줄 때, 또 뭔가 결정을 앞두고 균형 잡힌 시각이 필요할 때 써요.

방금 답의 약점이나 빠진 관점을 짚어줘.

반대 입장에서 보면 어떤 반론이 가능해? 악마의 변호인 역할로 비판해줘.

이 안에 어떤 모순이나 위험이 있고, 어떻게 보완할 수 있어?

이게 필요한 이유는, AI가 사용자한테 맞장구치는 경향이 있어서예요. 반례를 콕 집어 요청해야 비로소 균형 잡힌 답이 나와요. 그냥 두면 안전하지만 뻔한 안만 남거든요. 일부러 반대편에 세워 한 번 깨봐야, 거기서 살아남는 게 진짜 쓸 만한 답이에요.

’악마의 변호인’은 아이디어를 깨거나 기획서를 점검할 때도 쓰는 도구인데요. 여기선 그걸 받은 답을 의심하는 데 쓰는 거예요. 같은 도구인데 용도가 살짝 다른 거죠.

인포그래픽 - 반례 질문 카드. “한쪽으로 치우친 답 → 악마의 변호인 질문 → 균형 잡힌 답”, 찬반 저울 아이콘

여기에 보조 2종을 더하면 거의 다 커버돼요

3종이 메인이고, 여기에 가볍게 얹는 보조 2종이 있어요. 첫째는 예시 요구예요. 설명은 알겠는데 막상 어떻게 써야 할지 감이 안 올 때 쓰죠.

방금 설명을 실제 예시 하나로 보여줘. before-after로 보여줘.

둘째는 형식 요구예요. 내용은 맞는데 너무 길거나 읽기 불편할 때, 모양을 바꿔달라고 하는 거예요.

이걸 표로 정리해줘.
핵심 3줄로 줄여줘.
오늘 당장 할 일 순서로 바꿔줘.

제미나이 공식 문서는 응답을 표, 글머리 목록, 한 문장, 문단 같은 형식으로 지정할 수 있다고 안내해요. MIT 슬론도 “이 메모의 요약을 100단어 이내로” 같은 길이 지정을 예로 들고요. 형식 요구는 효과가 제일 바로 와닿아서, 꼬리질문에 처음 입문할 때 연습용으로 딱이에요.

인포그래픽 - 꼬리질문 5종 한눈표. 메인 3종(구체화·출처·반례) + 보조 2종(예시·형식), 각 한 줄 복붙 문안 병기

익숙해지면, 답하기 전에 먼저 물어보게 하세요

꼬리질문이 손에 익으면 한 단계 위 기법도 써볼 만해요. 꼬리질문의 역방향 버전인데요. 첫 프롬프트 끝에 이 한 줄을 붙이는 거예요.

이 작업을 더 잘 도와주려면 나에게 뭘 더 물어봐야 해?
답하기 전에 질문부터 해줘.

그러면 AI가 바로 답하지 않고, 더 좋은 답을 주는 데 필요한 정보를 저한테 거꾸로 캐물어요. 빠진 맥락을 AI가 스스로 채우게 만드는 거라, 첫 답부터 정확도가 올라가요. 꼬리질문에 익숙해진 다음 시도해보면 재미있어요.

✍️ 저는 기획안 초안 잡을 때 이 역질문을 자주 써요. 처음엔 그냥 “기획안 써줘” 했다가 뻔한 게 나와서 답답했거든요. “답하기 전에 나한테 먼저 물어봐”를 붙였더니 예산이며 대상이며 줄줄이 되물어오더라고요. 그 질문에 답하다 보니 제 머릿속도 같이 정리되는 게 의외로 좋았어요.

인포그래픽 - 역질문 기법. “보통: 질문 → AI 답 / 역질문: 질문 → AI가 되묻기 → 나 답 → 정확한 AI 답”, 화살표 방향 대비

깅글렛 한줄평

💬 AI는 단번에 맞히는 도구가 아니라 대화하며 함께 다듬는 파트너예요. 오늘 셋 중 하나, “그 약점도 짚어줘” 같은 꼬리질문부터 다음 대화에 끼워 넣어보세요.

자주 묻는 질문

❓ 꼬리질문을 하면 처음부터 다시 질문하는 거랑 뭐가 달라요?

새 질문은 대화 맥락이 끊겨요. 꼬리질문은 같은 대화 안에서 앞 답을 기억한 채 이어가니까, “그것 말고”, “거기서 더” 식으로 짧게 던져도 알아들어요. 훨씬 덜 번거롭죠.

❓ 출처를 물어보면 AI가 정확한 출처를 주나요?

아쉽지만 항상은 아니에요. 진짜처럼 보이는 가짜 출처를 만들어낼 수 있어요. 그래서 출처를 받은 뒤엔 그 출처가 실제로 있는지 사람이 직접 확인하는 게 꼭 필요해요.

❓ 어떤 꼬리질문부터 시작하는 게 좋아요?

형식 요구(“3줄로 줄여줘”)가 가장 직관적이라 입문용으로 좋아요. 익숙해지면 구체화, 출처, 반례 순으로 넓혀가면 돼요.

마무리

받은 답이 별로라고 창을 닫지 마세요. 거기서 한 번 더 이어 묻는 게 진짜 실력이에요. 오늘 소개한 꼬리질문 한두 개만 다음 대화에 끼워 넣어도 답의 결이 달라질 거예요.

다음 글에선 또 다른 AI 업무 꿀팁으로 찾아올게요.

※ 본 글은 2026년 6월 기준 정보를 바탕으로 작성됐어요. AI 도구의 기능·정책은 추후 변경될 수 있어요.