AI랑 대화 길어지면 왜 멍청해질까? 컨텍스트 윈도우 한계와 새 대화 타이밍

안녕하세요, 깅글렛이에요.

ChatGPT랑 한참 대화하다가, AI가 갑자기 초반에 정한 규칙을 까먹은 적 있으시죠? 저도 거래처 메일 톤을 맞춰가며 길게 주고받다가, AI가 “정중하게”를 통째로 잊고 딴 톤으로 답해서 당황한 적 많거든요.

이건 AI가 게을러진 게 아니라, 대화가 길어질수록 AI가 한 번에 볼 수 있는 양(컨텍스트 윈도우)을 넘거나, 가운데 내용을 흘리기 때문이에요. 답은 의외로 간단해요. 이럴 땐 새 대화를 열고, 핵심만 요약해 넘겨주면 돼요.

왜 그런지, 그리고 언제 새 대화를 열면 되는지 쉽게 풀어볼게요.

---

AI는 ’기억’하는 게 아니라 매번 ‘다시 읽어요’

가장 먼저 깨야 할 오해가 있어요. AI는 우리 대화를 사람처럼 기억하지 않아요. 제가 새 메시지를 보낼 때마다, 시스템이 “이 대화의 처음부터 지금까지 전부 + 방금 내 질문”을 한 묶음으로 묶어서 모델에 다시 넣어줘요. 모델은 그 묶음을 그 순간 통째로 읽고 답할 뿐이에요. 이전 답을 머릿속에서 ‘떠올리는’ 게 아니거든요.

한 해설 글의 표현이 딱 와닿더라고요. AI가 앞 맥락을 아는 것처럼 보일 때, 그건 회상이 아니라 다시 읽는 것이라고요. 그 순간 눈앞에 펼쳐진 대화 전체를 보는 거지, 기억을 끄집어내는 게 아니에요.

비유하면 금붕어 같은 단기 기억이에요. 매 순간 “지금 책상에 펼쳐진 종이”만 보거든요. 책상이 그 ’AI가 한 번에 볼 수 있는 양’이고, 종이가 우리 대화예요. 종이가 너무 많이 쌓이면 가장 오래된 것부터 책상 밖으로 밀려나요. 그렇게 밀려난 종이는 다시 떠올릴 수 있는 게 아니라, AI 입력에 더는 존재하지 않아요. 그래서 “앞에서 알려준 이름을 까먹은 것처럼” 구는 거예요.

---

컨텍스트 윈도우는 AI의 ’책상 크기’예요

방금 말한 ’책상’에 이름이 있어요. 바로 컨텍스트 윈도우예요. AI가 한 번에 읽고 처리할 수 있는 글의 최대 양을 말하고, 단위는 토큰(AI가 글을 잘게 쪼갠 조각)이에요. 사람으로 치면 단기 기억 용량 같은 거죠. 이 토큰·컨텍스트 윈도우 개념을 더 자세히 보고 싶으면, 예전에 올린 ‘AI 용어 정리’ 글에서 한 단락으로 짚어둔 게 있어요.

여기서 중요한 건 이 책상 위에 내 질문만 올라가는 게 아니라는 점이에요. 시스템이 미리 깔아둔 지시, 지금까지의 대화 전체, 내가 올린 파일, 거기에 AI가 내놓을 답변 분량까지 다 같이 올라가요. 그러니 대화가 쌓일수록 책상이 생각보다 빨리 차요.

한도를 넘으면 어떻게 될까요? 창이 앞으로 미끄러지면서, 오른쪽으로 새 내용이 들어오는 만큼 왼쪽(대화 초반)이 밀려 나가요. 밀려난 부분은 잘리거나 버려져서 AI가 더는 못 봐요. “초반에 정한 규칙을 갑자기 무시”하는 일의 정체가 바로 이거예요.

참고로 윈도우 크기는 모델마다, 시점마다 달라요. 2026년 6월 기준으로 한국 IT 보도엔 앤트로픽 신모델 100만 토큰, 구글 신모델 256K 토큰 같은 숫자가 등장해요. 다만 이런 수치는 계속 커지고 빨리 바뀌니까 외울 필요는 없어요. 기억할 건 딱 하나예요. 아무리 커도 한도는 있고, 길어지면 결국 찬다는 거요.

---

창을 안 넘겨도, 길기만 해도 답이 흐려져요 (Lost in the Middle)

여기서 입문자가 놓치기 쉬운 부분이 하나 더 있어요. 컨텍스트 윈도우를 꽉 채우지 않아도, 대화가 길어지기만 하면 답이 흐려져요. 한도를 넘겨서 잘리는 것과는 별개의 현상이에요.

스탠퍼드 연구팀(Liu 외)이 2023년에 발표한 「Lost in the Middle」이라는 논문이 이걸 잘 보여줘요. 핵심 발견은 이래요. AI는 입력의 맨 앞과 맨 끝 정보는 잘 활용하는데, 가운데 있는 정보는 잘 놓쳐요. 정답을 맞히는 정확도를 그래프로 그리면, 앞·뒤는 높고 가운데가 푹 꺼지는 U자 곡선이 나와요. 같은 정보라도 위치가 가운데면 정답률이 크게 떨어지더라는 거예요. 내용이 아니라 놓인 자리 때문에요.

이게 사람 기억이랑도 닮았어요. 우리도 목록을 외울 때 처음과 끝은 잘 기억하고 가운데는 흘리잖아요. AI도 비슷한 모양을 보인 거죠. 이 현상은 OpenAI·Claude 같은 여러 모델에서 공통으로 나타났고, 긴 맥락용으로 훈련된 모델도 예외가 아니었어요.

그래서 실전에선 이런 일이 생겨요. 대화 한참 위에서 정한 “톤은 정중하게”, “표로 정리해줘” 같은 지시가 대화 가운데로 밀려나면, AI가 그걸 흘려버리기 쉬워요. “AI가 처음 부탁을 자꾸 까먹네” 하는 일의 큰 이유 중 하나가 여기 있어요.

---

길어질수록 머리가 흐려지는 현상, ’컨텍스트 로트’예요

지금까지 얘기한 걸 묶어서 업계에선 **컨텍스트 로트(context rot)**라고 불러요. 어려운 영어지만 뜻은 단순해요. 대화가 길어질수록 AI 머리가 점점 흐려지는 현상이에요.

한 실전 가이드가 이걸 단계로 정리했는데, 직관적으로 쓸 만해요. 창이 절반 미만으로 찼을 땐 앞·끝을 선호하면서 가운데를 흘리는 경향이 있고, 절반 이상 찼을 땐 최근(끝) 내용 위주로 가면서 앞쪽 맥락을 점점 잃는 경향이 있다는 거예요. 다만 이 ’절반’이라는 숫자는 딱 떨어지는 공식이 아니라 대략적인 설명틀로 보는 게 맞아요.

여기서 의외인 점이 있어요. 이건 AI가 뭘 검색을 못 해서가 아니라, 단순히 입력이 길어서 생기는 문제라는 거예요. 관련 없는 내용을 다 빼도, 길이만으로도 나타나요. 그러니 “쓸데없는 말 안 했는데 왜 흐려지지?” 싶어도 이상한 게 아니에요.

---

이런 신호가 보이면 새 대화를 여세요

원리는 그렇고, 이제 실전이에요. 그럼 언제 새 대화를 열면 될까요? 여러 가이드가 공통으로 권하는 타이밍이 있어요.

먼저 주제가 바뀔 때예요. 보고서 얘기하다 갑자기 여행 일정으로 넘어가면, 앞 대화가 새 주제에 소음처럼 끼어들어서 답을 흐려요. 새 주제는 새 대화로 여는 게 깔끔해요.

다음은 AI가 헛돌기 시작할 때예요. 이게 제일 실전적인 신호인데, 아래 네 가지 중 하나라도 보이면 더 끌지 말고 새 대화로 리셋하는 게 나아요.

• 같은 말, 같은 답을 반복해요. 고쳐 달라고 해도 또 같은 실수를 하고요.

• 초반에 정한 규칙이나 지시를 무시해요. 톤이나 형식, “이건 빼줘” 같은 걸 흘려요.

• 안 끝났는데 “다 했다”고 우겨요. 헛 완료 보고죠.

• 전반적으로 답이 점점 산만하고 부정확해져요.

마지막은 대화가 너무 길어졌을 때예요. 웹에서 쓸 때 대략 메시지 15개를 넘어가면 한 번 끊는 걸 권하는 가이드가 많아요. 다만 이건 절대 기준이 아니라 눈대중이에요. “무조건 15개에서 끊어라”가 아니라, 위의 헛도는 신호로 판단하는 게 더 실전적이에요. 붙여넣기가 버벅이거나 느려지면, 그것도 이미 너무 길다는 신호고요.

---

긴 대화를 버리지 말고 ’핸드오프’로 이어주세요

새 대화를 열면 좋은데, 한 가지 걸리는 게 있죠. 맥락이 0으로 리셋된다는 점이에요. 그동안 쌓은 내용을 처음부터 다시 설명하긴 귀찮고요. 해법은 요약을 다리로 놓는 것이에요. 이걸 핸드오프라고 불러요.

방법은 간단해요. 지금 대화에서 AI한테 먼저 요약을 시켜요. “지금까지 우리가 정한 내용·결정·다음 할 일을, 새 대화에서 그대로 이어서 작업할 수 있게 정리해줘”라고요. 그 요약을 복사해서 새 대화의 첫 메시지로 붙여넣으면 돼요. 그러면 새 창은 군더더기 없이 핵심만 담긴 맥락으로 시작해서, 오히려 정확도가 올라가요. 깨끗한 맥락이라서 그래요.

요약을 시킬 때 이런 항목을 넣어달라고 하면 깔끔하게 이어져요. 이 틀은 ChatGPT·Claude·Gemini 어디서나 통해요.

아래 형식으로 지금 대화를 정리해줘.
- 목표: 무엇을 하려는가
- 현재 상황: 끝난 것 / 진행 중 / 남은 것
- 중요 맥락: 대상 독자·제약·핵심 파일
- 이미 정한 결정
- 피할 것: 하지 말아야 할 것
- 다음 할 일

저는 글 초안을 길게 다듬다가 AI가 흐려지면 이 방법을 자주 써요. 새 창에 요약 붙여넣고 “먼저 이해한 내용을 한 줄로 요약하고 이어가”라고 하면, 끊긴 느낌 없이 매끄럽게 이어지더라고요.

그리고 애초에 대화를 길게 안 만드는 습관도 도움이 돼요. 새 작업은 새 창에서 시작하고, 한 창에 모든 걸 쌓지 않는 거예요. 또 중요한 톤·형식 지시는 결과를 요청하기 바로 앞에 한 번 더 적으면 잘 지켜져요. 아까 본 U자 곡선처럼 앞·끝을 잘 보니까, 끝자락에 다시 박아주는 거죠.

---

ChatGPT·Claude의 ’메모리’와 ’프로젝트’도 알아두면 좋아요

여기까지가 한 대화 안의 얘기였어요. 그런데 도구들엔 대화를 아예 넘나드는 기능도 있어요. 메뉴 이름은 버전에 따라 조금씩 다를 수 있으니, 큰 개념만 잡아둘게요.

먼저 메모리예요. 컨텍스트 윈도우가 ’한 대화 안’의 책상이라면, 메모리는 ‘여러 대화에 걸쳐’ 나를 기억하는 층이에요. ChatGPT는 내가 “이거 기억해둬”라고 명시한 정보를 저장하고, 과거 대화에서 모은 것도 다음 대화에 참고해요. 설정에서 목록을 보고 지울 수 있고, 임시 채팅으로 쓰면 메모리를 안 만들고요. Claude도 2026년에 무료·Pro 사용자 모두에 메모리를 적용했어요. 대화를 자동 요약해서 24시간마다 갱신하고, “예전에 얘기한 거 찾아줘” 하면 과거 대화를 검색해 끌어와요. 마찬가지로 설정에서 보기·편집·끄기·초기화가 되고, 인코그니토 채팅은 기록에 안 남아요.

다음은 프로젝트예요. 관련 대화를 한 폴더처럼 묶어주는 기능이에요. 같은 프로젝트 안에서 질문하면 그 프로젝트의 다른 대화 맥락을 참고할 수 있어서, 길게 가는 작업의 맥락을 유지하기 좋아요. ChatGPT는 무료 사용자도 쓸 수 있고, Claude는 프로젝트마다 별도의 메모리 공간을 가져서 맥락이 분리돼요. 예를 들어 이직 준비처럼 한 가지 큰 일은 프로젝트로 묶어두면, 새 대화를 열어도 맥락이 이어져요.

ChatGPT엔 브랜치라는 것도 있어요. 기존 대화의 특정 지점에서 새 줄기를 치는 기능이에요. 원래 대화는 그대로 두고 다른 방향을 시험해볼 때 좋아요. 대화가 길어졌을 때 “여기서부터 다른 방향” 하고 가지를 치면, 긴 본 대화를 더 늘리지 않고 깨끗한 가지에서 작업할 수 있어요.

---

깅글렛 한줄평

💬 AI가 멍청해진 게 아니라 책상이 꽉 찬 거예요. 답이 흐려진다 싶으면 붙잡고 늘리지 말고, 요약 한 번 받아서 새 대화로 깔끔하게 넘어가세요.

---

마무리

오늘은 AI가 왜 길어지면 흐려지는지, 그리고 새 대화를 언제 어떻게 여는지 풀어봤어요. 원리는 결국 하나예요. AI는 기억하는 게 아니라 매번 다시 읽고, 그 책상엔 한도가 있다는 거죠.

여러분은 보통 몇 개쯤 주고받으면 AI가 흐려진다고 느끼시나요?

---

※ 본 글은 2026년 6월 기준 정보를 바탕으로 작성됐어요. 모델별 토큰 한도·도구 메뉴 이름·기능은 시점에 따라 바뀔 수 있어요.