AI 용어 정리, 직장인이 꼭 알아야 할 것만

안녕하세요, 깅글렛이에요.

회의에서 누가 “그건 LLM 한계라 어쩔 수 없죠”라고 하는데, 저 혼자 못 알아들어서 고개만 끄덕인 적 있거든요.

AI 쓰는 직장인이라면서 정작 기사에 나오는 용어 앞에서 자꾸 멈칫하면 좀 답답하잖아요.

그래서 오늘은 입문자가 제일 자주 막히는 AI 용어 8개만 골라서, 사전식 정의 말고 “쉽게 말하면” 식으로 풀어볼게요.

딱 이 8개만 잡아두면 AI 기사나 도구 설명이 갑자기 읽히기 시작해요.

생성형 AI와 LLM, 둘은 큰 그릇과 그 안의 알맹이예요

먼저 제일 큰 단어 두 개부터 정리하고 갈게요. **생성형 AI(Generative AI)**는 텍스트·이미지·음악·코드처럼 새로운 콘텐츠를 스스로 만들어내는 AI를 통째로 부르는 말이에요. 예전 AI가 정해진 규칙대로만 답했다면, 생성형 AI는 학습한 데이터를 바탕으로 그때그때 새로운 걸 만들어내거든요.

그 안에 LLM이 있어요. LLM은 Large Language Model, 우리말로 거대언어모델이에요. 쉽게 말하면 수백억~수천억 개의 정보 조각을 학습해서 사람처럼 말을 이해하고 만들어내는 AI 엔진이고요. IBM은 LLM을 “인간 언어를 인식하고 해석하도록 충분한 사례를 학습한 컴퓨터 프로그램”이라고 설명해요.

여기서 헷갈리기 쉬운 게 둘의 관계예요. 생성형 AI가 큰 그릇이라면, LLM은 그 안에서 ’글’을 담당하는 알맹이라고 보면 돼요. 그러니까 텍스트를 다루는 ChatGPT·Claude·Gemini는 LLM 기반이지만, 이미지를 그리는 Midjourney나 영상 만드는 Sora는 생성형 AI는 맞아도 LLM은 아니거든요.

그래서 “어떤 AI 써야 해요?“라는 질문은 사실 “어떤 LLM을 쓸까”에 가까워요. 한국은행 조사를 닥터플랜이 인용한 자료를 보면, 한국 근로자의 63.5%가 이미 생성형 AI를 써본 적 있다고 해요(미국은 26.5% 수준이라니 두 배가 넘죠). 이미 절반 넘는 직장인이 쓰는 도구의 정체가 LLM이라는 거예요.

생성형 AI(큰 원) 안에 LLM·이미지 생성 AI·영상 생성 AI가 들어 있는 포함 관계 도식

프롬프트는 AI에게 건네는 주문서, 잘 쓰면 결과가 달라져요

LLM한테 일을 시키려면 뭔가를 입력해야겠죠. 그 입력 전체가 **프롬프트(prompt)**예요. 챗봇 창에 치는 모든 글이 다 프롬프트라고 보면 돼요. 원래 연극에서 배우한테 대사 알려주는 ’프롬프터’에서 온 말이거든요.

중요한 건 결과물 품질이 AI가 아니라 프롬프트에 달려 있다는 점이에요. 똑같은 AI한테 “카피 써줘”라고 하는 거랑, “당신은 마케팅 카피라이터예요. 20대 여성 타깃 여름 선크림 광고 카피 5개, 각 20자 이내, 감성적으로 써주세요”라고 하는 건 결과가 완전히 다르게 나와요.

✍️ 저는 거래처에 단가 인상 양해 메일 쓸 때 프롬프트 덕을 자주 봐요. 처음엔 그냥 “메일 써줘” 했더니 공문서처럼 딱딱하게 나오더라고요. 근데 “거래처가 갑자기 받으면 당황할 수 있으니까, 미안한 마음이 좀 배어나게”라고 한 줄 더 붙였더니 그제야 제가 쓰는 말투랑 비슷하게 바뀌었거든요. 그 뒤로는 메일 쓸 때 처음부터 톤을 한 줄로 써주는 버릇이 생겼어요.

carat.im 가이드는 좋은 프롬프트의 5요소를 이렇게 정리해요. 역할 부여(“당신은 인사팀 담당자예요”), 맥락 제공, 형식 지정(길이·개수·표 형태), 예시 포함, 제약 설정(넣을 것·뺄 것). 다 외울 필요는 없고, 그냥 “역할 + 상황 + 원하는 형식” 이 셋만 챙겨도 결과가 확 좋아지더라고요.

같은 질문에 대충 쓴 프롬프트 vs 구체적인 프롬프트의 결과물 비교 화면

토큰이 과금 단위고, 컨텍스트 윈도우가 AI가 앞말을 잊는 이유예요

이 둘은 짝꿍이라 같이 보는 게 편해요. 먼저 **토큰(token)**은 AI가 글을 처리하는 최소 단위예요. 우리한테는 ‘단어’ 하나여도 AI는 더 잘게 쪼개서 봐요. OpenAI 설명으로는 평균적으로 토큰 하나가 영어 단어의 4분의 3 크기쯤이고, 예를 들어 “Darkness”는 “dark”랑 “ness” 두 토큰으로 갈라져요. 공백이나 문장부호도 다 토큰에 들어가고요.

여기서 한국인 입장에서 좀 억울한 부분이 있어요. 한국어는 영어보다 토큰을 더 많이 잡아먹거든요. 단어 사이 띄어쓰기가 영어처럼 딱 떨어지지 않고, 한 글자에 의미가 담긴 경우가 많아서 거의 글자 단위로 쪼개지니까요. 같은 뜻이라도 한글 문장이 토큰을 더 쓰는 거죠.

그럼 토큰을 왜 알아야 하냐면, 이게 AI 서비스의 과금 기준이라서 그래요. 회사에서 AI 도구 도입 검토하다 보면 “토큰당 얼마” 같은 표현을 꼭 만나요. 입력 토큰이랑 출력 토큰을 따로 계산하고, 보통 출력이 더 비싸고요.

거기에 **컨텍스트 윈도우(context window)**가 붙어요. 이건 AI가 한 번에 기억할 수 있는 글의 양을 토큰으로 재는 거예요. 단기 기억 용량이라고 보면 딱이에요. “긴 대화 하다 보면 AI가 갑자기 앞에 한 말을 까먹은 것처럼 굴 때” 있죠? 그게 바로 이 윈도우를 넘겨서 그래요. 한도를 넘으면 가장 오래된 내용부터 차례로 잊어버리거든요.

크기는 모델마다 달라요. 요즘 최신 모델은 보통 12만~20만 토큰 수준이고, 구글 Gemini 1.5 Pro는 2024년 기준으로 100만 토큰까지 가기도 했어요. 윈도우가 클수록 긴 보고서나 회의록을 통째로 붙여 넣고 작업하기 좋다는 뜻이에요.

영어 문장과 한국어 문장이 각각 토큰으로 쪼개지는 모습 비교 인포그래픽

할루시네이션은 AI가 모르면서 아는 척하는 현상이에요

AI 쓰면서 제일 조심해야 할 게 이거예요. 할루시네이션(hallucination), 우리말로는 ’환각’이라고 부르고 국립국어원은 ’허위생성’이라는 표현을 권하기도 해요. 근거 없는 정보를 마치 진짜인 것처럼 그럴듯하게 만들어내는 오류예요. 위키백과는 “트레이닝 데이터로 판단하지 않는 것처럼 보이는 AI의 확신적 답변”이라고 정의하고요.

왜 이런 일이 생기냐면, AI가 거짓말을 하려는 게 아니라 참·거짓을 가리는 능력 자체가 없어서예요. LLM은 한마디로 “가장 확률 높은 다음 단어를 수학적으로 예측하는 초거대 자동완성기”라서, 정보가 부족하면 빈칸을 억지로라도 그럴듯하게 채우려 들거든요.

이게 남 얘기가 아니에요. 실제로 미국 법정에서 변호사가 AI가 만들어낸 가짜 판례를 제출했다가 징계받은 일이 있었고요. 국내에서도 용인 경찰서 불송치 결정문에 존재하지도 않는 판례가 인용된 사건이 있었어요. 제안서 쓸 때 AI가 없는 통계를 당당하게 갖다 붙이는 건 정말 흔하고요.

✍️ 저도 한 번 식은땀 흘린 적 있어요. 상반기 현황 요약 자료에 AI가 적어준 수치 출처를 그냥 두고 팀장님한테 보내려다가, 마지막에 한 번 더 읽어보니 출처로 달린 기관명이 왠지 낯설어서 검색해봤거든요. 그런데 그 보고서가 어디에도 없는 거예요. AI가 실제로 존재하는 기관 이름을 썼는데 정작 그 자료는 만들어낸 거였어요. 그 뒤로 숫자랑 출처는 복붙하기 전에 꼭 직접 찾아보게 됐어요.

막는 방법도 있어요. 프롬프트에 “모르면 모른다고 답해줘”라고 못 박거나 출처를 같이 요구하는 거예요. RAG(검색 증강 생성)처럼 믿을 만한 자료를 먼저 찾아보고 그 안에서만 답하게 하는 기술도 있고요. 그래도 결국 핵심은 사람이 한 번 더 검증하는 거예요. 법률·의료·금융 쪽은 특히 전문가 확인이 필수고요.

AI가 그럴듯하게 가짜 출처를 답하는 채팅 예시 화면

멀티모달과 AI 에이전트는 지금 막 뜨는 다음 단계예요

마지막 두 개는 ’AI가 어디까지 왔나’를 보여주는 키워드예요. 먼저 멀티모달(multimodal) AI. 글자만 다루던 기존 LLM과 달리, 이미지·음성·영상까지 같이 알아듣고 처리하는 AI예요. ’모달리티’가 정보를 받아들이는 방식이라는 뜻이라, 여러 방식을 한꺼번에 쓴다고 멀티모달이고요. 삼성SDS는 이걸 “인간이 사물을 받아들이는 다양한 방식과 동일하게 학습하는 AI”라고 표현해요.

직장인 입장에선 이게 꽤 실용적이에요. 계약서를 사진 찍어 올려서 요약시키거나, 회의 녹음을 보내 회의록을 받거나, 엑셀 차트 이미지를 올려서 분석을 부탁할 수도 있어요. 사진 찍어 보내면 읽고 정리해주는 그 기능이 다 멀티모달 덕분이에요. 2026년 현재 주요 AI 서비스는 기본적으로 멀티모달을 지원하는데, 다만 한국어 세부 지원 범위는 서비스마다 다를 수 있으니 그건 직접 써보고 확인하는 게 좋아요.

그리고 요즘 업계에서 제일 시끄러운 단어가 **AI 에이전트(AI agent)**예요. 지금까지 본 AI가 “물으면 답하는” 쪽이었다면, 에이전트는 목표만 주면 스스로 계획하고, 도구를 쓰고, 여러 단계 일을 알아서 끝내는 AI거든요. 관찰하고 → 상황을 이해하고 → 어떻게 할지 정하고 → 실제로 실행하는 4단계로 움직여요.

차이를 표로 보면 이래요.

구분	특징
챗봇	정해진 규칙대로 질문에 답만 함, 실행은 없음
AI 어시스턴트	학습된 패턴으로 추천, 도구 연동은 제한적
AI 에이전트	스스로 판단하고 여러 도구를 써서 다단계 업무를 자동 수행

이게 그냥 유행어가 아닌 게, 가트너 2026 하이프 사이클에도 에이전트 AI가 주요 항목으로 올랐어요. 가트너 조사로는 지금 에이전트를 실제 배포한 조직이 17%인데, 60% 넘는 곳이 앞으로 2년 안에 도입할 계획이래요. 아직 초기이지만 곧 대다수 조직의 표준이 된다는 얘기거든요. Microsoft Copilot으로 회의 요약하고, Notion AI로 문서 초안 잡는 게 다 이 흐름 안에 있는 거예요.

챗봇 → AI 어시스턴트 → AI 에이전트로 발전하는 단계 인포그래픽

깅글렛 한줄평

💬 용어는 외우는 게 아니라 익히는 거예요. 위 8개 중 본인이 제일 자주 막혔던 단어 하나부터, 다음에 AI 기사 볼 때 떠올려보세요. 그 순간부터 기사가 달라 보일 거예요.

마무리

오늘은 입문 직장인이 자주 막히는 AI 용어 8개를 한 번에 정리해봤어요.

다음 글에서는 이 용어들을 실제 업무에 써먹는 ’직장인 프롬프트 활용법’으로 찾아올게요.

※ 본 글은 2026년 5월 기준 정보를 바탕으로 작성됐어요. 용어 정의나 AI 서비스 기능은 추후 변경될 수 있어요. ※ 한국 근로자 생성형 AI 사용률(63.5%)은 한국은행 조사를 닥터플랜이 인용한 자료 기준이에요.