AI 영상 자막 더빙, 손으로 받아치던 자막을 무료로 끝내는 법
안녕하세요, 깅글렛이에요.
영상에 자막 한 줄 한 줄 손으로 받아치다가 저녁이 통째로 날아간 적, 다들 한 번쯤 있으시죠. 저는 사내 교육영상 자막 작업을 하다가 거의 울 뻔했거든요.
근데 지금은 그 과정 대부분을 AI가 대신해줘요. 자막 받아쓰기부터 번역, 심지어 AI 목소리 더빙까지요.
오늘은 영상 자막·번역·더빙을 무료 도구 위주로, 한국 도구를 섞어서 끝내는 워크플로를 풀어볼게요. 도구별로 뭘 잘하는지도 같이 비교해볼게요.
AI는 영상을 보는 게 아니라 ’자막’을 다뤄요
먼저 알고 들어가면 훨씬 편한 게 하나 있어요. AI는 영상 화면을 눈으로 보는 게 아니에요. 영상 속 음성을 글자로 받아쓴 자막(텍스트)을 가지고 번역도 하고 더빙도 해요.
예전에 올린 ‘유튜브 요약 AI’ 글에서도 같은 얘길 했는데, 영상을 다루는 AI는 결국 다 이 자막 텍스트를 출발점으로 삼아요. 그래서 어떤 도구를 쓰든 흐름이 똑같이 모여요.
순서는 이렇게 다섯 단계예요.
- 자막 자동 생성(STT) — 영상 음성을 글자로 받아써요.
- 교정 — 받아쓴 자막의 오타·고유명사를 사람이 손봐요.
- 번역 자막 — 교정한 자막을 외국어로 바꿔요.
- 더빙(TTS) — 번역(또는 원문) 텍스트를 AI 목소리로 읽혀요.
- 내보내기 — 자막을 영상에 입히거나, 더빙 트랙을 합쳐 mp4로 빼요.
여기서 진짜 중요한 단계는 의외로 ②교정이에요. 자동 자막 정확도가 보통 70~90% 정도라, 손 안 보고 그대로 쓰면 엉뚱한 단어가 박혀요. 받아쓰기 자체는 회의 녹음 중심으로 예전 ‘AI 받아쓰기’ 글에서 따로 다뤘으니, 이번 글은 영상 콘텐츠의 자막→번역→더빙에 집중할게요.
📖 STT·TTS란? STT는 Speech to Text, 사람 말을 글자로 받아쓰는 기술이에요. TTS는 Text to Speech, 반대로 글자를 사람 목소리처럼 읽어주는 기술이고요. AI 더빙이 바로 이 TTS예요.
유튜브에 올릴 거면 유튜브 공식 기능부터 켜보세요
만들 영상이 유튜브에 올라갈 거라면, 별도 도구 없이 유튜브 공식 기능만으로 상당 부분 무료로 해결돼요. 이걸 모르고 외부 프로그램부터 찾는 분이 많더라고요.
유튜브가 무료로 주는 건 세 가지예요. 우선 자동 자막은 한국어를 포함해 60여 개 언어를 자동으로 받아써요. 거기에 자동 번역 자막을 켜면 시청자가 100개 이상 언어로 즉석 번역해서 볼 수 있고요. PC에선 영상 우하단 CC(자막)에서 설정(톱니) → 자막 → 자동 번역으로 들어가면 돼요. 단, 자막이 아예 없는 영상은 번역이 안 되니 자막부터 만들어야 해요.
올해 바뀐 가장 큰 변화는 자동 더빙이에요. 번역된 음성 트랙을 자동으로 만들어서, 외국 시청자가 모국어 음성으로 영상을 들을 수 있게 해줘요. 예전엔 일부 크리에이터만 쓸 수 있었는데, 2026년 초부터 모든 채널에 개방됐어요. 출발어에서 영어로 27개 언어(한국어 포함), 영어에서 다른 언어로 19개 언어를 지원해요.
켜는 법도 간단해요. 유튜브 스튜디오 앱에서 프로필 → 설정 → 콘텐츠 → 자동 더빙으로 들어가면 돼요. 더빙된 영상엔 설명란에 “자동 더빙”이라고 자동으로 표시돼요.
물론 제한도 있어요. 영상 길이가 120분을 넘으면 안 되고, 음악만 있거나 음성이 거의 없는 영상도 더빙이 안 돼요. 저작권 보호 콘텐츠가 끼어 있어도 막히고요. 그래도 일반 유튜브 영상이면 이 세 기능만으로도 자막·번역·더빙이 꽤 커버돼요.
편집까지 한 프로그램에서, Vrew(브루)가 첫 픽이에요
유튜브 안에서 끝나는 게 아니라 영상을 직접 자르고 편집까지 하고 싶다면, 한국산 무료 도구 Vrew(브루)가 제일 만만해요. 자막 생성·번역·더빙·편집이 한 프로그램에 다 들어 있거든요.
영상을 올리기만 하면 자막이 자동으로 생성돼요. 번역은 클릭 몇 번으로 100개 이상 언어가 되는데, GPT 번역 엔진을 써서 문맥을 어느 정도 이해하고 번역해줘요. AI 목소리 더빙도 5개 국어에 200종 넘는 목소리가 있어서, 골라 쓰는 재미가 있어요.
기본 기능은 무료 플랜으로도 거의 다 써볼 수 있어요. 무료는 AI 목소리(더빙)가 월 1만 자까지고, 더 쓰려면 유료로 올라가요. 가격은 2025년 11월에 한 번 올라서, 지금 기준 이래요.
| 플랜 | 월 가격 (2026.6 기준) | AI 목소리 한도 |
|---|---|---|
| Free(무료) | 0원 | 1만 자 |
| Light(라이트) | 약 9,900원 | 10만 자 |
| Standard(스탠다드) | 약 17,900원 | 50만 자 |
| Business(비즈니스) | 약 39,600원 | 60만 자 |
결론만 말하면, 가볍게 영상 몇 개 만드는 정도면 무료로도 충분하고, 더빙을 자주 쓰면 라이트 9,900원부터 쓰면 돼요. (2026년 6월 기준이고, 요금은 바뀔 수 있어요.)
✍️ 저는 짧은 정보성 클립 만들 때 Vrew를 자주 써요. 자막 자동 생성이 제일 편한데, 처음엔 받아쓴 자막에 회사 제품명이 죄다 이상하게 박혀서 한참 고쳤거든요. 고유명사 많은 영상은 ②교정 단계를 꼭 챙기게 되더라고요.
숏폼·릴스 편집자라면 CapCut(캡컷)도 한국어가 돼요
릴스나 숏폼을 주로 만든다면 CapCut(캡컷)이 손에 익은 분이 많을 거예요. 캡컷도 웹·데스크톱·앱 모두에서 자동 자막, 자막 번역, AI 더빙을 무료로 지원하고 한국어도 돼요.
자동 자막은 영상을 무료로 텍스트로 바꿔주고, 자막 번역은 영어·일본어·중국어·한국어 등으로 즉석에서 돼요. AI 더빙은 음성 번역에 화자 인식까지 묶어서, 클릭 한 번으로 영상 번역을 시도해줘요. 원래 화자 말투를 유지한다는 점을 내세우고요.
무료로 쓸 때 알아둘 점은, 데스크톱 내보내기는 워터마크가 없고 상업적으로도 쓸 수 있다는 거예요. 다만 자동 자막은 영상 하나당 약 10분으로 길이 제한이 있고, AI 자동편집 같은 일부 기능은 월 횟수 제한이 걸려요. 더 풀고 싶으면 Pro가 있는데, 해외 기준 약 $7.99/월(연 $59.99)이에요. 사실 무료 기능만으로도 자막·번역·더빙은 충분히 돌아가요.
AI 목소리(더빙)는 클로바더빙·perso.ai·ElevenLabs로 갈려요
자막 다음 단계인 목소리 생성(TTS)만 따로 보면, 강한 도구가 또 달라요. 무료로 입문하기엔 네이버 클로바더빙, 한국어 립싱크 더빙엔 perso.ai, 품질 최상위엔 ElevenLabs예요. 셋을 상황별로 갈라 쓰면 돼요.
네이버 클로바더빙은 영상·오디오에 AI 성우 목소리를 입히는 네이버 클라우드 서비스예요. 무료로 월 15,000자에 다운로드 20회, 비디오는 최대 20분까지 만들 수 있어요. 입문용으론 딱이죠. 단, 무료는 출처 표기가 필수고 상업적 활용엔 제한이 있어요. 무료로 영상을 빼면 클로바더빙 워터마크도 찍히고요. 이 한계만 받아들이면, 돈 안 들이고 AI 더빙을 처음 경험하기엔 가장 무난해요.
**perso.ai(페르소)**는 ESTsoft가 만든 국산 플랫폼이에요. 영상 속 음성을 자동으로 인식·번역하고, 화자 목소리 특성을 유지한 채 다국어로 다시 만들어줘요. 99개 이상 언어 더빙에 자연스러운 립싱크를 내세우는데, 한국어 영상 번역·더빙에 특화돼 있어요. 무료 플랜으로 매일 일정 크레딧을 주고, 유료는 한국 원화로 Creator 약 42,900원, Pro 약 143,000원이에요.
**ElevenLabs(일레븐랩스)**는 품질로는 글로벌 최상위예요. 70개 이상 언어 TTS·더빙을 지원하고, 한국어도 돼요. 2025년 하반기 ‘Eleven v3’ 모델 이후로 한국어가 부쩍 자연스러워져서, 유튜브 나레이션이나 교육 콘텐츠에도 쓸 만한 수준이 됐고요. 여긴 글로벌 서비스라 공식 원화 정가가 없고 달러로만 과금해요.
| 플랜 | 월 가격 (USD, 2026.6 기준) | 특징 |
|---|---|---|
| Free | $0 | 약 10분, 더빙 미포함·상업 사용 불가 |
| Starter | $5 | 약 30분, 제한적 더빙 |
| Creator | $22 | 약 100분, 더빙 포함 |
| Pro | $99 | 더빙 약 250분 |
가격을 정리하면, 무료로 시작은 클로바더빙, 한국어 립싱크가 필요하면 perso.ai, 품질을 끝까지 끌어올리려면 ElevenLabs 쪽이에요. 셋 다 무료 또는 저가 플랜이 있으니, 목적을 정하고 하나씩 찍어 써보시는 걸 추천해요.
결론: 무료 입문은 클로바더빙, 한국어 립싱크는 perso.ai, 최고 품질은 ElevenLabs예요.
더빙이 어색하게 들린다면, 문장을 짧게 끊어보세요
도구를 골랐는데 막상 AI 목소리가 어색하다면, 대본 쪽을 손볼 차례예요. 제가 써보니 자연스러움은 도구 성능 못지않게 문장 길이에 많이 좌우되더라고요.
긴 문장을 통째로 넘기면 AI가 억양이 단조로워지고 호흡이 부자연스러워져요. 한 호흡에 읽을 30~60자 정도로 문장을 끊으면 훨씬 자연스럽게 읽혀요. 자막 정확도도 마찬가지예요. 잡음이 많거나 목소리가 작으면 받아쓰기 오류가 늘어나니, 녹음 품질을 챙기고 ②교정 단계를 거르지 않는 게 좋아요.
한 가지 더, TTS 선택 기준은 ’제일 자연스러운 게 뭐냐’보다 ’내 목적에 맞느냐’예요. 가볍게 워터마크 감수하고 무료로 쓸 거면 클로바더빙, 상업용 고품질이면 ElevenLabs나 perso.ai로 가는 식이죠.
타인 영상·목소리, 무단으로 쓰면 저작권만 문제가 아니에요
여기는 꼭 짚고 가야 해요. AI 더빙이 쉬워졌다고 남의 영상이나 목소리를 함부로 가져다 쓰면 안 돼요.
타인의 영상·목소리를 AI 더빙이나 음성 복제에 무단으로 쓰면, 저작권을 넘어 음성권·퍼블리시티권 문제가 돼요. 우리나라에선 부정경쟁방지법으로 다뤄지는 영역이고요. 흔히 ‘비영리니까, 수익 안 내니까, 출처 표기했으니까 괜찮겠지’ 하시는데, 그것만으로는 면죄되지 않아요. 법률 해설을 보면 본인 음성이거나 복제 권한이 있는 음성만 써야 한다고 분명히 짚어요. ElevenLabs 같은 도구도 타인 목소리 무단 복제는 약관 위반이에요.
그래서 두 가지만 기억하면 돼요. 첫째, 목소리는 본인 것이거나 권한 있는 것만 쓰기. 둘째, AI로 더빙한 영상은 AI를 썼다고 고지하는 게 안전해요. 유튜브 자동 더빙은 알아서 “자동 더빙” 라벨을 붙여주지만, 다른 도구로 만들었으면 직접 밝혀두는 거죠. 자막 오류도 마지막에 한 번 검수하고요.
깅글렛 한줄평
💬 영상 자막·번역·더빙은 이제 무료로도 거의 다 돼요. 도구 욕심내지 말고, 유튜브 공식 기능이나 Vrew 하나부터 영상 한 편에 끝까지 써보시는 걸 추천해요.
자주 묻는 질문
Q. 완전 무료로 자막·더빙을 다 할 수 있나요? 네, 가능해요. 유튜브에 올릴 거면 유튜브 공식 자동 자막·번역·더빙으로 거의 해결되고, 편집까지면 Vrew 무료 플랜, 목소리는 클로바더빙 무료(월 15,000자·20분)로 입문할 수 있어요. 단 클로바더빙 무료는 워터마크와 출처 표기, 상업 제한이 붙어요.
Q. 한국어 더빙도 자연스럽나요? 2025년 하반기 ElevenLabs ‘Eleven v3’ 이후로 실무에 쓸 만한 수준까지 올라왔어요. 다만 긴 문장은 억양이 단조로워지니, 30~60자 정도로 끊어주면 훨씬 자연스러워요.
마무리
영상 자막·번역·더빙, 예전엔 손으로 받아치느라 시간이 한참 갔는데 이제 AI가 대부분 거들어줘요. 무료 도구만으로도 시작할 수 있으니, 다음에 영상 하나 만드실 때 자막을 직접 치기 전에 한 번 맡겨보세요.
※ 본 글은 2026년 6월 기준 정보를 바탕으로 작성됐어요. 도구·요금·정책은 추후 변경될 수 있어요. ※ 가격은 발행 시점과 다를 수 있으니, 결제 전 각 도구의 공식 결제 화면에서 한 번 확인하시는 게 정확해요.