AI 사진 질문하는 법, 멀티모달로 실무 7가지 해결

안녕하세요, 깅글렛이에요.

종이 서류 내용을 키보드로 일일이 옮겨 적다가 한숨 쉬어본 적 있으시죠? 저도 그랬거든요.

근데 그럴 필요가 없어요. 사진 한 장 찍어서 AI한테 그대로 올리고 물어보면 끝이에요.

ChatGPT·Claude·Gemini 세 도구 다 되고, 심지어 무료로도 돼요.

오늘은 사진을 AI에 올려 물어보는 실무 7가지를 정리해볼게요.

사진을 그대로 올려 묻는다, 멀티모달이 뭐길래

먼저 답부터 드릴게요. 멀티모달은 글뿐 아니라 사진·화면 같은 입력도 같이 알아듣는 AI예요. 사진을 보여주며 “이게 뭐야?“라고 물으면 AI가 그 이미지를 읽고 답해주죠.

📖 멀티모달이란? 글·사진·음성처럼 여러 형태의 입력을 함께 이해하는 AI를 말해요.

예전엔 문서 내용을 키보드로 길게 쳐서 질문해야 했어요. 근데 지금은 폰으로 사진을 찍어 던지기만 하면 돼요. 종이 문서든, 화면 캡처든, 외국어 간판이든 마찬가지예요.

여기서 한 가지 짚고 갈게요. 이 글에서 말하는 건 내가 올린 사진을 AI가 읽어주는 쪽이에요. AI가 그림을 그려주는 ’이미지 생성’과는 다른 얘기죠. 실제로 Claude 공식 문서도 “Claude는 이미지를 이해만 하고 생성·편집은 못 한다”고 못 박아요.

인포그래픽 - “사진 → 질문 → 답” 흐름도 4단계: ① 폰으로 사진/스크린샷 촬영 → ② 채팅창 +버튼이나 드래그로 올림 → ③ “요약/번역/정리해줘” 질문 → ④ AI가 읽고 답, 그린 베이스

올리는 방법은 세 도구 다 똑같아요

방법은 정말 단순해요. 세 도구 모두 입력창에 사진만 올리면 끝이거든요.

ChatGPT는 입력창의 +(플러스) 아이콘을 누르고 “사진 및 파일 추가”를 고르면 돼요. 이미지를 입력창에 드래그하거나, 복사한 그림을 그대로 붙여넣어도 되고요. 웹·iOS·안드로이드·맥 앱이 다 같은 방식이에요. 모바일에선 즉석에서 새 사진을 찍어 바로 올릴 수도 있어요.

Claude는 claude.ai에서 파일 올리듯 이미지를 올리거나, 채팅창에 드래그앤드롭하면 돼요. Gemini도 웹·모바일에서 사진을 올리거나 촬영해서 쓸 수 있죠. 형식은 JPEG·PNG·WebP 정도면 안전하게 받아져요.

ChatGPT 입력창의 +(플러스) 아이콘과 “사진 및 파일 추가” 메뉴를 보여주는 화면 캡처

종이 서류는 찍어서 요약·표로 뽑아요

이제 본격적으로 활용법이에요. 첫 번째는 종이 문서예요.

인쇄된 문서나 계약서, 서류를 사진 찍어 올리면 AI가 글자를 읽어서(OCR) 핵심을 요약하거나 표로 정리해줘요. ChatGPT 비전은 글자 인식과 맥락 추론을 같이 써서 인쇄 문서 사진을 해석하거든요.

✍️ 저는 거래처에서 종이로 받은 견적서를 자주 찍어 올려요. “여기서 품목이랑 금액만 표로 뽑아줘” 하면 한 번에 정리되더라고요. 다만 금액은 제가 원본이랑 한 번씩 대조하고 넘어가요.

이렇게 물어보면 돼요.

이 문서 핵심 3줄로 요약해줘.
그리고 마감일과 금액만 따로 표로 뽑아줘.

다만 금액이나 날짜 같은 숫자는 사람이 한 번 더 확인하는 게 안전해요. 이유는 뒤에서 따로 짚을게요.

종이 서류를 촬영한 사진과 AI가 표로 정리해준 결과를 나란히 보여주는 화면

화면을 캡처하면 오류 원인을 짚어줘요

두 번째는 화면 캡처예요. 에러 메시지나 설정 화면, 대시보드를 캡처해 올리면 무슨 상황인지 설명하고 해결 방법까지 알려줘요.

화면 스크린샷은 AI가 특히 잘 읽는 편이에요. Gemini는 앱 오류창이나 웹 알림처럼 글자가 한 줄로 또렷하게 박힌 고대비 스크린샷에서 텍스트 추출 정확도가 높거든요. Claude도 스크린샷에서 글자를 읽고 화면 배치 문제를 분석해줘요.

이럴 때 이렇게 물어보면 좋아요.

이 에러 메시지가 무슨 뜻이고, 어떻게 고치면 돼?
이 설정 화면에서 뭘 눌러야 하는지 알려줘.

에러 메시지를 검색창에 그대로 옮겨 적던 수고가 사라져요. 그냥 화면을 캡처해서 던지면 되니까요.

오류 메시지 스크린샷을 올리고 AI가 원인과 해결법을 설명해주는 화면 캡처

외국어 간판·메뉴는 찍어서 번역해요

세 번째는 번역이에요. 출장이나 여행에서 모르는 언어의 간판·메뉴·안내문을 만나면 사진 찍어서 “번역해줘”라고 하면 돼요.

ChatGPT는 외국어 메뉴를 번역해주고, 교통 표지나 주차 안내, 도로 규칙도 쉬운 말로 풀어줘요. 단순히 번역만 하는 게 아니라 조건을 붙일 수도 있어요.

이 메뉴 번역하고, 해산물 요리만 따로 표시해줘.
이 안내판 한국어로 풀어줘.

낯선 곳에서 메뉴판 앞에 멍하니 서 있던 순간, 다들 한 번쯤 있잖아요. 그럴 때 폰 카메라 하나면 해결돼요.

외국어 메뉴판 사진과 AI가 한국어로 번역해준 결과를 보여주는 화면

손글씨·화이트보드는 글로 옮겨 정리해줘요

네 번째와 다섯 번째는 묶어서 볼게요. 손으로 쓴 메모와 화이트보드예요.

회의 중에 손으로 휘갈긴 메모를 사진 찍어 올리면 정리·요약하고 할 일까지 뽑아줘요. ChatGPT는 손글씨 양식을 데이터로 바꾸거나, 손글씨 메모에서 액션 아이템을 추려낼 수 있거든요. 회의 끝나고 화이트보드를 통째로 찍어 올리면 내용을 글로 옮겨 회의록처럼 정리해주고요.

화이트보드는 보통 손글씨에 도식까지 섞여 있어서, 또렷하게 찍는 게 관건이에요. 잘 찍는 요령은 마지막에 따로 묶어둘게요.

✍️ 회의 끝나고 지워질 화이트보드를 급하게 찍어둔 적이 많거든요. 나중에 올려서 “여기 적힌 거 회의록으로 정리해줘” 하면 도움이 돼요. 대신 흘려 쓴 글씨는 가끔 엉뚱하게 읽혀서, 중요한 항목은 제가 직접 손봐요.

다만 손글씨는 AI가 가장 틀리기 쉬운 영역 중 하나예요. 흘림체나 악필, 한글이 섞이면 오류율이 올라가거든요. 그대로 믿지 말고 한 번 검토하세요.

손글씨 메모와 화이트보드 사진을 AI가 정리된 텍스트·할 일 목록으로 바꿔준 화면

표·그래프는 추세와 시사점을 읽어줘요

여섯 번째는 표와 그래프예요. 보고서 속 표나 그래프를 캡처해 올리면 추세와 중요한 수치, 시사점을 짚어줘요.

ChatGPT는 대시보드 스크린샷에서 꺾은선 그래프의 추세를 요약하고 눈에 띄는 지표를 표시해줘요. Claude는 차트나 다이어그램, 플로우차트 같은 도식도 해석하고요.

이 그래프에서 가장 중요한 포인트만 짚어줘.
이 표를 보고 결론을 한 줄로 정리해줘.

여기서도 주의할 게 있어요. 칸이 여러 단으로 나뉜 복잡한 표나 글씨가 작은 표는 일부만 읽히거나 라벨이 합쳐질 수 있어요. 그러니 중요한 수치는 사람이 확인하는 게 좋아요.

보고서 그래프 캡처와 AI가 추세·핵심 수치를 요약해준 화면

영수증·제품 라벨은 정보만 쏙 뽑아요

마지막 일곱 번째는 영수증과 제품이에요. 제품 라벨이나 영수증, 포장지를 찍어 올리면 필요한 정보만 추출해줘요. ChatGPT는 영수증이나 양식에서 총액·날짜·주요 항목을 뽑아내거든요.

이 영수증에서 총액과 날짜만 표로 정리해줘.
이 제품 라벨의 성분을 설명해줘.

그런데 영수증 금액과 숫자는 가장 조심해야 하는 부분이에요. AI 비전 모델이 이미지에 없는 값을 만들어내는 일이 생기거든요. 그래서 정산이나 결제에 쓸 거라면 꼭 원본과 대조하세요. 이 부분은 다음 섹션에서 좀 더 단호하게 짚을게요.

영수증 사진과 AI가 총액·날짜·항목을 표로 정리해준 결과 화면

잘 찍는 법, 그리고 사람이 꼭 봐야 하는 것

활용법을 봤으니, 정확도를 좌우하는 두 가지를 정리할게요. 잘 찍는 법과 한계예요.

먼저 사진 잘 찍는 법이에요. 비싼 장비는 필요 없고, 폰 카메라로도 이것만 지키면 돼요. 정면에서 똑바로 찍고(비스듬하면 글자가 왜곡돼요), 그림자나 반사광은 피하고, 글자가 또렷하게 나오게 하세요. 흐린 사진은 OCR 실패의 가장 흔한 원인이거든요. 글자가 작으면 가까이 찍거나 잘라서 크게 담고, 한 장에 한 화면씩만 담으면 좋아요.

인포그래픽 - 사진 잘 찍는 팁 카드 4가지: 정면·똑바로 / 그림자·반사광 피하기 / 또렷하게(흐림 금지) / 한 장에 하나, 그린 베이스

그다음은 한계예요. AI 비전은 흐릿하거나 회전됐거나 아주 작은 글씨에서 이미지에 없는 내용을 지어낼 수 있어요. Claude 공식 문서도 “저품질·회전·200픽셀 미만의 아주 작은 이미지에선 착각하거나 실수할 수 있다”고 밝혀요. 손글씨, 한글 같은 비라틴 문자, 복잡한 표에서도 오류율이 올라가고요.

그래서 한 가지는 단호하게 말씀드릴게요. 영수증 금액이나 날짜 같은 중요한 숫자는 사람이 꼭 한 번 더 확인하세요. AI가 100% 정확하지는 않아요. 초안이나 1차 정리는 AI에 맡기되, 돈·숫자·법적인 내용은 반드시 원본과 대조하는 게 맞아요.

Claude는 사진 속 인물의 이름을 맞히는 것도 거부하고, AI가 만든 이미지의 진위 판별이나 CT·MRI 같은 정밀 의료 판독은 믿지 말라고 공식으로 명시해요. 이런 선은 지키는 게 안전해요.

깅글렛 한줄평

💬 다음에 종이 서류나 외국어 간판 앞에서 막히면, 옮겨 적지 말고 일단 사진부터 찍어 올려보세요. 무료로도 다 되니까 손해 볼 게 없어요.

자주 묻는 질문

Q. 무료 버전에서도 사진을 올려 물어볼 수 있나요? 네, 됩니다. ChatGPT·Claude·Gemini 모두 무료 등급에서 이미지 입력을 지원해요. 다만 무료는 하루 사용량 제한이 유료보다 빡빡한 편이에요.

Q. AI가 사진 속 글자를 100% 정확하게 읽나요? 아니에요. 화면 캡처처럼 또렷한 이미지는 정확도가 높은 편이지만, 흐릿하거나 손글씨, 작은 글씨가 섞이면 틀릴 수 있어요. 영수증 금액 같은 중요한 숫자는 사람이 꼭 다시 확인하세요.

Q. 사진을 올리면 AI가 그림도 그려주나요? 그건 다른 기능이에요. 이 글에서 다룬 건 내가 올린 사진을 AI가 읽어주는 ’이미지 입력’이에요. AI가 그림을 그려주는 ’이미지 생성’은 별개라서, 예를 들어 Claude는 이미지를 이해만 하고 생성은 못 해요.

마무리

오늘은 사진을 AI에 올려 물어보는 실무 7가지를 정리해봤어요. 텍스트로 옮겨 적던 수고를 사진 한 장으로 줄일 수 있다는 게 핵심이에요.

여러분은 어떤 상황에서 가장 써보고 싶으신가요?

다음 글에선 또 다른 AI 업무 활용법으로 찾아올게요.

※ 본 글은 2026년 6월 기준 정보를 바탕으로 작성됐어요. 도구 기능·정책은 추후 변경될 수 있어요.