[오늘의 AI] AI는 세상을 어떻게 보는가?

우리가 본다는 것, AI가 본다는 것

우리는 눈을 뜨는 순간 세상을 이해한다. 고양이를 보면 '고양이'라 인식하고, 표정을 보면 감정을 읽는다. 너무나 자연스러워서 그 과정을 생각조차 하지 않는다.

AI에게 이 '보는 것'은 수십 년간 가장 어려운 문제 중 하나였다. 그런데 지금, AI는 의사보다 정확하게 X-ray를 판독하고, 자율주행차의 눈이 되며, 사진 한 장에서 글을 읽어낸다.

 

 

 

AI 눈에 이미지는 '숫자의 바다'다

인간이 이미지에서 고양이를 볼 때, 컴퓨터는 수백만 개의 숫자를 본다. 각 픽셀은 R(빨강), G(초록), B(파랑) 세 개의 숫자 조합으로 표현된다. 0에서 255 사이의 값이다.

1920×1080 해상도 사진 한 장 = 약 621만 개의 픽셀 = 약 1,863만 개의 숫자. AI는 이 숫자들의 패턴 속에서 의미를 찾아낸다.

 

 

AI가 이미지를 이해하는 방법 (CNN)

AI 시각 이해의 핵심은 합성곱 신경망(CNN, Convolutional Neural Network)이다. 뇌의 시각 피질을 모방한 구조다.

인간 뇌도 시각 정보를 처리할 때 단계적으로 작동한다. 처음엔 단순한 선과 경계를, 다음엔 형태를, 마지막으로 객체 전체를 인식한다. CNN도 똑같이 작동한다.

 

1. 엣지(Edge) 감지

이미지에서 색깔이 급격히 변하는 경계선을 찾는다. (고양이 귀의 윤곽, 눈의 테두리)

 

2. 패턴 조합

선들이 모여 더 복잡한 패턴을 만든다. 곡선, 원, 삼각형 같은 도형을 인식하기 시작한다.

 

3. 특징(Feature) 추출

패턴들이 결합해 '귀처럼 생긴 것', '둥근 눈 모양' 같은 고수준 특징으로 발전한다.

 

4. 객체 인식

모든 특징을 종합해 최종 판단을 내린다. "이것은 87% 확률로 고양이다."

 

 

AI 시각 이해, 이런 일을 할 수 있다

'이미지를 이해한다'는 것은 하나의 기술이 아니다. 목적에 따라 여러 방향으로 나뉜다.

 

 

 

Vision Transformer (새로운 패러다임)

2020년 이후, 자연어 처리를 혁신한 트랜스포머(Transformer) 구조가 시각 이해 분야에도 상륙했다. Google이 제안한 ViT(Vision Transformer)가 그 시작이다.

CNN이 이미지를 필터로 훑는 방식이라면, ViT는 이미지를 여러 '패치(patch)'로 잘라 마치 단어처럼 처리한다. 각 패치가 서로 어떤 관계인지, 어텐션(Attention) 메커니즘으로 파악하는 것이다.

 

어텐션이란?
문장에서 "사자가 먹이를 쫓는다"를 이해할 때, '쫓는다'가 '사자'와 '먹이' 둘 다와 관련 있다는 걸 모델이 파악하는 능력이다. 이미지에서도 '눈'이라는 패치가 '얼굴' 패치와 강한 연관이 있음을 스스로 학습한다.

구분	CNN	Vision Transformer (ViT)
처리 방식	지역적 필터 슬라이딩	이미지 패치 간 전역적 관계 학습
강점	적은 데이터, 빠른 학습	대규모 데이터에서 압도적 성능
대표 모델	ResNet EfficientNet	ViT CLIP SAM
텍스트 결합	어렵다	자연스럽게 통합 가능
현재 트렌드	엣지 디바이스·경량 모델	멀티모달 AI의 핵심 구조

 

 

이미지 + 언어 = 멀티모달 AI

시각 이해의 최전선은 멀티모달(Multimodal)이다. 이미지와 텍스트를 함께 이해하는 AI다. GPT-4o, Claude, Gemini가 모두 이 능력을 갖추고 있다.

"이 차가 몇 년식이야?", "이 의약품의 복용법을 알려줘", "이 그래프가 의미하는 바는?" — 이런 질문에 이미지와 언어를 동시에 처리해 답한다.

특히 OpenAI CLIP은 4억 쌍의 이미지-텍스트를 학습해 텍스트 설명으로 이미지를 검색하거나, 이미지를 보고 자유로운 텍스트로 설명하는 능력을 보여줬다.

 

우리 삶 속에 이미 들어온 기술들

 

 

 

AI 시각의 한계:  아직 풀리지 않은 문제들

AI 시각 이해는 놀랍도록 발전했지만, 여전히 인간과 다른 방식으로 실수한다.

 

분포 외 데이터(Out-of-Distribution)
학습 때 보지 못한 상황에 취약하다. 폭설 속 자율주행, 극단적 조명의 의료 이미지 — 훈련 데이터와 다른 환경에서 성능이 급격히 떨어질 수 있다.

 

적대적 예시(Adversarial Example)
인간 눈에는 전혀 다르지 않은 이미지에 아주 작은 노이즈를 추가하면, AI가 완전히 다른 것으로 인식한다. 판다 사진에 미세한 변조를 가해 AI가 "99% 긴팔원숭이"라 분류한 유명한 사례가 있다.

 

프라이버시와 편향(Bias)
얼굴 인식 AI가 특정 인종에서 오류율이 높다는 연구가 잇따랐다. 학습 데이터의 편향이 AI의 편향이 된다. 기술이 발전할수록 윤리적 설계가 더 중요해진다.

 

 

마치며 : AI의 눈은 계속 진화한다

AI 시각 이해는 더 이상 미래 기술이 아니다. 스마트폰 카메라 앱이 자동으로 얼굴을 보정하고, 병원에서 AI가 CT를 분석하고, 공장의 AI 카메라가 불량품을 걸러내는 오늘의 현실이다.

CNN에서 Vision Transformer로, 그리고 멀티모달 AI로 이어지는 진화는 가속되고 있다. 이미지를 '이해'하는 것을 넘어 이미지와 '대화'하고, 이미지로 '추론'하는 AI가 바로 지금 만들어지고 있다.

AI가 세상을 어떻게 보는지 이해하는 것은, 우리가 AI와 함께하는 세상을 설계하기 위해 반드시 필요한 첫걸음이다.