[오늘의 AI] 인간의 오감을 닮은 '멀티모달 AI' 이해하기

오늘은 '멀티모달(Multimodal) AI'에 대해 알아보자.

 

1. 멀티모달이란 무엇인가?

이 용어는 두 가지 영단어의 합성어다.

• 멀티(Multi): '여러 개', '다수'를 의미한다. 우리가 흔히 쓰는 '멀티태스킹'의 그 멀티다.
• 모달(Modal): '양식'이나 '형태'를 뜻하는 '모달리티(Modality)'의 형용사형이다. 여기서는 정보가 전달되는 통로를 의미한다.
• 결합: 즉, '여러 가지 형태의 정보를 동시에 처리하는 방식'을 뜻한다.
  기존 AI가 텍스트(글자)만 읽을 수 있었다면,
  멀티모달 AI는 이미지, 음성, 영상 등 다양한 감각 정보를 한꺼번에 받아들인다.
  이는 사람이 눈(시각),귀(청각),입(언어)등 여러 경로를 통해  정보를 수집하고 통합하여 처리하듯
  AI도 시각, 청각, 언어 기술을 한꺼번에 서비스 함으로써 "인간 뇌의 기능" 에 보다 유사한 형태로 진화하고 있음을 의미한다. 

 

2. 우리 곁의 멀티모달

멀티모달 기술은 이미 실생활의 복잡한 문제를 해결하고 있다.

• 비주얼 검색: 이름 모를 꽃이나 상품을 촬영하면 AI가 즉시 정체를 파악하고 관련 정보를 제공한다.
• 자율주행: 차량 주변의 영상(시각)과 센서 데이터, 도로 표지판의 문구(텍스트)를 실시간으로 결합해 운전 방향을 결정한다.
• 콘텐츠 제작: 텍스트로 시나리오를 입력하면 그에 맞는 이미지와 배경음악, 음성 내레이션을 동시에 생성한다.

 

3. 직접 경험하기

멀티모달 AI의 기능을 체감하기 위해 아래의 단계를 직접 수행해본다.

 

[이미지 분석 및 정보 생성]

1. 도구 준비: 스마트폰의 Google 렌즈 앱이나 멀티모달 기능이 탑재된 챗봇(Gemini 등)을 실행한다.
2. 실행 단계:  집 안에 있는 복잡한 가전제품 뒷면의 단자 부분이나 외국어로 적힌 식품 성분표를 사진으로 촬영한다.
   • AI에게 사진을 전송하며 "이 사진에 나온 각 단자의 용도를 설명해줘" 혹은 "이 식품에 알레르기 유발 물질이 있는지 확인해줘"라고 명령한다.
3. 결과 확인: AI가 "시각" 정보를 해석하여 정확한 "텍스트" 정보를 제공하는 과정을 확인하며 멀티모달의 유용성을 체감한다.

 

 

결과적으로,  "멀티모달 AI는 인간과 기계 사이의 소통 장벽을 허무는 혁신이다. 이제 AI는 인간이 세상을 인지하는 방식과 동일하게 데이터를 학습하며 진화하고 있다."