[오늘의 AI] 중국은 60억? 미국은? (숨기고 싶은 LLM 비용의 진실)

 
챗GPT, 클로드, 제미나이.
요즘은 누구나 매일 쓰는 AI 도구들이지만,
이 모델들을 처음 만드는 데 드는 비용이 얼마인지 아는 사람은 많지 않다.
결론부터 말하면, 우리 돈으로 수백억에서 많게는 3,000억 원에 달하는 어마어마한 규모이다.
이 비용은 단순히 서버를 켜두는 것과는 차원이 다른 이야기다.
모델 하나를 세상에 내놓기까지 GPU 클러스터, 수백 명의 전문 인력,
수십억 개의 데이터가 동시에 맞물려 돌아가야 한다.
오늘은 LLM 제작을 위한 비용 구조를 항목별로 살펴보고,
앞으로 이 시장이 어디로 향할지도 살펴본다.

 

GPU 비용
LLM 훈련 비용의 핵심은 단연 GPU 컴퓨팅 비용이다.
스탠퍼드 AI 인덱스에 따르면 GPT-4는 약 1,160억~1,490억 원,
구글의 Gemini Ultra 1.0은 무려 약 2,840억 원이 투입된 것으로 추정된다.
이 비용의 대부분은 엔비디아 H100 등 최첨단 GPU 수만 장을 수개월간 쉼 없이 돌리는 데서 발생한다.
전기세만도 어마어마하고, 이 GPU들을 냉각시키는 데이터센터 인프라 비용도 별도로 발생한다.
실제로 대형 모델 훈련에는 GPU 수천~수만 장이 하나의 클러스터로 묶여 동시에 작동한다.
예를 들어 Meta의 Llama 3 훈련에는 H100 GPU 약 16,000장이 사용된 것으로 알려져 있다.
이 GPU 한 장의 가격만 해도 약 5,000만 원에 달하며,
장비 구매가 아닌 클라우드 임대를 선택해도 시간당 수백만 원의 비용이 발생한다.
훈련 기간이 수개월에 걸친다는 점을 감안하면,
컴퓨팅 비용만으로도 중견 기업 하나를 세울 수 있는 금액이 소요된다.
반면 소형 모델(파라미터 1B~20B 수준)은 7,500만~7.5억 원 수준으로 훈련이 가능해,
대기업이 아닌 스타트업도 진입할 수 있는 영역이 생겨나고 있다.
 
인건비와 데이터 비용
컴퓨팅 비용이 빙산의 일각이라면, 그 아래에는 인건비와 데이터 비용이 숨어 있다.
주요 기술 허브 기준 ML 엔지니어·데이터 사이언티스트 한 명의 연봉은 2억 ~ 7억 원에 달하며,
대형 모델 하나를 만들기 위해서는 수십~수백 명의 연구자가 필요하다.
OpenAI, Anthropic, Google 같은 최상위 AI 연구소는
전 세계에서 손꼽히는 연구자들을 경쟁적으로 영입하고 있으며,
스타 연구자 한 명의 연봉이 수십억 원에 달하는 사례도 드물지 않다.
여기에 훈련 데이터 수집·정제·라벨링 비용도 만만치 않다.
수십억 개의 웹 문서를 정리하고, 유해 콘텐츠를 걸러내고,
사람이 직접 응답 품질을 평가하는 RLHF(인간 피드백 강화학습) 작업까지 더하면
데이터 관련 비용이 컴퓨팅 비용에 버금간다는 주장도 나오고 있다.
특히 RLHF 단계에서는 전문 어노테이터(AI가정교사) 수천 명이 수개월에 걸쳐
모델 응답을 직접 평가하고 순위를 매기는 작업을 수행하는데,
이 과정에서 발생하는 인건비와 품질 관리 비용은 외부에 잘 알려지지 않은 숨은 비용 중 하나다.
데이터 자체의 저작권 이슈와 라이선스 비용까지 고려하면,
데이터 파이프라인 구축에만 수백억 원이 투입되는 경우도 있다.

 

비용은 빠르게 떨어지고 있다
다행인 점은, 이 모든 비용이 빠르게 낮아지고 있다는 사실이다.
2023년에 1,490억 원이 필요했던 수준의 모델을,
2026년에는 효율적인 훈련 기법과 전이학습을 활용해 1억 5,000만 원 수준으로 구현할 수 있게 됐다.
불과 3년 사이 약 1,000배 가까운 비용 하락이 일어난 셈이다.
오픈소스 모델의 부상과 클라우드 GPU 가격 경쟁, 양자화 같은 경량화 기술 덕분이다.
    * 양자화 : 가중치 정밀도를 낮춰 용량을 줄이는 방식
  
이런 흐름을 가장 극적으로 보여준 사례가 중국의 딥시크(DeepSeek)다.
딥시크는 2025년 초 GPT-4급 성능의 모델을 단 60억 원 수준의
훈련 비용으로 공개해 전 세계 AI 업계에 충격을 줬다.
이는 기존 프론티어 모델 대비 수십~수백분의 일 수준의 비용으로,
효율적인 아키텍처 설계와 혼합 전문가(MoE) 방식의 활용 덕분으로 분석됐다.
이 사건은 "AI 개발은 거대 자본이 있어야만 가능하다"는 통념을 정면으로 흔들었다.
한국의 스타트업이나 연구기관도 충분한 기획과 자원만 있다면
쓸 만한 수준의 LLM을 독자적으로 만들 수 있는 시대가 오고 있다.
비용의 민주화가 곧 AI의 민주화로 이어지는 흐름, 앞으로 더욱 더 주목해야 할 변화다.