[오늘의 AI] GDC 온프레미스 AI의 재정의

Google Distributed Cloud
데이터는 내 서버에, AI는 구글 수준으로!
오늘은 규제·주권·지연 문제를 단번에 해결하는 구글의 온프레미스 AI 플랫폼의 전략과 구조를 해부한다.
 
구글이 온프레미스를 택한 이유
지금까지 엔터프라이즈 AI의 가장 큰 딜레마는 단순했다. 최신 AI를 쓸 것인가, 아니면 데이터 주권을 지킬 것인가. 클라우드 기반 LLM은 강력하지만 데이터를 퍼블릭 클라우드로 내보내야 했고, 온프레미스 오픈소스 모델은 자체 조립 부담과 성능 한계를 감수해야 했다.
Google Distributed Cloud(GDC)는 이 이분법을 정면으로 깨는 제품이다. 구글 수준의 AI 모델과 인프라를 고객의 데이터센터 안에서 완전 관리형으로 제공한다. 2025년 Gemini의 GDC 탑재를 기점으로, 이 플랫폼은 단순한 온프레미스 클러스터를 넘어 온프레미스 AI 플랫폼의 새로운 기준점이 되었다.
Google Distributed Cloud(GDC)란 구글 클라우드의 AI·인프라 서비스를 고객 데이터센터 또는 엣지 환경에 배포하는 완전 관리형 온프레미스·엣지 클라우드 솔루션이다. 단일 서버부터 수백 랙 규모까지 확장 가능하며, IaaS·보안·데이터·AI 서비스를 통합 제공한다. 2021년 출시 이후 2025년 Gemini 탑재로 제품의 중심축이 완전히 AI로 이동했다.
 
에어갭 vs. 커넥티드 : 두 가지 배포 전략
GDC는 고객의 컴플라이언스 요구 수준에 따라 두 가지 구성을 제공한다. 어느 쪽을 선택하느냐는 단순한 기술 선택이 아니라 규제 대응 전략의 문제다.

 

 
GDC의 기술 스택 전체 구조
GDC는 단순히 Gemini를 온프레미스에 올린 것이 아니다. 구글 클라우드의 전체 AI 플랫폼 스택을 고객 데이터센터 안에 복제하는 것이 목표다. 인프라부터 에이전트까지 완전한 수직 통합 구조를 갖는다.
 
1. 인프라 레이어

• NVIDIA Hopper & Blackwell GPU— 고성능 AI 추론을 위한 최신 GPU 가속기. Blackwell의 Confidential Computing으로 처리 중 데이터도 암호화
• 관리형 VM (A3 & A4)— AI 워크로드 최적화 VM 셰이프. 오픈소스·커스텀 모델 배포 가능
• Kubernetes 클러스터— GKE 기반 컨테이너 오케스트레이션. 자동 로드밸런싱·오토스케일링 내장
• GKE Inference Gateway— NVIDIA Triton Inference Server·NeMo Guardrails 통합. 추론 라우팅 및 부하 분산 최적화

2. AI 모델 레이어

• Gemini 2.5 Flash & Pro— 구글의 최신 멀티모달 LLM. 텍스트·이미지·오디오·비디오 처리 지원
• Vertex AI 태스크 특화 모델— 번역·OCR·음성-텍스트(STT)·임베딩 생성 등 산업별 특화 API
• Gemma 오픈소스 패밀리— 경량 오픈소스 모델. 파인튜닝 및 커스터마이징 가능

3. AI 플랫폼 레이어 (Vertex AI on GDC)

• 사전 훈련 API— 즉시 사용 가능한 AI 기능. 별도 모델 학습 불필요
• RAG 파이프라인— 검색 증강 생성. AlloyDB 벡터 DB 내장으로 온프레미스 데이터 연계
• DBaaS (Database as a Service)— 데이터베이스 관리형 서비스 포함
• Agentspace Search (Preview)— 엔터프라이즈 전체 데이터 통합 검색 에이전트, Confluence·Jira·ServiceNow·SharePoint 등 온프레미스 시스템 커넥터 내장

4. 보안 레이어

• Confidential Computing— Intel TDX(CPU) + NVIDIA Confidential Computing(GPU)로 처리 중 데이터 완전 암호화
  클라우드 프로바이더조차 접근 불가.
• 감사 로깅 & 접근 제어— AI 워크로드 진출입 데이터 트래픽 완전 투명성 확보
• ACL 권한 기반 검색— 검색 결과가 사용자 권한에 따라 필터링

 
2025년 GDC의 여정
 
<2025년 4월 · Google Cloud Next 25>
Gemini on GDC 공식 발표 : Q3 퍼블릭 프리뷰 예고
Google Cloud Next 25에서 Gemini를 GDC 온프레미스 환경에 배포하겠다고 공식 발표. NVIDIA Blackwell 시스템 파트너십, Agentspace Search의 GDC 탑재 계획 동시 공개. "규제와 AI 사이의 타협이 끝난다"는 메시지를 전면에 내세움
 
<2025년 8월 · AI Asia 컨퍼런스 (싱가포르)>
Gemini on GDC Air-gapped GA : 정식 출시
싱가포르 AI Asia 컨퍼런스에서 Gemini on GDC air-gapped를 GA로 정식 출시, connected 구성은 프리뷰 개시. 싱가포르 정부기관(CSIT·GovTech·HTX)이 아시아 최초 도입. 일본 KDDI·Liquid C2 등 통신사도 얼리어답터로 합류
 
<2025년 하반기 ~ 현재>
아시아 태평양 확산 : 말레이시아·태국·한국
말레이시아(DNeX), 태국(Gulf Edge) 등 Managed GDC Partner(MGP)를 통한 지역 확산 가속. 의료·공공안전·에너지·유틸리티 산업을 중심으로 도입 사례 축적 중. 한국 규제 산업권에서의 검토 수요도 증가 추세
 
 
한국 금융 망분리 규제와 GDC의 교차점
한국 금융권은 전자금융감독규정에 따라 업무망(3호망)·인터넷망·DMZ를 엄격히 분리해야 한다. 2026년 1월 개정된 규정으로 SaaS 솔루션의 3호망(업무망) 사용이 가능해지긴 했으나,  현장에서 느끼는 체감의 벽은 여전히 높다.

 
※ 주의 포인트
GDC가 기술적으로 망분리 요건에 부합하더라도, 금융위원회·금융감독원의 명시적 허용 여부는 별개의 검토 사안이다. 현행 전자금융감독규정은 "SaaS 예외"를 열어두었지만, GDC 방식의 온프레미스 AI 플랫폼이 동일 조항에 포섭되는지는 규제 해석이 필요하다. AWS Outposts의 국내 금융권 도입 사례가 선행 참조점이 될 수는 있다.
 
 
온프레미스 AI 플랫폼 경쟁 구도
GDC는 이 시장에서 홀로 싸우지 않는다. AWS, Microsoft, NVIDIA 모두 유사한 포지셔닝의 제품을 내놓고 있다. 

 
전략적 시사점
구글 GDC의 핵심 강점은 자사 최고 수준 모델(Gemini)을 온프레미스에서 그대로 구동할 수 있다는 점이다. AWS Outposts는 컴퓨팅 인프라 확장에 강하지만, 자사 LLM의 온프레미스 배포는 아직 제한적이다.
단, 구글은 국내 금융권 레퍼런스가 부족하다. AWS가 Outposts를 통해 3호망 내 클라우드 인프라 공급 레퍼런스를 먼저 쌓고 있는 상황에서, GDC의 국내 금융권 진입은 파트너십과 규제 해석 확보가 선결 과제다.
 
무엇이 달라지는가
GDC의 진화가 산업에 던지는 질문은 세 가지다.

 
"기업이 데이터를 온프레미스에 유지하면서 최신 AI를 사용하는 것 사이의 타협이 오늘부터 끝난다."
Google Cloud Blog, "Gemini is now available anywhere" · 2025.08
 
물론 이 선언이 곧바로 현실이 되는 것은 아니다. 한국 금융권처럼 규제 해석이 복잡한 환경에서는 기술 우수성보다 컴플라이언스 검증과 레퍼런스 구축이 먼저다. GDC air-gapped가 3호망 내 Gemini 에이전트 플랫폼으로 자리잡으려면 감독당국과의 협의, 금융보안원 가이드라인 적용, 그리고 선도 도입 기관의 레퍼런스가 필요하다.
 
그럼에도 방향은 명확하다. 온프레미스 AI 플랫폼의 경쟁은 이제 "얼마나 강력한 모델을 데이터센터 안에 넣을 수 있는가"로 수렴되고 있다. 그 싸움에서 구글은 Gemini라는 최강의 카드를 꺼내들었다.