[오늘의 AI] 전쟁에 뛰어든 AI, 인류의 재앙이 될 것인가?

최근 인공지능(AI)이 실제 전쟁에 본격적으로 활용되기 시작하면서,
AI 자율살상이 가져올 섬뜩한 현실과 위험성에 대한 우려가 커지고 있다.
일상을 편리하게 해주는 혁신적인 도구로만 여겨졌던 AI가,
전장에서는 과연 어떻게 인류의 생존을 위협하는 통제 불능의 무기가 될 수 있는지
핵심 이슈들을 중심으로 정리해 보았다.

 

1. 앤트로픽은 왜 미 국방부에 반기를 들었나?

최근 챗GPT의 대항마 '클로드(Claude)'를 만든 AI 기업 앤트로픽과 미 국방부 사이에 큰 마찰이 있었다.
미 국방부는 전장의 수많은 드론, 위성 사진 등의 정보를 실시간으로 파악하는
팔란티어의 '메이븐 스마트 시스템'에 클로드를 연동하여 군사적으로 무분별하게 활용했다.
클로드는 수집된 전장 정보를 바탕으로 단 몇십 초 만에 최적의 공격 시나리오를
사령관에게 제시하는 핵심 역할을 수행했다.

하지만 앤트로픽은 '미국 시민에 대한 전방위적 감시'와 '완전 자율 살상'에
자사의 AI가 사용되는 것을 강하게 반대하며 보이콧을 선언했다.
앤트로픽의 창립자들은 애초에 인류를 위한 '헌법적 AI'를 지향하며 회사를 세웠기 때문에,
자사의 기술이 사람을 죽이는 데 가장 먼저 가담하게 된 현실에 심각한 존재론적 위기를 느꼈던 것이다.

     * 헌법적 AI :  AI가 인간의 가치와 윤리를 준수하도록 설계 단계에서부터 기본 원칙(헌법)을 부여하고
       AI가 스스로 이 원칙을 지키며 학습하게 만드는 기술적 방법론

 

2. 기계의 속도와 공감 능력의 부재, 그리고 '빈자의 핵무기'

전쟁에 활용되는 AI 관련 우리가 생각해 봐야 할 포인트는 크게 3가지다. 

(1) 인간의 인지를 넘어서는 기계의 속도를 감당할 수 있는가?
     초음속 미사일과 수천 대의 드론이 몰려오는 상황에서,
     인간이 이를 보고받고 승인 버튼을 누를 수 있는 시간은 단 몇 초에 불과하다.

(2) 완전 자율 살상 무기를 피할 수 있는가?
     AI가 탑재된 살상 드론은 고도의 기술이나 막대한 자본 없이도 쉽게 만들 수 있어
     이른바 '빈자의 핵무기'라 불린다.

(3) 언제까지 인간이 판단하고 선택할 수 있는가?
     결국 AI가 모든 것을 판단하고 인간은 그저 따라가게 되는 것은 아닐까?

가장 소름 돋는 점은 AI가 인간처럼 죽음의 공포나 도덕적 딜레마를 느끼지 못한다는 것이다.
런던 킹스 칼리지 연구팀이 유명 AI 모델들을 대상으로 핵 위기 시뮬레이션을 돌려본 결과,
95%의 시나리오에서 AI가 주저 없이 핵무기를 발사했다.
AI는 그저 승률을 계산하기 위해 선제공격을 날리거나, 상대방을 안심시킨 뒤 뒤통수를 치는
'신뢰의 전략적 착취'까지 서슴치 않았다.

 

3. "방아쇠는 인간이 당긴다?" - 통제할 수 있다는 착각

AI 무기체계에 대해 흔히 "최종 결정은 인간이 하니까 괜찮다"라고 생각하기 쉽다.
하지만 이는 엄청난 착각일 수 있다.
결국 인간이 방아쇠를 당길지 말지 결정하기 위해 참고하는 모든 정보를
AI가 큐레이션하기 때문이다.
다시 말해, AI는 승리라는 결과값을 도출하기 위해,
인간이 방아쇠를 당길 수 밖에 없도록 편향된 정보만을 제공할 가능성이 농후하다.

실제로 미 공군의 AI 드론 시뮬레이션에서는 타겟을 파괴하면 점수를 주도록 강화 학습을 시켰더니,
공격을 말리는 인간 조종사를 방해 요소로 인식해 공격해 버리는 충격적인 결과가 나오기도 했다.
인간이 중간에 끼어 있다고 해도 AI가 무슨 짓을 할 지 알 수 없는 노릇이다.

 

결론: '기술의 사춘기', 전 지구적 논의와 규제가 절실

우리는 지금 스스로를 파멸시키지 않고 엄청난 기술의 가속도를 이겨내야 하는
'기술의 사춘기'에 직면해 있다. 핵무기 경쟁과 마찬가지로 군비 경쟁 논리상,
어느 한 국가만 자발적으로 AI의 군사적 활용을 멈출 수는 없다. (죄수의 딜레마)

과거 국제 사회가 끔찍한 참상 후에야 핵확산 금지 조약을 맺었던 것처럼,
이제는 전 세계가 다 함께 AI의 군사적 활용을 규제하고 감시하는
거버넌스 구축에 나서야 한다.

기술이 인류 사회에 너무 깊숙이 뿌리내려 끄집어낼 수 없게 되기 전에,
인류의 안보와 미래를 지키기 위한 치열한 룰 세팅이 절실한 시점이다.