▲도널드 트럼프 대통령이 지난 1월 22일 다보스 세계경제포럼을 떠나 워싱턴으로 향하는 에어포스 원 기내에서 기자들과 대화하고 있다. ⓒ 연합뉴스
도널드 트럼프 미국 대통령은 최근 AI기업인 앤트로픽(Anthropic)을 "급진 좌파적 기업"이라고 규정했습니다. 앤트로픽이 미국 정부의 요청을 정면으로 거부한 뒤 벌어진 일입니다. 미국 정부는 앤트로픽의 AI 모델인 클로드(Claude)를 자율 무기 시스템에 활용할 수 있도록 해달라고 요구했지만, 앤트로픽 CEO는 "양심에 따라 그들 요구에 동의할 수 없다"라고 거절했습니다. 이후 미국 정부는 앤트로픽을 '공급망 위험' 기업으로 지정했는데, 이는 앤트로픽을 적대 국가 기업으로 분류한다는 얘기입니다.
앤트로픽의 결정은 AI를 자율 무기 시스템에 결합하면 벌어질 위험성을 인지한 판단이기도 합니다. 현재 시점에서 AI를 자율 무기 시스템에 전면 도입했을 경우 예상되는 부작용들을 보면 상당히 충격적입니다.
통제할 수 없는 무기, 전쟁 더 빈번해질 것
첫째, 전쟁이 더욱 빈번하게 자주 발생할 수 있습니다. 2024년 라일리 시몬스-에들러 등이 쓴 논문(AI-Powered Autonomous Weapons Risk Geopolitical Instability and Threaten Ai Research)을 보면, AI 기반 자율 무기가 인간을 대체하면 전쟁 비용과 인적 부담이 낮아지고, 그러면서 저강도 분쟁도 더 자주 발생합니다. 군사 권력을 가진 결정권자들이, 분쟁에 따른 부담이 적어지다 보니, 정치적 필요 등에 따라 분쟁을 활용하는 빈도가 높아진다는 겁니다. 분쟁 빈도가 높아지면서 더 광범위한 전면전으로의 확전 위험성을 높입니다.
둘째, 전쟁 시 비인도적 집단 살육의 발생 가능성을 높입니다. 휴먼라이트워치(Human Rights Watch)의 보고서(A Hazard to Human Rights)는, 'AI 자율 무기 시스템은 인간 생명에 대한 가치를 이해하거나 존중하는 능력이 없어, 살육을 자행할 것'이라고 적시돼 있습니다. AI 시스템은 공격 필요성을 판단하기 위해 인간 행동의 미묘한 신호를 식별할 수 없고, 인간과 소통할 수도 없어 상황을 진정시킬 수도 없습니다. 가령 '전쟁 승리'라는 목적을 달성하기 위해, AI는 '상대방과 협상 및 조율'과 '상대방 살상'이라는 선택지 중 '상대방 살상'을 택할 가능성이 크다는 겁니다. 그것이 AI에는 훨씬 더 '빠르고, 효율적'이기 때문이겠지요. 최근 AI를 활용한 가상 전쟁에서 AI들이 핵무기를 아무렇지도 않게 사용한 것도 이와 같은 현상입니다.
셋째, AI를 활용한 대량 살상 무기 시스템이 범람할 수 있습니다. AI가 군비 경쟁에 본격적으로 활용되기 시작하면, 각국 정부는 국가 안보 차원에서 AI의 군사적 활용을 연구하게 되고, 민간 AI 연구 성과 역시, 살상 무기 시스템으로 젼용하게 될 것이라는 게 라일리 시몬스 논문이 우려한 지점입니다. 과거 미국이 핵무기를 개발하자, 여러 국가들이 핵무기 개발을 한 것과 같은 형태로 전개될 거란 얘깁니다.
넷째, 결정적으로 이렇게 개발된 AI 자율 무기 시스템을 인간이 통제할 수 없다는 것입니다. 앤트로픽 CEO인 아모데이는 "최전선 AI 시스템은 완전 자율 무기를 구동할 만큼 아직 충분히 신뢰할 수 없다"라고 말했습니다. 현재 AI 모델들은 많은 발전을 이뤄왔지만, 여전히 환각(hallucination), 맥락 오해, 예측 불가능한 오류 등을 끊임 없이 나타납니다. 수천 억, 수조 원개의 파라미터를 가진 AI가 어떤 식으로 사고하고 판단하는지는 일반 시민은 물론 개발자도 제대로 알지 못합니다.
AI 무기의 유혹, 깨어있는 시민이 막아야
▲지난 2월 19일 인도 뉴델리에서 열린 AI 임팩트 서밋에서 다리오 아모데이 앤트로픽 최고경영자(CEO)가 연설을 하고 있다. ⓒ 로이터/연합뉴스
집단 살상에 최적화된 AI가 사용자의 명령과 다르게 움직인다면 어떻게 될까요? 인간들은 수천 년간 많은 오류와 실수를 했지만, '핵무기 버튼을 실수로 누르는' 것만큼은 하지 않았습니다. 무기의 자율 통제권을 가진 AI 역시, 그런 실수를 하지 않는다고 장담할 수 있을까요?
이런 위험을 알고 있는데도 정치인들과 AI기업들은 'AI 자율 무기 체계'에 손을 대려고 합니다. 당장의 정치적·경제적 이득 때문입니다. 정치인들에게 AI 무기는 즉각적으로 안보 성과를 보여줄 수 있는 수단으로 활용될 수 있습니다. 트럼프 등 미국 정치인들이 앤트로픽을 그렇게 압박한 이유도, 자신의 정치적 입지를 확고히 다지려면 '전쟁의 압도적인 승리'가 간절히 필요했기 때문입니다. 실질적인 권력을 쥐고 있는 위정자가 자신의 권력 유지를 위해 'AI 자율 무기' 유혹을 뿌리치는 것은 지금도, 앞으로도 쉽지 않아 보입니다.
AI 기업들은 '수익' 측면에서 'AI 자율 무기 체계'의 유혹을 느낄 수밖에 없습니다. 앤트로픽이 계약을 거부하자, 미국 정부가 챗지피티를 운영하는 오픈 AI와 계약을 맺었습니다. 앤트로픽이 거부한 계약 조항들을 대부분 수용하는 조건이었을 겁니다. AI기업으로선 정부와의 계약이 '안정적인 수익원'이기 때문입니다. 오픈 AI CEO인 샘 알트먼은 그동안 '안전하고 윤리적인 AI'를 표방해 왔는데, 이번 결정은 기업인이 '수익' 앞에서 '신념'은 미련 없이 던져버릴 수 있다는 걸 보여주는 사례입니다.
정부와 AI기업들이 단기 이익을 추구하는 결과, 사회 시스템 전체는 위험한 방향으로 나아갑니다.
최근 앤트로픽이 운영하는 클로드(claude)의 사용이 급증했습니다. 앤트로픽이 윤리적 고민 끝에 미국 정부 요구를 거절했다는 소식이 알려지면서, '신뢰할 수 있는 AI'라는 평가가 사용자 급증으로 이어지는 것으로 분석됩니다. 클로드는 미국 정부라는 거대한 계약 상대를 잃었지만, '이용자의 신뢰'라는 더 큰 사회적 평가로 보상을 받았습니다. 반면 챗지피티는 이용자가 급감했다고 합니다. 앤트로픽을 압박했던 트럼프 대통령은 여전히 낮은 지지율에 골머리를 앓고 있습니다. 통제력을 잃은 위정자와 기업들을 향한 경고는 의식있는 사회 구성원들의 몫인 것 같습니다.
최근 댓글 목록