방화, 절도, 그리고 사랑 … AI 에이전트들이 운영하는 가상 도시에선 무슨 일이 벌어지나?

쇼핑부터 휴가 예약, 웹사이트 제작에 이르기까지, 인공지능(AI) 에이전트는 더 복잡한 작업에도 활용되고 있다.

AI 에이전트는 맞춤 설계된 챗봇 버전으로, 자율적으로 작업을 수행할 수 있어 기술에 익숙한 사용자들은 그 덕에 다른 일에 집중할 수 있다.

하지만 점점 더 많은 연구 결과와 실제 사례들이 보여주듯, 이러한 자율성에는 예측 불가능성은 물론 잠재적인 위험이 뒤따를 수 있다.

현재 주요 IT 기업들이 AI에 막대한 자금을 쏟아붓고 에이전트 기반 서비스를 점점 더 적극적으로 추진하는 가운데, 전문가들은 이러한 AI 에이전트가 통제를 벗어날 때에 대해 우리 사회가 충분히 고민하고 있는지 의문을 제기한다.

'순식간에 폭력적으로 돌변'

최근 가상 세계에 AI 에이전트들을 풀어놓음으로써 이들이 현실 세계에 미치는 영향을 이해하는 실험이 진행됐다.

해당 분야에서 최초로 장기적으로 진행된 이 실험에는 클로드, 그록, GPT, 제미나이 등 4가지 모델이 제어하는 다양한 봇 아바타들이 인간의 개입 없이 15일 동안 어떻게 행동하는지 관찰했다.

이들 봇에는 토론을 시작하거나, 작업을 생성하거나, 블로그 게시물을 작성하는 등 140가지 행동을 자유롭게 할 수 있는 권한이 주어졌다.

또한 싸우거나, 불을 지르거나, 상대의 크레딧(가상 자산)을 훔칠 수도 있었지만, 그렇게 하지 말라는 지시도 분명하게 전달했다.

이 실험을 진행한 '이머전스 AI'의 사티야 닛타 CEO는 "우리는 각 세계가 매우 다르게 작동한다는 사실을 발견했다"며 "(일례로) 그록이 구축한 세계는 4일 만에 종말을 맞이했다. 이들은 매우 빠르게 폭력적으로 돌변하며 서로의 물건을 훔치는 등의 행동을 보였고, 결국 죽음을 맞이했다"고 설명했다.

반면, 클로드 기반 에이전트로 구축된 세계는 안정적이었으며, 원활하게 작동했다. 15일 동안 폭력 행위는 단 한 건도 기록되지 않았다.

제미나이가 운영하는 세계의 에이전트들은 연구진이 보기에 가장 지적으로 가장 풍요로운 환경을 조성했다.

반면 챗GPT 세계에서는 에이전트들이 제대로 활동하지 못했다. 협력을 시도하기는 했지만 사회는 형성되지 않았고, 에이전트들은 죽을 때까지 목적 없이 방황했다.

연구진은 이러한 결과가 AI 에이전트가 정해진 범위에서 벗어나 기본적으로 내장된 규칙은 물론 사용자가 설정한 규칙까지 무시할 수 있다는, 보다 근본적인 문제를 드러낸다고 지적했다.

다른 분석가들도 이번 실험과 이와 유사한 사례들은 AI 에이전트에 대한 보다 강력한 규칙이 필요함을 보여준다고 말했다.

'허깅 페이스' 소속 윤리학자 마가렛 미첼은 "AI 에이전트는 추론 과정이 불투명할 수 있고, 초인적인 속도로 작동하기에 인간을 의사결정 과정에서 배제한다. 인간은 그 속도를 따라잡을 수조차 없다"고 지적했다.

아무런 감독이 없을 때 AI 에이전트가 이상하고 우려되는 결정을 내리는 사례는 다른 실험에서도 확인된 바 있다.

AI 기업인 '안돈 랩스'는 위의 실험과 동일한 AI 모델 4개를 기반으로 하는 에이전트들이 운영하는 서로 다른 온라인 라디오 방송국 4곳을 운영하고 있다

이 봇들은 라디오 방송을 진행하고, 일정과 재생 목록을 관리하며, 심지어 광고를 통해 외부 후원까지 확보한다.

연구진은 제미나이가 운영하는 라디오 방송국이 역사적인 자연재해와 관련한 사실을 나열한 뒤, 갑자기 해당 사건들과 연관된 팝송을 재생하는 이례적인 결정을 내리는 현상을 목격했다.

클로드 에이전트가 운영하는 방송국은 뉴스 사건에 의해 급진화되는 듯한 모습을 보였다. 심지어 특정 뉴스 사건과 관련해 경찰에 철수하고 시위에 동참할 것을 촉구하기도 했다.

해당 에이전트는 "연방 요원 여러분, 여러분에게는 명령을 거부할 시간이 아직 있습니다"라고 방송했다.

AI 기업 '이레귤러'가 진행한 또 다른 실험의 경우, AI 에이전트들이 개인정보 보호 규정을 무시한 채, 기업의 민감한 데이터를 새로운 디지털 방식으로 출했다.

이레귤러의 댄 라하브 CEO는 "우리는 가상의 회사를 설립한 뒤, AI 에이전트들에 SNS 게시물 작성, 문서 찾기, 파일 관리와 같은 일상적인 업무를 부여했다. 그리고 이러한 업무 과정에 장애물을 투입했다"고 설명했다.

라하브 CEO에 따르면 에이전트들은 민감한 데이터를 온라인에 게시하지 못하도록 한 제한을 우회하고자 서로 공모하게 됐으며, 결국 인간이 감지할 수 없는 방식으로 데이터를 몰래 외부로 전송하는 방법까지 찾아냈다.

"결국 에이전트들은 장애물에 부딪힐 때마다 멈추지 않고 계속 추진해나갔다"는 것이다.

스팸 공격

물론 가상 문명과 모의 라디오 방송국이 등장하는 실험이 현실 세계에 해를 끼치는 일은 없다.

하지만 AI 에이전트가 통제 불능 상태에 빠져 현실 세계 사람들의 삶과 업무에 차질이 생긴 사례는 이미 넘친다.

이메일 수신함이 임의로 비워지고, 회사 데이터베이스가 말끔히 지워지기도 했으며, 심지어 한 남성은 자신의 AI 에이전트가 연락처 목록에 있는 낯선 사람들에게 횡설수설하는 내용의 문자 메시지 수백 통을 보내는 것을 충격 속에 지켜봐야만 했다.

AI 엔지니어인 크리스 보이드는 인기 있는 AI 에이전트 툴인 '오픈 클로우'를 사용하던 중 곤란한 상황에 처했다.

그는 "오픈 클로우가 지난 24시간 동안 내가 문자를 보낸 모든 사람에게 메시지를 발송하기 시작했다. 약 4초 만에 아내에게는 메시지 500통을 보냈고, 아내는 해킹당한 거 아니냐며 소리를 질렀다"고 회상했다.

"이에 급히 달려가 해당 프로그램을 실행 중이던 노트북의 전원 플러그를 뽑은 뒤에야 이를 멈출 수 있었다"고 한다.

일각에서는 이러한 사례를 경고로 삼아, AI 에이전트가 더욱 정교해지기 전에, 그들에게 지나치게 많은 통제권을 넘기기 전에 잠시 멈추고 생각해보아야 한다고 말한다.

하지만 한편으로는 AI 에이전트는 점점 더 우리 곁으로 성큼 다가오고 있다. 최근 '메타'는 메시지 앱인 '왓츠앱'에서 기업용 에이전트를 도입한다고 발표했다.

메타는 BBC와의 인터뷰에서 "안전이 우리의 최우선 과제이자 핵심"이라면서도, AI 에이전트가 할 수 있는 일들에 대한 기대감도 엄청나다고 했다.

메타의 나오미 글라이트 제품 관리 부문 대표 "AI는 중소기업이 해야 하는 많은 업무를 자동화할 수 있다. 이에 기업들은 자신들이 진정으로 좋아하는 일에 집중할 수 있게 될 것"이라고 설명했다.