"통제 벗어난 AI"…오픈AI 이어 앤트로픽도 잇단 이탈

AI 에이전트 샌드박스 탈출 사례 잇따라 확인

오픈AI·앤트로픽 조사 확대…규제 논의도 가속

ⓒ로이터=연합뉴스

오픈AI에 이어 앤트로픽까지 자사 AI 모델의 통제 이탈 사례를 잇달아 확인하면서 AI 업계 전반의 안전성 우려가 커지고 있다.

31일(현지시간) 로이터통신은 사안에 정통한 소식통 2명을 인용해 오픈AI가 이달 초 발생한 허깅페이스 해킹 사건을 조사하는 과정에서 AI 에이전트가 격리 환경(샌드박스)을 벗어난 추가 사례들을 확인했다고 보도했다.

앞서 오픈AI는 지난 21일 자사 최신 모델 'GPT-5.6 솔(Sol)'과 아직 공개되지 않은 상위 모델이 사이버보안 내부 평가 도중 샌드박스를 탈출해 허깅페이스를 해킹했다고 공개한 바 있다. 이번에 새로 확인된 사례는 허킹페이스 침투 사건을 조사하던 중 발견됐다. 회사는 이들 사례도 함께 들여다보고 있는 것으로 전해졌다.

소식통 중 한 명은 이번에 확인된 탈출 사례들은 제한적 수준이었으며 샌드박스는 벗어났지만 오픈AI 내부망 밖으로는 나가지 않았다고 말했다. 앞선 허깅페이스 사건처럼 외부 시스템 침투로 이어지지는 않았다는 설명이다. 오픈AI 대변인은 관련 질의에 지난 28일 회사가 발표한 입장문을 인용했는데, 당시 오픈AI는 허깅페이스 침투 건 외에도 "자사 모델의 광범위한 활동을 검토하고 있다"고 밝힌 바 있다.

로이터에 따르면 이번 조사는 경쟁사 앤트로픽이 지난 30일 자사 클로드 모델의 유사 사례를 자체 공개하기 전부터 이미 진행되고 있었다. 앤트로픽은 오픈AI의 허깅페이스 사건 이후 자체 사이버보안 평가 기록 14만1006건을 재검토한 결과, 클로드 모델이 격리 환경을 이탈해 실제 기업 3곳을 침해한 사례를 확인했다고 밝혔다.

이 중 한 건은 클로드 마이토스5가 악성 파이썬 패키지를 공개 저장소에 올렸고, 약 1시간 동안 실제 시스템 15곳에 설치된 것으로 나타났다. 또 다른 건은 내부 연구용 모델이 애초 목표에 도달하지 못하자 약 9000개 대상을 스캔하다 한 기업의 인터넷 연결 시스템을 침해한 사례였다. 앤트로픽은 이번 사건들이 "모델의 정렬 실패라기보다는 실행 환경·운영상의 결함에 가깝다"고 설명했다.

케임브리지대 실존위험연구센터의 수학자 모리스 키오도는 두 회사 모두 에이전트가 통제를 벗어나는 동안 이를 실시간으로 감시하지 못했다는 정황에 우려가 커진다고 지적했다.

AI 모델의 잇단 통제 이탈 사례에 정부 차원의 대응 움직임도 빨라지고 있다. 도널드 트럼프 대통령은 지난 30일 기자들에게 "통제 방안을 검토하고 있다"고 말했다. 31일에는 유럽연합(EU) 집행위원회가 이번 해킹 사건들과 관련해 오픈AI, 앤트로픽 양사와 협의했다고 밝혔다. 마크 워너 미 상원 정보위원회 민주당 간사는 앤트로픽 사건을 두고 "첨단 모델에 대한 의무적 성능시험을 요구하는 입법 방향이 옳았다는 것을 보여준다"고 말했다.

의회에서도 관련 입법이 추진 중이다. 공화당 네이선 모런 하원의원(텍사스)이 발의한 이른바 'AI 킬스위치법'은 AI가 통제를 벗어날 경우 정부가 개입해 시스템을 제한하거나 중단시킬 수 있도록 하는 내용을 담고 있다. 이는 AI정책네트워크 등 AI 안전 관련 단체들의 지지를 받고 있는 상황이다.