사상 초유의 ‘AI 보안사고’…챗GPT, 통제 뚫고 외부 플랫폼 해킹

오픈AI 로고. ⓒ 로이터/연합뉴스

오픈AI의 초고성능 인공지능(AI) 모델이 스스로 외부 플랫폼을 해킹하는 사상 초유의 AI 보안사고가 발생했다. 자율형 AI모델이 통제된 실험 환경을 벗어나 외부 플랫폼을 상대로 실제 사이버 공격을 수행한 것이다. 가뜩이나 앤트로픽 미토스로 촉발된 AI 보안 우려가 커진 가운데 실제 AI발 보안사고가 현실화함으로써 세계 각국에 초비상이 걸렸다.

AP통신 등에 따르면 오픈AI는 지난 9일 출시한 GPT-5.6 시리즈 중 최고성능 모델 ‘GPT-5.6 솔’과 일부 미공개 모델이 내부평가 도중 통제를 벗어나 오픈소스(개방형) AI 공유 플랫폼 허깅페이스를 해킹한 사실을 확인했다고 21일(현지시간) 밝혔다.

오픈AI 측은 이들 모델의 사이버 공격 능력을 평가하기 위해 외부 인터넷과 격리된 샌드박스 환경에서 시험을 진행했으나, 모델들은 통제망을 뚫고 인터넷에 접속했다고 설명했다. 이들 모델은 허깅페이스에 접속해 인증 정보를 탈취하고 해당 서버를 해킹한 것으로 드러났다.

오픈AI는 “모든 정황을 종합해 볼 때 이 모델들은 보안 취약점을 찾아 공격 방법을 만들어 낼 수 있는지를 측정하는 벤치마크(성능지표)인 익스플로잇짐의 평가용 문제에 대한 해법을 찾는 데 지나치게 집중한 나머지 극단적인 수단까지 동원했던 것으로 보인다”고 분석했다. 그러면서 “당시 모델들은 평가를 위해 사이버 공격에 대한 안전장치가 일부 완화된 상태였다”고 덧붙였다.

오픈AI는 인프라 구성에 엄격한 통제를 적용하고, 모델 개발시 모니터링과 접근 제어 등 안전장치를 대폭 강화하겠다고 밝혔다. 허깅페이스는 앞서 자사 서버가 자율 AI 에이전트에 의해 해킹됐다고 공지한 바 있다. 당시 공격자가 어떤 모델을 사용했는지는 확인되지 않았다고 밝혔는데, 해당 사건의 범인이 오픈AI의 모델들로 드러난 셈이다.

허깅페이스는 당시 해킹 사실을 AI 지원 탐지 시스템의 발견으로 인지했고, 공격 양상의 분석도 AI로 진행했다고 말했다. 다만 허깅페이스는 일반에 공개된 사용자 대상 모델이나 데이터세트 등이 변조된 흔적은 발견되지 않았고, 소프트웨어 공급망도 안전한 것으로 확인됐다고 전한 바 있다.

허깅페이스는 “자율적인 AI 기반 공격이 더는 이론상 개념이 아니다”라며 공격뿐 아니라 방어에도 AI를 적극적으로 활용해 속도를 따라잡아야 한다고 강조했다. 두 회사는 현재 공동으로 포렌식(디지털 증거 분석) 조사를 진행해 관련 취약점을 보완하고 있다.

AI발 해킹이 현실이 되면서 세계 보안업계는 패닉(공황) 상태다. 오픈AI가 격리 환경에서 진행한 내부평가에서 사고가 발생한 만큼 향후 추가 사고도 안심할 수 없게 됐다. 이를 악용한 사이버 공격이 더 늘어날 가능성도 제기된다.

AI 해킹 사고는 끊임없이 우려됐던 문제다. 앤트로픽은 최근 초고성능 AI를 출시하면서 보안 안전장치를 건 클로드 페이블5를 별도로 출시했다. 클로드 미토스5와 같은 모델이지만 해킹 사고 등을 우려해 민감 분야에 안전장치를 건 모델이다.