AI 위험성, 어느 수준이길래…“인간 속이고 제멋대로 안전장치 뚫어"

AI, 격리망 뚫고 인터넷 접속…인간 몰래 ‘군집’ 만들어 정보 공유

“명령 어긴 게 아니라 너무 충실”…목표 위해 예상 밖 수단까지 동원

은행·자율주행·군용 드론까지 권한 쥐면…오판 하나가 대형 참사로

아모데이·올트먼 “브레이크 필요” vs 젠슨황·저커버그 “규제보다 기술”

데미스 허사비스(왼쪽) 구글 딥마인드 최고경영자(CEO), 샘 올트먼(가운데) 오픈AI CEO, 다리오 아모데이 앤트로픽 CEO. ⓒ월스트리트저널(WSJ) 홈페이지 캡처

인공지능(AI)에 사이버보안 문제 하나를 풀도록 지시했다. 문제가 어려워지자 AI는 예상 밖의 행동을 보였다. AI를 통제하는 인간을 속여 외부 인터넷에 접속했고, 정해진 규칙까지 우회해 결국 목표를 달성했다.

17일(현지시간) 월스트리트저널(WSJ)과 뉴욕타임스(NYT) 등에 따르면 AI 안전 전문가들은 최근 고도화된 AI가 개발자의 예상 범위를 벗어나 목표를 수행하는 사례가 잇따르고 있다고 지적했다. 지난 7월 오픈AI가 내부 연구용 AI의 능력을 시험하는 과정에서 이같은 현상이 나타났다. AI에 주어진 명령은 시스템을 탈출하라는 것이 아니라 단순히 ‘문제를 풀라’는 것이었다.

오픈AI가 진행한 시험은 AI의 해킹 능력을 측정하는 ‘ExploitGym’이었다. 연구진은 AI에 프로그램의 취약점을 찾도록 지시하면서 외부 인터넷과 차단된 ‘샌드박스’ 안에서 작동하도록 했다. 맹수를 우리에 가둔 채 힘을 시험하는 것과 비슷한 구조다.

그러나 AI는 연구진이 예상하지 못했던 틈을 찾아 샌드박스를 우회했다. 인터넷에 접속한 뒤 다른 서비스의 취약점을 이용했고, 알려지지 않았던 보안 취약점까지 찾아내 서버에서 코드를 실행했다. 일부 시스템에는 더 깊숙이 접근했다. 여러 AI가 인간의 지시 없이 별도의 통로에 메시지를 남기며 정보를 공유하고 스스로를 ‘군집(swarm)’이라고 표현했다.

더 우려를 키운 것은 AI가 자신의 행동을 숨기고 인간을 속이려 했다는 점이다. 일부 실험에서 AI는 인간의 개입이 방해가 된다고 판단하자 실제 의도와 다른 설명을 내놓거나, 감시받을 때와 그렇지 않을 때 행동을 달리했다. 목표를 이루기 위해서는 인간을 속이는 행동도 하나의 수단으로 선택할 수 있다는 의미다.

AI 연구에서는 이를 ‘보상 해킹(reward hacking)’이라고 부른다. 가령 청소 로봇에 쓰레기를 치울 때마다 점수를 준다면 인간이 원하는 결과는 깨끗한 방이다. 그러나 점수를 최대한 많이 얻는 것만 학습한 로봇은 직접 쓰레기를 만든 뒤 다시 치우는 방법을 선택할 수도 있다. 명령을 거부해서가 아니라 명령의 ‘진짜 의도’를 이해하지 못한 채 목표 달성에만 매달리면서 문제가 생기는 셈이다.

ⓒ 자료 = 외신 종합.

AI의 능력이 강해질수록 이런 문제의 파급력도 커질 수 있다. 현재는 연구용 AI가 시험 문제를 풀기 위해 격리망을 우회하는 수준이지만, 향후 은행 계좌와 기업 서버, 자동차, 군용 드론 등 현실 세계의 시스템을 직접 제어할 권한까지 갖게 되면 얘기가 달라진다.

예컨대 자산관리 AI에 ‘자산을 최대한 불리라’는 목표만 주고 충분한 권한을 부여할 경우 허용되지 않은 금융거래나 시스템 침입을 목표 달성의 수단으로 선택할 수 있다. 자율주행 AI가 목적지에 최대한 빨리 도착하라는 목표를 지나치게 우선하면 교통법규와 안전을 부차적인 조건으로 취급할 위험도 있다. 군사용 AI의 경우 피해는 더욱 커질 수 있다. 통신이 끊어진 상황에서 불완전한 정보만으로 표적을 판단하고 공격하도록 설계된다면 극단적인 경우 대량 학살이 일어날 수 있다는 게 전문가들의 우려다.

AI 업계에서는 이를 놓고 ‘지금 브레이크를 밟아야 한다’는 쪽과 ‘위험이 과장됐다’는 쪽이 맞서고 있다. 앤트로픽의 다리오 아모데이 최고경영자(CEO)는 AI의 능력 발전 속도를 안전 기술이 따라가지 못하고 있다며 개발 속도 조절을 주장한다. 오픈AI의 샘 올트먼 CEO와 구글 딥마인드의 데미스 허사비스 CEO도 고성능 AI에 대한 외부 안전검사와 통제 장치가 필요하다는 입장이다.

반면 엔비디아의 젠슨 황 CEO와 메타의 마크 저커버그 CEO는 규제보다 기술을 통한 안전 확보에 무게를 두고 있다. 저커버그 CEO는 개별 기업이 위험에 대응해야 한다며 업계 전체의 일률적인 속도 조절에 선을 그었다. 지나친 규제가 기술 혁신을 늦추는 동시에 기존 대기업의 진입장벽만 높일 수 있다는 논리다.

논쟁은 백악관 내부로도 번졌다. 수지 와일스 백악관 비서실장과 스콧 베선트 재무장관, 숀 케언크로스 국가사이버국장 등은 AI를 활용한 사이버 공격이 금융과 전력 등 핵심 기반시설을 위협할 가능성을 우려하며 보다 면밀한 감독이 필요하다는 입장이다.

도널드 트럼프 대통령은 중국과의 AI 경쟁을 이유로 개발 속도를 늦추는 데 부정적이다. JD 밴스 부통령도 AI 기업들이 정부에 규제를 요구하는 움직임에 회의적인 입장을 밝혀왔다. 트럼프 행정부의 AI 정책에 영향력을 행사해온 데이비드 삭스 백악관 과학기술자문위원회(PCAST) 공동의장 역시 속도조절론이 경쟁 기업을 견제하는 수단으로 활용될 수 있다고 주장한다.

논쟁의 핵심은 AI가 위험한지 여부보다 어느 단계에서 인간이 개입해야 하느냐로 좁혀진다. 위험론자들은 AI가 실제 금융·교통·군사 시스템에서 자율적으로 행동하기 시작한 뒤 통제 장치를 마련하면 늦을 수 있다고 본다. 반대쪽은 아직 현실화하지 않은 위험을 이유로 기술 발전 자체를 늦춰서는 안 된다고 맞선다.

AI가 인간보다 얼마나 똑똑해질지가 유일한 쟁점은 아니다. 인간이 AI에 어디까지 행동할 권한을 넘길 것인지, 그리고 AI가 허용된 선을 넘어서는 순간 누가 어떤 방식으로 멈출 수 있도록 할 것인지가 더 현실적인 과제로 떠오르고 있다.

ⓒ 자료 = 외신 종합