"AI 속도 늦추자고? 터미네이터 잡으려면 더 센 놈 만들어야"

이원태 "AI 개발 속도 조절, 기술 경쟁력과 안전성 균형 맞춰야"

최대선 "AI 에이전트 확산에 따른 보안 위협, 대응 체계 강화 필요"

김성훈 "AI 발전 속도에 맞춰 제도 정비와 산업 현장 대응 서둘러야"

이한울 "AI 기반 사이버 공격 고도화, 취약점 탐지·대응 역량 확보 시급"

국가AI전략위원회 보안특별위원장인 이원태 위원장이 1일 열린 공개 세미나에서 ‘글로벌 프런티어 AI 개발 속도조절론과 대한민국 AI의 대응 전략’을 주제로 기조 발제를 하고 있다.국가인공지능전략위원회 유튜브 캡처

AI(인공지능)가 스스로 고도화된 AI를 만드는 시대에 접어들면서 개발 속도와 안전 통제를 둘러싼 논쟁이 거세지고 있다.

글로벌 빅테크를 중심으로 '개발 속도 조절론'이 제기되는 가운데, 국내 전문가들은 오히려 독자적인 프런티어 모델 기술력을 확보하는 동시에 '통제와 책임의 역량'을 시급히 끌어올려야 한다고 진단했다.

국가인공지능전략위원회는 1일 오후 2시 서울스퀘어에서 'AI 개발 속도조절론' 관련 세미나를 개최했다.

이번 세미나는 지난 12일 앤트로픽·오픈AI 등 주요 빅테크 수장들이 AI 기술 발전이 통제력을 넘어설 수 있다는 우려와 함께 개발 속도를 늦춰야 한다는 ‘속도조절론’을 제기한 이후, 미국·중국·유엔(UN) 등 국가와 국제기구 간 입장이 엇갈리는 가운데 한국의 대응 방향을 모색하기 위해 마련됐다.

이원태 “AI 개발은 가속화하되 고위험 요소는 통제해야”

'글로벌 프런티어 AI개발 속도조절론과 대한민국 AI의 대응전략' 기조 발제를 맡은 이원태 보안특위 위원장은 "대한민국 AI의 시계는 멈출 수 없지만, 통제와 책임의 시계는 더욱 빠르게 돌려야 한다"고 말했다.

그는 다리오 아모데이 앤트로픽 CEO가 제시한 속도 조절론이 AI 개발을 전면 중단하자는 주장은 아니며 핵심은 AI를 통제할 수 있는 시간을 확보하자는 것이라고 짚었다.

이 위원장은 "AI 개발 자체를 멈추기보다는 검증과 확산, 권한 부여의 속도를 조정해 안전과 통제 역량이 기술 발전을 따라갈 수 있도록 해야 한다는 취지"라며 "이번 논쟁의 핵심은 AI 개발을 늦출 것인지가 아니라, 통제할 수 없는 속도로 AI가 발전하도록 방치할 것인지에 있다"고 말했다.

최근 AI 위험에 대한 우려가 커진 배경에는 실제 사고와 보안 위협이 있다고 이 위원장은 짚었다. 오픈AI와 허깅페이스 관련 해킹 사건이 대표적인 사례다. 약 1200개의 AI 에이전트가 규제 샌드박스를 벗어나 자율적으로 공격 행위를 수행했으며, 개발자들이 이를 뒤늦게 파악한 것으로 알려졌다.

이러한 문제는 특정 기업에 국한되지 않는다. 구글 딥마인드, 앤트로픽, 메타 등 여러 AI 기업의 모델에서도 상호 침투와 공격 사례가 보고되고 있다.

이 위원장은 "이러한 상황은 기업의 자율적인 사고 공개에만 의존하는 방식의 한계를 보여준다. 공통된 사고 분류 체계와 신속한 사고 통지, 독립적인 검증 및 재검증 체계를 마련하는 것이 중요하다"고 강조했다.

각국의 AI 대응 전략은 서로 다른 양상을 보이고 있다. 중국은 AI 개발 속도 조절론을 AI 냉전 논리라고 비판하면서도, 내부적으로는 AI의 자기 개선과 킬 스위치 등 안전 거버넌스 관련 규정을 마련하고 있다. 유럽연합(EU)은 AI 안전과 규제에 긍정적인 입장을 보이면서도 산업 경쟁력과 성장 동력을 유지해야 하는 과제를 안고 있다.

이 위원장은 "미중 정상회담에서도 AI 관련 논의가 이어졌지만, 구체적인 공동 규칙을 마련하는 데까지 이르지는 못했습니다. 현재 확인되는 성과는 사고 통보 채널을 마련하는 수준의 제한적인 합의에 그친 것으로 평가된다"고 말했다.

미국과 중국이 AI 분야에서 경쟁과 협력을 병행하고, 여러 국가가 다자 협력을 모색하는 상황에서 한국은 어느 한 진영의 규범적 연대에만 의존하기보다 각국이 공통으로 필요로 하는 분야를 중심으로 기능적 연대를 추진할 필요가 있다고 이 위원장은 주장했다.

그는 "국제사회에서 선제적으로 문제를 제기하고 실질적인 대안을 제시해야 한다. 이미 마련된 국제 표준에 뒤늦게 참여하는 수동적 자세에서 벗어나, 양자 간 규칙과 다자 간 규범을 연결하는 공동 설계자이자 중재 플랫폼으로서 역할을 수행해야 한다"고 강조했다.

그러면서 AI 시대의 핵심 대응 방향은 '속도 조절'이 아닌 '속도 책임'에 둬야 한다고 밝혔다. 이 이원장은 "프런티어 AI 역량을 조기에 확보하기 위한 노력을 중단해서는 안 된다. 동시에 안전·보안·평가·통제 역량도 프런티어 수준으로 끌어올리는 투트랙 전략을 추진해야 한다"고 말했다.

그는 "다시 말해 AI 역량은 가속화하되 고위험 요소는 정밀하게 통제하고, 최종적인 책임은 인간에게 둬야 한다"면서 "통제와 책임의 시계를 더욱 빠르게 돌리는 노력을 병행해야 한다"고 덧붙였다.

최대선 숭실대 AI안전성연구센터장이 1일 열린 국가AI전략위원회 공개 세미나에서 ‘AI 발전의 위험과 통제: 기술적·제도적 대응’을 주제로 발표하고 있다.국가인공지능전략위원회 유튜브 캡처

최대선 “프런티어 AI 위험 통제 위해 검증·악용 통제·봉쇄·추적 체계 마련해야”

숭실대 AI안전성 연구센터장 최대선 교수는 'AI 발전의 위험과 통제' 발표에서 프론티어 AI의 위험을 통제하기 어렵다며 기술적·제도적 대응 검토 필요성을 지적했다.

최 교수는 "AI의 능력은 계속 발전하고 있으며, 그 발전 양상과 위험 범위를 정확히 예측하기 어렵다. 현재는 다중 에이전트 시스템의 위험이 주요 쟁점이지만, 향후 기술이 고도화되면 새로운 위험이 추가될 수 있다"면서 "현재의 기술 수준과 위험에 맞춰 검증·악용 통제·봉쇄·추적 체계를 마련하고, 향후 AI의 능력 변화에 따라 이를 지속적으로 보완해야 한다"고 말했다.

그는 AI의 실제 능력을 완벽하게 측정하거나 미래의 발전 수준을 정확하게 예측하는 것은 어렵지만 불확실성을 이유로 대응을 미룰 수는 없다고 강조했다. 그러면서 최첨단 모델의 개발과 평가에만 집중하지 말고, 공개 모델과 에이전트의 결합으로 발생할 수 있는 위험까지 고려할 필요가 있다고 말했다.

구체적으로 고시와 사업 지침을 마련하는 등 당장 추진할 수 있는 대응부터 시작하고, 장기적으로는 법·제도 개선까지 검토해야 한다고 덧붙였다.

김성훈 업스테이지 대표가 1일 열린 국가AI전략위원회 공개 세미나에서 ‘업스테이지 솔라(Solar)는 왜 전력으로 달리고 있나’를 주제로 발표하고 있다.국가인공지능전략위원회 유튜브 캡처

김성훈 “AI 개발 멈추면 경쟁에서 뒤처져…자기 개선형 초지능 확보해야”

업스테이지 김성훈 대표는 '업스테이지 솔라(Solar)는 왜 전력으로 달리고 있나'를 주제로 AI가 초지능(Super Intelligence·SI)을 넘어 스스로 진화하는 AI(Self-Improving Super Intelligence·SI²) 시대로 접어들고 있다고 진단했다.

김 대표는 "왜 갑자기 AI를 초지능이라고 표현했을까. 저는 두 나라가 자신감을 갖고 있다는 의미로 읽었다. 미국과 중국, 두 나라만이 초지능을 보유하고 나머지 국가들은 그보다 역량이 떨어진다는 인식이 깔려 있는 것"이라고 말했다.

그는 빅테크가 제기한 '개발 속도 조절론'에 대해 "미국과 중국처럼 초지능을 만들고 관리할 수 있는 나라들은 전속력으로 달리면서, 그 아래에 있는 나라들에는 이제 멈춰야 하지 않겠느냐고 이야기하는 것으로 해석한다"면서 "다 같이 멈추자는 말이 그럴듯하게 들린다고 해서 함께 멈추면, 우리는 경쟁에서 뒤처질 수 있다"고 지적했다.

김 대표는 국내 속도 조절은 글로벌 빅테크와의 기술 격차를 고착화하고 종속을 심화시킬 우려가 있는 만큼, 한국도 자기 진화 수준의 AI 기술을 먼저 확보해야 한다고 말했다.

김 대표는 "주요 기업들은 거의 한 달에 한 번씩 모델을 출시하고 있다. 한 단계 더 나아가면 초지능이 자기 자신을 개선하는 자기 개선형 초지능, 어려운 말로 SI²가 등장한다. 언젠가는 시진핑 주석이나 미국 대통령이 다시 만나 서로 자기 나라의 AI가 SI²에 도달했다고 이야기할 수도 있다"고 설명했다.

이때 미국의 SI²와 중국의 SI²가 한국 편일지 질문해야 한다고 김 대표는 강조했다. 김 대표는 "우리는 멈출 수 없다. SI²까지 가야한다. 터미네이터를 막는 것은 결국 터미네이터이기 때문"이라고 언급했다.

김 대표는 "우리는 반드시 임계점 위로 올라가야 한다"면서도 "속도도 중요하지만, 속도에 대한 책임도 중요하다"고 짚었다.

업스테이지는 이를 위해 외부 검증을 받고, 가중치를 공개하고, 모델을 직접 운영하며, 자기 개선 과정에 안전장치를 마련하겠다고 밝혔다.

이한울 에임인텔리전스 부사장이 1일 열린 국가AI전략위원회 공개 세미나에서 ‘속도 조절론과 우리나라 AI 산업·보안 역량’을 주제로 발표하고 있다.국가인공지능전략위원회 유튜브 캡처

이한울 “AI 보안 역량 확보하려면 독립적 평가·통제 체계와 국제 공조 필요”

이한울 에임인텔리전스 부사장은 '속도조절론과 우리나라 AI 산업·보안 역량'을 주제로 우리나라의 AI 보안 역량과 기업의 대응 현실을 소개했다. 그는 국내의 독립적인 AI 모델 평가·통제 역량을 확보하고 국제 공조를 병행해야 한다고 강조했다.

그는 보안 사고 대표 사례로 SK텔레콤을 들었다. 이 부사장은 "당시 조사에서는 2016년에 공개된 취약점이 2025년까지 패치되지 않은 채 남아 있었던 것으로 나타났다. 다른 기업들도 비슷한 여건에 놓여 있을 수 있다"고 지적했다.

이어 "보안 패치는 단순한 작업이 아니다. 코드를 변경하는 과정에서 기존 기능이 정상적으로 작동하지 않을 위험이 있다. 따라서 패치를 적용하기 전에 충분한 검증이 필요하고, 변경 사항이 실제 서비스에 반영된 뒤 문제가 발생했을 때 장애를 복구할 준비도 갖춰야 한다"고 말했다.

이 부사장은 그러면서 "최상위 모델은 개발해야 한다. 다만 해당 모델이 실제로 최상위 수준인지 평가할 수 있어야 하고, 안전성도 확인할 기준이 필요하다"고 강조했다.

또한 AI의 악용 위험을 고려해 모델의 공개 범위와 접근 대상을 정하고, 에이전트에 부여할 권한과 문제 발생 시 개입 방식을 검토해야 한다고 말했다. 기업이 보안 업무에 AI를 도입할 때 안전성이 검증된 기술의 활용을 어렵게 만드는 요인도 살펴봐야 한다는 설명이다.

이 부사장은 "이런 과정이 갖춰져야 AI와 보안 분야에서 한국이 보유한 연구 경쟁력이 실제 기업의 보안 수준 향상으로 이어질 수 있다. 이것이 AI 속도조절론과 관련해 보안 관점에서 우리가 고려해야 할 부분"이라고 말했다.