생성형 AI 약점 약 7배 더 찾았다…KAIST, 공격 유형 134개 발굴

공격 성공률 92% 유지하고 유형은 134개

학습 불안정·무의미한 공격 문장 생성 줄여

신약 후보 물질 생성 분야로 확장 가능성

스테블-지플로우넷 이미지. ⓒKAIST

KAIST 연구진이 대규모 언어모델(LLM)의 취약점을 찾아내는 공격 유형을 기존 방식보다 약 7배 늘리면서도 92%의 공격 성공률을 유지하는 안전성 검증 기술을 개발했다.

KAIST는 전기및전자공학부 김준모 교수 연구팀이 LLM 레드팀 기술의 학습 불안정 문제를 보완한 ‘스테이블-지플로우넷(Stable-GFlowNet)’을 개발했다고 30일 밝혔다.

레드팀은 생성형 AI를 서비스에 적용하기 전 유해하거나 위험한 답변을 끌어내는 공격 프롬프트를 만들어 취약점을 점검하는 과정이다. 공격 성공률뿐 아니라 서로 다른 유형의 약점을 얼마나 폭넓게 찾아내는지가 중요하다.

기존 강화학습 기반 기술은 성공률이 높은 일부 공격만 반복적으로 생성하는 ‘모드 붕괴’가 발생해 다양한 취약점을 찾는 데 한계가 있었다. 이를 보완하기 위해 제안된 생성 흐름 네트워크도 학습 과정이 불안정하고 의미 없는 문장에 높은 보상을 주는 문제가 있었다.

연구팀은 생성된 공격 결과 두 개를 비교해 더 나은 결과를 학습하는 ‘대조 궤적 균형’을 도입했다. 보상 차이가 작은 잡음은 학습에서 제외하는 ‘노이즈 경사 가지치기’와 부자연스러운 문장을 걸러내는 ‘최소-K 유창성 안정화 장치’도 적용했다.

비교 실험에서 스테이블-지플로우넷은 기존 생성 흐름 네트워크 방식이 찾아낸 17개보다 약 7배 많은 134개의 고유 공격 유형을 발굴했다. 공격 성공률은 92%를 기록했다.

이 기술로 만든 공격을 이용해 학습한 방어 모델은 학습 과정에서 접하지 않은 다른 공격 기법을 적용한 교차 공격 시험에서도 방어 성능을 보였다. 연구팀은 신약 후보 물질을 찾는 분자 생성 실험에서도 기존 방식보다 빠르고 안정적인 학습 성능을 확인했다.

권민찬 KAIST 박사과정이 제1저자로 참여한 이번 논문은 국제머신러닝학회(ICML) 2026에서 전체 제출 논문의 상위 2.2%에 해당하는 스포트라이트 논문으로 선정됐다. 연구는 과학기술정보통신부와 정보통신기획평가원의 SW스타랩 사업 지원을 받아 수행됐다.

김준모 교수는 “이번 기술은 적은 데이터와 잡음이 많은 현실적인 환경에서도 AI의 다양한 취약점을 안정적으로 찾아낼 수 있다는 점에서 의미가 크다”며 “생성형 AI를 실제 서비스에 적용하기 전에 더 폭넓은 위험 요소를 찾아내고 방어할 수 있어, 더욱 안전하고 신뢰할 수 있는 AI 개발의 핵심 기반기술이 될 것으로 기대한다”고 말했다.