금융보안원, ‘AI 공격 고도화’ 경고…금융권 “3세대 이상 공격에 취약”

AI 레드팀 보고서 발간…금융권 AI 보안 실태 첫 체계적 점검

단순 우회 공격엔 대응 가능, RAG·에이전트 공격엔 무력화 경향

“AI 거버넌스·권한 검증·주기적 레드티밍이 핵심 과제”

금융보안원은 30일 ‘2025년 AI 레드팀 보고서’를 발간하고, 2025년 금융권 AI 레드티밍 결과와 함께 2026년을 대비한 AI 보안 전략 방향을 제시했다. ⓒ금융보안원

금융보안원이 금융권 인공지능(AI) 시스템이 고도화된 최신 공격에는 여전히 취약하다는 점을 경고했다.

단순한 우회 문구 수준의 공격에는 대응하고 있으나, 장기 문맥 조작이나 AI 에이전트를 악용한 복합 공격에는 방어력이 충분하지 않다는 분석이다.

금융보안원은 30일 ‘2025년 AI 레드팀 보고서’를 발간하고, 2025년 금융권 AI 레드티밍 결과와 함께 2026년을 대비한 AI 보안 전략 방향을 제시했다.

이번 보고서는 금융권 AI 시스템을 대상으로 공격자 관점에서 취약점을 점검한 국내 첫 체계적 결과물이다.

보고서에 따르면 AI 공격 기술은 ▲1세대 단순 우회 문구 ▲2세대 자동화된 프롬프트 최적화 ▲3세대 인지적 조작 및 검색증강생성(RAG) 공격 ▲4세대 에이전트 공격으로 빠르게 진화하고 있다.

특히 3세대 이후 공격은 긴 문맥을 활용해 판단을 왜곡하거나, 외부 지식 데이터베이스를 오염시켜 잘못된 결과를 유도하는 방식으로 공격 난도가 크게 높아진 것으로 분석됐다.

금융보안원이 점검한 결과, 금융권 AI 시스템은 욕설 필터 우회 등 기본적인 위협에는 비교적 안정적으로 대응했지만, 조작된 정보 입력이나 내부 설정 정보 유출로 이어질 수 있는 고도화된 공격에는 무력화되는 사례가 확인됐다.

실제로 일부 테스트에서는 챗봇이 부적절한 응답을 하거나, 조작된 뉴스를 입력할 가능성을 보였고, AI 모델 및 설정 정보 등이 노출될 가능성도 관측됐다.

이에 따라 금융보안원은 AI 보안을 개별 기술 문제로 접근할 것이 아니라, 내부통제와 결합한 통합적 대응이 필요하다고 강조했다.

구체적으로는 ▲AI 보안 책임 주체를 명확히 하는 거버넌스 체계 확립 ▲AI 에이전트의 식별·인증·권한 부여 및 모니터링 강화 ▲주기적인 AI 레드티밍을 통한 상시 점검 체계 구축을 핵심 과제로 제시했다.

금융보안원은 2026년 AI 레드팀 전담 조직을 본격적으로 신설하고, 금융권 AI 시스템에 대한 점검을 한층 강화할 계획이다.

금융 특화 AI 보안 평가지표와 가드레일 모델, 자동 점검 도구 등을 제공해 금융회사가 자체적으로 AI 보안 수준을 높일 수 있도록 지원한다는 방침이다.

박상원 금융보안원장은 “2026년은 AI가 금융혁신의 핵심 경쟁력으로 자리 잡는 동시에, 이를 노린 고도화된 공격이 급증하는 시기가 될 것”이라며 “금융회사가 AI를 안전하게 활용할 수 있도록 선제적인 보안 점검과 자체 검증 체계 구축을 적극 지원하겠다”고 밝혔다.