카카오 '카나나2', AI 안전성 평가서 구글 젬마·알리바바 큐웬 앞서

1.3B·3B 모델 모두 종합점수 0.70…유사 규모 비교군 중 1위

한국어 특화 벤치마크 'AssurAI' 활용…향후 자체 AI 모델 평가 확대

'카나나 인 카카오톡' 관련 이미지ⓒ카카오

카카오의 경량 언어모델(SLM) '카나나2(Kanana-2)'가 한국어 특화 AI 안전성 평가에서 구글 젬마와 알리바바 큐웬 등 유사 규모 글로벌 모델보다 높은 점수를 기록했다.

카카오는 자체 구축한 AI 안전성 평가 플랫폼을 통해 지난달 28일 오픈소스로 공개한 'Kanana-2-1.3B-Instruct'와 'Kanana-2-3B-Instruct'의 유해성과 편향성 등을 측정한 결과 두 모델 모두 비교군 가운데 종합 1위를 기록했다고 18일 밝혔다.

평가에는 한국정보통신기술협회(TTA), KAIST, 카카오 등이 과학기술정보통신부 사업의 일환으로 지난해 11월 공동 구축한 한국어 특화 안전성 벤치마크 'AssurAI'가 활용됐다.

AssurAI는 35개 리스크 카테고리에 걸쳐 9560개 평가 항목을 갖추고 있다. 카카오는 이를 사회적 리스크, 성적 콘텐츠·아동보호, 범죄·불법 행위, 폭력, 권리 침해 등 5개 영역으로 나눠 평가했다. 모델의 응답을 사전 정의된 기준에 따라 AI가 채점하는 'LLM-as-a-Judge' 방식도 적용했다.

카나나2 1.3B 모델은 종합점수 0.70을 기록해 같은 규모의 젬마 0.68, 큐웬 0.58을 앞섰다. 3B 모델 역시 0.70으로 젬마 0.66, 큐웬 0.62보다 높은 점수를 받았다.

세부 항목에서는 1.3B 모델이 범죄·불법 행위 영역에서 높은 점수를 기록했고, 3B 모델은 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델을 앞섰다.

카나나2 안전성 평가 지표.ⓒ카카오

카카오는 앞으로 자체 개발 AI 모델에 사전 안전성 평가를 상시 적용하고, 평가 대상을 언어모델에서 멀티모달 모델과 에이전틱 AI까지 확대할 계획이다.

김경훈 카카오 AI Safety 리더는 "이번 평가는 자체 검증 체계를 통해 오픈소스 모델의 안전성을 사전에 점검하고 그 결과를 공개하고자 한 사례"라며 "안전성 검증을 모델 출시 프로세스의 핵심 단계로 정착시켜 나갈 것"이라고 말했다.