크래프톤, 음성 AI 모델 'A.X K2 Raon-Speech' 공개…한국어 성능 1위

21B 규모·46개 벤치마크 평가…30B 이하 공개 모델 중 최고점

감정·억양 살린 음성 생성…게임 AI 캐릭터 고도화에 활용

크래프톤 역삼 사옥 내부.ⓒ크래프톤

크래프톤이 사람의 목소리에 담긴 감정과 억양을 이해하고 음성으로 답할 수 있는 AI 파운데이션 모델을 공개했다. 한국어 음성 인식·합성·질의응답 등을 종합한 자체 평가에서는 30B 이하 공개 음성 언어모델 가운데 가장 높은 성능을 기록했다.

크래프톤은 최근 글로벌 AI 플랫폼 허깅페이스에 AI 파운데이션 모델 'A.X K2 Raon-Speech'를 공개했다고 29일 밝혔다. 이는 과학기술정보통신부의 '독자 AI 파운데이션 모델' 프로젝트 2차수 성과 중 하나다. 크래프톤은 SK텔레콤 정예팀에 참여해 멀티모달 모델 연구를 맡고 있다.

모델 규모는 21B 파라미터다. 크래프톤에 따르면 30B 이하 공개 음성 언어모델을 대상으로 한 평가에서 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했다.

평가는 음성 인식과 합성, 음성 이해, 음성·텍스트 질의응답, 도구 호출 등 6개 영역에서 이뤄졌다. 한국어 24개와 영어 22개를 합친 총 46개 벤치마크가 활용됐다.

A.X K2 Raon-Speech는 SK텔레콤의 A.X K2 기반 언어모델에 크래프톤이 자체 학습한 음성 인코더와 코덱을 결합했다. 음성 인코더는 사람의 목소리를 AI가 처리할 수 있는 정보로 변환하고, 코덱은 AI가 생성한 정보를 음성으로 복원한다.

기존 음성 AI는 이용자의 말을 문자로 변환한 뒤 답변을 만들고 다시 음성으로 합성하는 과정에서 감정과 억양이 사라질 수 있다. 이번 모델은 음성에 담긴 정보를 직접 활용해 이용자의 말투와 상황에 맞는 답변을 생성하는 데 중점을 뒀다.

크래프톤은 지난 4월 AI 모델 브랜드 'Raon'을 출범하고 음성 언어모델과 실시간 음성 대화 모델, 텍스트·음성 변환 모델, 비전 인코더 등 4종을 오픈소스로 공개했다. 이번 모델에는 당시 선보인 Raon-Speech의 학습 방식과 자체 음성 인코더·코덱 기술이 적용됐다.

확보한 음성 AI 기술은 이용자와 함께 게임을 플레이하는 AI 캐릭터 'CPC' 고도화에 활용할 예정이다. 이용자의 목소리와 의도를 파악하고 게임 상황에 맞는 말투로 반응하는 상호작용을 구현한다는 계획이다.

이강욱 크래프톤 CAIO는 "A.X K2 Raon-Speech는 크래프톤이 AI 파운데이션 기술을 꾸준히 연구하고 고도화해 온 결과물"이라며 "게임에 필요한 AI 기술을 발전시켜 새로운 게임 경험을 만들어 나가겠다"고 말했다.