KT, AI 모델 ‘골라 쓰는’ 기술로 글로벌 2위

공개 벤치마크 ‘라우터아레나’서 종합 2위

대규모언어모델(LLM) 라우터 전문 공개 벤치마크 ‘라우터아레나’ 리더보드에서 KT의 ‘KT-모델라우터’가 정확도·비용 평가 기준 2위를 기록한 화면ⓒKT

KT가 여러 AI 모델 가운데 업무에 맞는 모델을 자동으로 골라주는 모델 라우팅 기술로 글로벌 경쟁력을 입증했다.

KT는 자체 개발한 인공지능(AI) 모델 라우팅 기술 ‘오토모델라우터(AutoModelRouter)’가 대규모언어모델(LLM) 라우터 전문 공개 벤치마크인 ‘라우터아레나(RouterArena)’에서 종합 2위를 기록했다고 27일 밝혔다.

라우터아레나는 미국 라이스대학교(Rice University) 연구진이 개발한 대규모언어모델 라우터 평가 플랫폼으로, 관련 연구는 머신러닝 분야 국제학회 ‘국제학습표현학회(ICLR) 2026’의 정식 논문으로도 채택됐다.

약 8400개의 질의를 활용해 AI 라우터의 응답 정확도와 비용 효율성, 입력 변화에 대한 견고성 등 실제 서비스 운영에 필요한 성능을 종합적으로 평가한다.

KT의 오토모델라우터는 라우터아레나 공개 리더보드에서 ‘KT-모델라우터’라는 이름으로 등재됐으며, 정확도와 비용을 함께 평가하는 ‘정확도·비용 평가(Acc-Cost Arena)’ 기준 2위에 올랐다.

이를 통해 여러 AI 모델 가운데 이용 목적에 적합한 모델을 선택하면서 품질과 비용을 함께 최적화하는 KT의 모델 라우팅 기술 경쟁력을 입증했다. 현재 라우터아레나 공개 리더보드에는 학계에서 개발한 라우터뿐 아니라 마이크로소프트의 ‘애저 모델 라우터’ 등 상용 기술도 함께 등재돼 있다.

현재 기업이 선택할 수 있는 수많은 AI 모델은 번역·요약·코딩·추론 등에서 서로 다른 강점을 갖고 있고 성능과 이용 비용에서도 차이가 있다. 따라서 모든 업무를 하나의 모델로 처리하기보다 업무 특성과 요구 품질에 따라 적절한 모델을 선택하는 기술이 기업의 인공지능 전환(AX) 과정에서 핵심으로 떠오르고 있다.

오토모델라우터는 여러 AI 모델 가운데 이용자의 요청에 가장 적합한 모델을 자동으로 선택하는 기술이다. 요청의 ▲업무 유형 ▲난이도 ▲지식 분야를 분석하고, 모델별 응답 품질과 이용 비용을 고려한 라우팅 정책에 따라 해당 요청을 처리할 모델을 연결한다.

KT는 특히 단순히 가장 성능이 높은 모델이나 가장 저렴한 모델을 일률적으로 선택하는 대신, 기업이 요구하는 목표 품질을 충족하면서 비용 효율도 높일 수 있도록 모델 선택 정책을 적용했다.

예를 들어 상대적으로 간단한 번역이나 정보 확인에는 필요한 품질을 충족하는 비용 효율적인 모델을 활용하고, 전문적인 분석이나 높은 수준의 추론이 필요한 업무에는 고성능 모델을 연결하는 방식이다. 이용자는 하나의 AI 서비스를 이용하지만 실제 시스템에서는 요청 특성에 따라 서로 다른 모델이 활용된다.

기업들은 여러 AI 모델을 일일이 비교·선택하는 부담을 줄이고, AI가 처리해야 하는 업무별 요구 수준과 예산에 맞춰 AI 운영 환경을 보다 효율적으로 구성할 수 있다.

오토모델라우터는 KT가 추진하고 있는 ‘토큰 팩토리(Token Factory)’의 모델 라우팅 기능에도 활용된다. 토큰 팩토리가 다양한 AI 모델과 토큰 이용 환경을 통합적으로 운영하는 과정에서 오토모델라우터가 이용자의 요청에 맞는 모델을 자동으로 선택함으로써, AI 서비스의 품질과 토큰 사용 비용을 함께 최적화하는 역할을 담당한다.

KT는 앞으로 오토모델라우터를 지속 고도화하고 새로운 AI 모델을 유연하게 추가할 수 있는 다중 모델 운영 환경을 구축해 기업 고객의 AI 도입과 AX 전환을 지원할 계획이다.

김준석 KT 에이전틱 AI 랩장 상무는 “AI 시대에는 가장 뛰어난 단일 모델을 확보하는 것뿐 아니라, 상황에 맞는 최적의 모델을 얼마나 지능적으로 활용하느냐가 중요하다”며 “오토모델라우터는 이러한 AI 오케스트레이션 역량을 구현한 기술로, 토큰 팩토리를 비롯한 KT의 에이전틱 AI 서비스 경쟁력을 뒷받침하는 핵심 기술이 될 것”이라고 말했다. 이어 “KT는 경쟁력 있는 AI 플랫폼 기술을 바탕으로 기업 고객의 AX 전환을 선도해 나가겠다”고 강조했다.

한편 KT는 올해 AX 플랫폼을 중심으로 기업 고객 대상 사업을 확대하고 있다. 1분기에는 AX 컨설팅과 AI 기술·플랫폼·운영 역량을 연계한 사업 추진체계를 마련했으며, 산업별 특성과 정부 규제, 보안, 소버린 요건을 반영한 맞춤형 플랫폼 구축에 나섰다.