500개 AI 모델 한곳에서 쓰고 비용까지 관리…KT '토큰팩토리' 공개

업무별 모델 자동 선택·질문 압축…토큰 사용량 최대 25% 절감

30일 기업 대상 출시…오픈라우터와 협력해 모델 제공 확대

토큰팩토리 개요.ⓒKT

KT가 국내외 인공지능(AI) 모델 500여 개를 한곳에서 선택하고 사용량과 비용까지 관리하는 플랫폼을 선보였다. 업무에 적합한 모델을 자동으로 골라주고 질문을 압축해 AI 이용 효율을 높이는 것이 핵심이다.

KT는 27일 서울 종로구 광화문 웨스트 빌딩에서 AI 플랫폼 'KT 토큰팩토리'를 공개했다. 오는 30일 여러 AI 모델을 사용하는 기업 고객을 대상으로 출시하고, 향후 서비스 범위를 개인 이용자까지 확대할 계획이다.

토큰은 AI가 질문과 문서, 코드 등을 처리하고 답변을 생성할 때 쓰는 기본 단위다. AI 이용량과 비용을 산정하는 기준이 되는데, 기업이 여러 모델을 개별적으로 구독하면 사용 현황과 비용을 통합 관리하기 어렵다. 토큰팩토리는 모델 가입과 선택부터 사용량 확인, 결제까지 한곳에서 지원한다.

플랫폼에는 KT가 자체 개발한 모델 선택 기술 '오토 모델 라우터'를 적용했다. 질문의 유형과 난이도, 요구 품질과 비용, 고객이 허용한 모델 범위 등을 고려해 적합한 AI를 선택한다. KT에 따르면 이 기술은 모델 선택 성능을 평가하는 글로벌 벤치마크 '라우터아레나'에서 종합 1위를 기록했다.

질문의 의미와 답변 품질을 유사하게 유지하면서 반복 표현 등을 줄이는 프롬프트 압축 기술도 활용한다. KT는 두 기술을 통해 AI 이용에 필요한 토큰을 최대 25% 절감할 수 있다고 설명했다.

데이터 관리가 필요한 기업을 위해 국내 KT 데이터센터에서 AI 추론도 지원한다. KT 자체 모델과 국내외 오픈웨이트 모델 등을 국내 인프라에서 활용할 수 있도록 하고, 질문에 포함된 개인정보·민감정보와 유해 표현을 점검하는 가드레일을 적용했다. AI가 생성한 답변도 점검한다.

글로벌 AI 모델 마켓플레이스 '오픈라우터'와도 국내 최초 공식 파트너십을 체결했다. 이를 통해 플랫폼에 연계 가능한 글로벌 AI 모델 500개 이상을 확보했으며, 향후 KT가 국내에서 제공하는 모델의 해외 유통도 추진한다.

KT는 유라클·CAST AI·타임리 등과 협력을 확대하고, 업스테이지·다음 등 '모두의 AI' 컨소시엄 참여사들과도 AI 모델과 서비스 생태계를 구축할 계획이다.

박상원 KT AX사업부문장 전무는 "통신사업에서 축적한 연결·과금·보호 역량을 AI 서비스로 확장한 토큰팩토리를 기반으로 고객의 AI 전환을 지원하겠다"고 말했다.