독자 AI 모델 정예팀 노하우 푼다…3544만건 학습 데이터 공개

네이버·SKT·LG 등 5개 팀 구축 데이터 29종 개방

해당 이미지느 AI로 제작함. ⓒ

국내 독자 초거대 인공지능(AI) 모델 개발에 참여 중인 대표 기업들의 핵심 학습 데이터가 국내 AI 생태계 발전을 위해 일반에 전면 공개한다.

과학기술정보통신부와 한국지능정보사회진흥원(NIA)은 ‘독자 AI 파운데이션 모델’ 사업 5개 정예팀이 1차 단계평가 과정에서 확보한 데이터 29종(약 3544만 건, 1.56조 토큰 규모)을 AI허브를 통해 개방한다고 27일 밝혔다.

이번에 공개하는 데이터는 네이버클라우드, 업스테이지, SK텔레콤, 엔씨에이아이, LG AI연구원 등 5개 정예팀이 데이터 구축·가공 예산(2025년 150억원)을 활용해 자체 전략에 맞춰 확보한 자산이다.

전체 규모는 1.56조 토큰이다. 약 700억~800억(70~80B) 파라미터 수준 대형 AI 모델을 학습시킬 수 있는 분량이다.

기업별로 살펴보면 네이버클라우드는 공개·방송 영상 클립을 기반으로 텍스트 1550만 건과 음성 질의응답 1200만 건을 구축해 영상 이해 및 이미지 생성 모델 학습용 데이터를 선보였다.

업스테이지는 모델 바닥 학습을 위한 1조 토큰 규모 사전학습 데이터와 추론·판단 중심의 AI 에이전트 개발용 사후학습 데이터 50만 건을 내놨다.

SK텔레콤은 수학·과학·법률 등 전문 영역의 고난도 다단계 추론 데이터와 국내 법령 및 사회적 가치를 반영한 한국형 레드티밍 데이터 약 1만건을 제공했다.

엔씨에이아이는 산업 현장의 기술문서와 상담 음성을 기반으로 긴 문맥 이해 및 멀티모달 학습 데이터 7종을 구축했다.

LG AI연구원은 국내 50개 가정환경에서 수집한 17만 개 이상의 영상 클립과 다층 라벨링 정보를 담은 피지컬AI 멀티모달 데이터셋을 공개했다.

NIA와 한국정보통신기술협회(TTA)는 데이터 품질검증과 개인정보·유해성 검증을 거쳤다. 의무 개방 비율(50% 이상) 기준에 따라 네이버클라우드, 업스테이지, SK텔레콤, 엔씨에이아이는 검증을 통과한 데이터 전체를 개방했다. LG AI연구원은 통계적 선별 방식을 거쳐 개방 요건을 충족했다.

공개된 데이터는 AI허브 홈페이지에서 누구나 무료로 내려받을 수 있다. 보안이 필요한 일부 데이터는 온라인 ‘안심존’ 신청을 거쳐 활용할 수 있다. 과기정통부는 향후 2차 단계평가에서 구축되는 데이터도 검증을 거쳐 순차적으로 개방할 계획이다.

김경만 과기정통부 인공지능정책실장은 “독자 AI 파운데이션 모델 프로젝트는 모델 개발뿐 아니라 축적된 기술과 경험을 공유해 생태계 성장에 이바지하는 데 의미가 있다”며 “개방된 데이터가 국내 AI 생태계의 자생력을 키우는 든든한 밑거름이 되길 기대한다”고 말했다.