모티프 이의제기에 정부, 독파모 2차 평가점수 공개…SKT 1위

업스테이지 69.9점·LG AI연구원 69.0점

ⓒ과학기술정보통신부

과학기술정보통신부가 독자 AI 파운데이션 모델(독파모) 2차 단계평가의 세부 점수와 평가 기준을 27일 공개했다. SK텔레콤 정예팀이 종합 70.6점으로 1위를 차지했으며 업스테이지와 LG AI연구원이 뒤를 이었다.

이번 평가 점수 공개는 모티프테크놀로지스가 정부의 독자 AI 파운데이션 모델 사업 2차 단계 선정 결과에 이의를 제기하고 평가 세부 점수와 기준 공개 및 재심의를 요청한 데 따른 것이다.

모티프테크놀로지스는 이날 오전 입장문을 내고 ▲평가 결과와 상세 평가 내용 ▲벤치마크 평가의 배점 산정 방식과 그 근거 ▲전문가 평가 상세 기준과 결과 ▲사용자 평가 방법론·상세 기준·결과 등을 공개해달라고 요청했다.

이에 정부는 2차 단계평가의 세부 점수를 공개했으며, 평가에는 AAII·NIA 벤치마크 평가, 전문가 평가, 사용자 평가(AI 전문 사용자진·일반 국민 평가) 등이 병행됐다.

AAII 벤치마크 평가 점수는 모티프 정예팀이 11.9점으로 1위, 업스테이지 정예팀이 9.4점으로 2위, SKT 정예팀이 8.8점으로 3위, LG AI연구원이 7.8점으로 4위를 기록했다.

NIA(한국지능정보사회진흥원, 이하 NIA) 벤치마크는 7개 분야(수학, 지식, 장문이해, 안전성(사회적 안전성 포함), 신뢰성, 한국어, 지시이행) 벤치마크 데이터셋을 활용해 NIA에서 평가 결과를 도출하고, 이를 15점 만점으로 스케일링해 최종 점수에 반영했다.

이를 종합한 NIA 벤치마크 평가 점수는 SKT 정예팀이 13.4점으로 1위, 업스테이지 정예팀이 13.3점으로 2위, LG AI연구원 정예팀이 12.8점으로 3위, 모티프 정예팀이 12.7점으로 4위를 기록했다.

전문가 평가는 외부 전문가(산업계 3명, 학계 5명, 연구계 2명)로 평가위원회를 구성해 추진하고, 정예팀이 제출한 평가서류 등을 바탕으로 약 5일간의 서면 평가와 Q&A를 병행해 진행했다.

전문가 평가 기준은 개발 전략 및 기술 10점, 개발 성과 및 계획 10점, 파급효과 및 기여계획 15점이며(독자성 최소 기준 점검을 병행), 각 ​평가위원별 점수는 이를 합산해 산정했다.

이를 종합한 전문가 평가 점수는 LG AI연구원 정예팀이 29.5점으로 1위, SKT 정예팀이 29.3점으로 2위, 업스테이지 정예팀이 29.1점으로 3위, 모티프 정예팀이 27.1점으로 4위를 기록했다.

AI 전문 사용자진 평가는 AI에 대한 전문적인 식견·경험 등을 갖추고, 일반 국민 대비 실제 다양한 AI 개발 과정에서 AI 모델을 폭넓게 사용해 본 AI 스타트업 대표들로서 이해충돌 여부 확인 등을 거쳐 50명이 선정돼, 실제 49명이 평가에 참여했다.

각 팀의 AI 사용 웹사이트를 기반으로 AI 사용성 등을 평가하고 최저 1점부터 최고 5점까지 점수를 부여하도록 했고, 이를 합산해 15점 만점으로 스케일링해 최종 점수를 산출했다.

이를 종합한 AI 전문 사용자진 평가는 SKT 정예팀이 11.6점으로 1위, LG AI연구원 정예팀이 11.3점으로 2위, 업스테이지 정예팀이 10.8점으로 3위, 모티프 정예팀이 8.4점으로 4위를 기록했다.

일반 국민 평가는 일반 국민에 대한 대표성 제고를 위해 충분한 기간 동안 공모한 후, 국내 주민등록인구 통계를 기준으로 성별·연령별 쿼터를 설정하고, 시스템을 통해 무작위로 200명이 ​선정됐으며, 이 가운데 185명이 평가에 참여했다.

국민 평가단의 평가 역시 정예팀별 절대평가로 진행돼 최저 1점부터 최고 5점까지 점수를 부여하도록 했고, 이를 합산한 후 10점 만점으로 스케일링해 최종 점수를 산출했다.

이를 종합한 일반 국민 평가는 LG AI연구원이 7.6점으로 1위, SKT 정예팀이 7.5점으로 2위, 업스테이지 정예팀이 7.3점으로 3위, 모티프 정예팀이 5.7점으로 4위를 기록했다.

평가 점수를 종합한 결과, SKT 정예팀이 70.6점으로 1위, 업스테이지 정예팀이 69.9점으로 2위, LG AI연구원 정예팀이 69.0점으로 3위, 모티프 정예팀이 65.8점으로 4위에 올랐다.

과기정통부는 "우리 기업들이 단순한 점수나 순위로 평가받기보다, 보유한 저력과 역량을 바탕으로 국내외 AI 생태계에 폭넓게 기여하고, 우리 AI 생태계가 새롭고 경쟁력 있는 AI 기업들이 끊임없이 도전하는 역동적인 생태계로 발전해 나가기를 기대한다"고 밝혔다.