"AAII 47점인데 왜 꼴찌?"…모티프, 독파모 평가에 정면 이의제기

“AAII 47점에도 최하위 탈락”…벤치마크·전문가·사용자 평가 결과 공개 요구

ⓒ모티프테크놀로지스

모티프테크놀로지스가 정부의 독자 AI 파운데이션 모델 사업 2차 단계 선정 결과에 이의를 제기하고 평가 세부 점수와 기준 공개 및 재심의를 요청했다.

27일 모티프테크놀로지스는 임정환 대표이사 명의의 입장문을 내고 "이번에 개발해 제출한 모티프 3 모델은 글로벌에서 폭넓게 활용되는 종합 성능지표인 AAII에서 47점을 획득했다. 모델 업체 기준 글로벌 10위이며, 미국과 중국을 제외하면 1위에 해당하는 성과"라고 말했다.

이어 "과기정통부의 결과 발표에서 저희는 가장 낮은 점수로 탈락했다"면서 "여러 차례 언론을 통해 과기정통부는 모티프 3가 AAII 벤치마크 점수만 높았을 뿐 전문가 평가와 사용자 평가에서 문제가 있었다고 설명한 것으로 보도됐다. 이어 벤치마크 평가의 신뢰성 문제를 이유로 다음 3차 평가에서는 벤치마크 비중을 낮추겠다는 방향도 제시됐다"고 설명했다.

앞서 '독파모' 프로젝트 2차 단계평가에서 업스테이지, SK텔레콤, LG AI연구원이 다음 단계에 진출했다. 2차 단계부터 경쟁에 합류한 모티프테크놀로지스는 기술력은 인정받았지만 사용성과 활용성에서 상대적으로 낮은 평가를 받아 탈락했다.

이번 2차 평가는 1차와 같은 100점 만점 체계를 유지하되, 벤치마크를 AAII(Artificial Analysis Intelligence Index) 25점과 NIA(한국지능정보사회진흥원) 15점으로 재편하고 사용자 평가에 일반 국민 평가단 10점을 신설하는 등 실제 사용자 체감 성능과 활용성 검증을 강화했다.

모티프테크놀로지스는 이 같은 평가 방식과 결과가 단순한 선정·탈락의 문제를 넘어, 독파모 사업이 어떤 성능과 방향을 목표로 삼아야 하는지에 대한 근본적인 문제를 제기한다고 주장했다.

모티프테크놀로지스는 "이번 평가의 핵심은 독파모 참여 모델 간의 비교"라며 "AAII에서 모델 간에 47점과 31점이라는 상당한 차이에도 불구하고, 글로벌 주요 벤치마크 결과와 전문가 평가가 상반된 결과가 발생한 이유와 배경에 대해서 기업과 업계가 이해할 수 있도록 보다 구체적으로 설명될 필요가 있다"고 말했다.

사용성에 대해서는 "과기정통부 고위 관계자는 독파모 모델들의 성능은 이미 충분하며 이제는 사용성에 초점을 맞춰야 한다는 취지의 발언을 했다"면서 "그러나 한국 모델들의 성능은 아직 글로벌 프론티어 모델과 상당한 차이가 있다"고 반박했다.

그러면서 "독파모 사업의 당초 목표가 글로벌 프론티어 모델의 95% 이상 성능 확보였다는 점을 고려하면, 현재 한국 모델의 성능을 이미 충분한 수준이라고 평가하기 어렵다"고 주장했다.

모티프테크놀로지는 "실제 AAII 점수 기준으로 글로벌 프론티어 모델은 63점이며 모티프 3는 75% 수준"이라며 "글로벌 프론티어 대비 49% 수준인 31점의 모델을 두고 이미 성능이 충분하다고 판단하는 것이라면, 그 기준에 동의하기 어렵다"고 했다.

이어 "이번 심사 결과와 현재 이뤄지고 있는 3차 평가 방향에 대한 논의가 독파모 사업이 추구해야 할 본래의 목표와 충분히 부합하는지에 대해 이의를 제기한다"고 밝혔다.

모티프테크놀로지스는 ▲평가 결과와 상세 평가 내용 ▲벤치마크 평가의 배점 산정 방식과 그 근거 ▲전문가 평가 상세 기준과 결과 ▲사용자 평가 방법론·상세 기준·결과 등을 공개해달라고 요청했다.

특히 벤치마크 평가가 전체 100점 중 40점으로 AAII 25점, NIA 15점으로 구성됐으며, 전문가 평가 35점과 사용자 평가 25점으로 이뤄졌다고 설명하고, 벤치마크 점수 차이가 최종 평가에서 충분히 반영됐는지도 공개해달라고 요구했다.

또 사용자 평가와 관련해서는 대기업과 스타트업 간 인지도 차이가 평가에 영향을 줄 수 있다며 블라인드 평가를 요청했지만, 실제 평가 방식과 결과가 어떻게 이뤄졌는지 공개할 필요가 있다고 주장했다.

모티프테크놀로지스는 이번 이의 제기가 자사의 선정을 요구하기 위한 것이 아니라 독파모 사업의 평가 기준과 방향을 명확히 하고 평가 과정의 투명성을 확보하기 위한 것이라고 강조했다. 이의 제기 결과와 관계없이 독파모 3차에는 참여하지 않겠다는 입장이다.