노타, ‘솔라 오픈2’ 경량화…GPU 8장→2장으로 줄였다

가중치 메모리 76.5% 감축

ⓒ노타

AI 최적화 기업 노타가 대규모 언어모델(LLM)의 메모리 사용량을 76.5% 줄여 기업의 AI 인프라 비용 부담을 낮춘다.

노타는 정부 독자 AI 파운데이션 모델 프로젝트의 2차수 성과물인 ‘솔라 오픈2(Solar Open 2)’ 전용 경량화 모델을 공개했다고 27일 밝혔다.

솔라 오픈2는 문서 업무와 코딩, 툴 호출, 다단계 추론 등 실제 기업 업무에 활용할 수 있는 에이전트 AI 구현에 초점을 맞춘 대규모 언어모델이다.

총 2500억개의 매개변수를 갖추고 있으며, 실제 작업 시에는 필요한 150억개만 활성화하는 ‘MoE (Mixture of Experts, 전문가 혼합)’ 구조를 채택했다. 이는 하나의 모델 안에 있는 여러 연산 모듈 중 일부만 선택해 작동시켜 연산 효율을 높이는 방식으로, 토큰 사용량이 많은 에이전트 업무에서도 효율적인 운영이 가능하다.

노타는 솔라 오픈2의 연산 효율을 실제 기업 환경에서의 배포 효율을 극대화하기 위해 ▲데이터 기반 MoE 양자화 ▲라우터 인지형 MoE 양자화 ▲비균일 전역 프루닝 기술을 적용했다. ‘데이터 기반 MoE 양자화’에는 모델 가중치를 INT4 또는 NVFP4 기반의 4비트 저정밀 형식으로 변환하면서도 모든 전문가 모듈이 안정적인 통계치를 확보할 수 있도록 캘리브레이션 데이터를 합성하는 기술인 ‘PASCAL-MoE’를 활용했다.

’라우터 인지형 MoE 양자화’에는 양자화 이후에도 라우터의 전문가 선택이 안정적으로 유지되도록 설계한 자체 양자화 알고리즘을 적용했다. 또한 양자화 중심의 기존 최적화 방식에서 한 발 더 나아가, 중요도가 낮은 전문가 모듈을 선택적으로 제거하는 ‘비균일 전역 프루닝 기술’을 도입했다.

노타는 모델 가중치를 4비트 형식으로 변환하고 중요도가 낮은 연산 모듈을 선별적으로 정리해 원본 모델의 가중치 메모리를 500.6GB에서 117.8GB로 약 76.5% 감축하는 데 성공했다. 메모리 용량 기준으로 NVIDIA H100 GPU 8장이 필요했던 원본 모델을 2장 환경에서도 구동할 수 있도록 최적화했으며, 특히 양자화 이후에도 솔라 오픈2의 에이전트 AI 핵심 기능인 툴 호출이 안정적으로 유지됐다.

이는 단순히 모델 용량을 줄이는 데 그치지 않고 실제 기업 업무에 활용할 수 있는 수준의 최적화를 구현한 것으로, 기업의 AI 도입 실용성을 높이고 AX(AI Transformation, 인공지능 전환) 과정의 인프라 비용 효율화를 가능했다는 평가다.

김태호 노타 CTO는 “이번 성과는 대규모 MoE 모델을 기업이 실제 도입할 수 있는 형태로 최적화했다는 데 의미가 있다”며 “기업이 자사의 인프라와 예산에 맞춰 에이전트 AI를 도입하고 활용 범위를 확장할 수 있도록 모델 구조와 하드웨어 환경에 최적화된 양자화 및 경량화 기술을 지속해서 고도화하겠다”고 말했다.

한편 노타가 참여한 업스테이지 컨소시엄은 정부의 ‘독자 AI 파운데이션 모델’ 프로젝트 2차 단계평가를 앞두고 있다. 8월 평가를 통해 다음 단계 진출팀이 가려질 예정이다.