KAIST·메타, AI 데이터센터 효율 높이는 새 구조 제시

CXL로 CPU·가속기·메모리 연결

최대 960개 가속기…데이터 지연 단축

카이스트(KAIST)는 전기및전자공학부 정명수 교수와 교원창업기업 파네시아, 메타 연구진의 리뷰 논문이 국제학술지 ‘네이처 리뷰 일렉트리컬 엔지니어링’에 게재됐다고 9일 밝혔다. ⓒ카이스트

카이스트(KAIST) 연구진이 메타(Meta)와 함께 인공지능(AI) 데이터센터의 연산 효율을 높일 수 있는 차세대 구조를 제시했다.

KAIST는 전기및전자공학부 정명수 교수와 교원창업기업 파네시아, 메타 연구진의 리뷰 논문이 국제학술지 ‘네이처 리뷰 일렉트리컬 엔지니어링’에 게재됐다고 9일 밝혔다.

연구진은 컴퓨트 익스프레스 링크(CXL)를 활용해 중앙처리장치(CPU)와 AI 가속기, 메모리를 연결하고 이를 데이터센터 전체로 확장하는 구조를 제안했다. CXL은 CPU·가속기·메모리 간 고속 연결과 자원 공유를 지원하는 국제표준 기술이다.

기존 데이터센터가 여러 서버를 네트워크로 연결해 연산한다면 이번 구조는 서버 간 경계를 낮춰 CPU와 가속기, 메모리를 하나의 컴퓨팅 자원처럼 활용하는 방식이다.

하나의 연결 영역에는 최대 960개의 AI 가속기를 묶을 수 있다. 연구진에 따르면 엔비디아 NVLink 기반 랙보다 약 13배 큰 규모다. 데이터 이동 시간도 기존 네트워크 기반 구조의 마이크로초(μs) 수준에서 수백 나노초(ns) 수준으로 줄일 수 있다.

생성형 AI와 초거대 AI는 수백~수천개의 가속기를 동시에 사용한다. 개별 반도체 성능뿐 아니라 가속기와 메모리 사이의 데이터 전달 속도가 전체 연산 효율에 영향을 미치는 이유다.

CXL 기반 구조에서는 CPU·가속기·메모리를 각각의 자원처럼 활용할 수 있다. 고장 난 부품만 교체하거나 남는 연산·메모리 자원을 필요한 곳에 배분하는 것도 가능하다.

이번 연구는 AI 데이터센터의 기본 단위를 개별 서버에서 데이터센터 전체로 확장하는 설계 방향을 제시했다. KAIST에서 축적한 CXL 연구가 교원 창업을 거쳐 메타와의 공동 연구로 확장된 성과다. 논문은 지난 8월 10일 네이처 리뷰 일렉트리컬 엔지니어링에 게재됐다.

정명수 KAIST 전기및전자공학부 교수 겸 파네시아 대표는 “AI가 거대해질수록 개별 가속기의 성능만큼 수많은 가속기와 메모리를 얼마나 빠르고 효율적으로 연결하느냐가 중요하다”며 “차세대 AI 인프라의 방향을 제시했다는 데 의미가 있다”고 말했다.