[르포] GPU 7656장 돌아가는 'NHN AI 데이터센터'…발열 잡는 비결은 '水'

7656장 B200 GPU·4080장 단일 클러스터 구축

수랭식 냉각으로 발열 잡고 AI 연산 성능 극대화

"GPU보다 중요한 건 운영 기술…정부 장기 수요 필요"

NHN클라우드 FactoryX 서울 관제실ⓒNHN클라우드

지난 4월 가동을 시작한 서울 양평동 소재 NHN클라우드 'FactoryX 서울'. 이곳에서는 엔비디아 B200 GPU(그래픽처리장치) 7656장이 AI 모델을 학습하고 추론하기 위해 쉼 없이 돌아가고 있다.

대지면적 4251.70m², 연면적 2만6445.38m² 규모로 지하 4층부터 지상 10층으로 구성됐다. AI 서버의 무게를 견디기 위해 바닥은 1m²당 최대 2t의 하중을 견딜 수 있도록 특수 설계됐다. 이곳에서는 생성형 AI 모델 학습과 추론, 기업 및 공공 분야 AI 서비스 운영에 필요한 고성능 연산 자원을 학교와 산업체, 연구기관 등에 제공한다.

6일 방문한 이곳 건물 입구에 들어서자 엄격한 신분 확인과 보안 절차가 이뤄졌다. 건물 내부 역시 출입 구역마다 엄격히 관리되고 있어 최신 AIDC가 요구하는 높은 수준의 보안을 실감할 수 있었다.

'FactoryX 서울'은 7656장의 B200 GPU뿐 아니라 수랭식(DLC) 냉각 시스템을 중심으로 한 고밀도 AI 인프라를 최대 강점으로 내세운다. AI 모델 학습과 추론에 활용되는 최신 GPU는 기존 서버 대비 높은 연산 성능과 함께 많은 열을 발생시키기 때문에, GPU 핵심 부품에서 발생하는 열을 직접 제거하는 냉각 방식이 필수다. 수랭식은 공랭식보다 효율적인 열 제거가 가능해 고밀도 서버 구성이 가능하다는 이점이 있다.

이일준 NHN클라우드 기술사업부장(이사)은 "GPU 온도가 70도를 넘어서면 기기 보호를 위해 스스로 연산량을 줄여 발열을 떨어뜨리는 스로틀링(Throttling) 현상이 발생한다. 연산량이 줄어들면 전기 사용량도 줄어들지만, 그만큼 퍼포먼스(성능)가 떨어진다는 것을 의미한다"면서 "스스로가 내는 열을 감당하지 못해 성능 제어가 걸리지 않도록 만드는 냉각 체계가 필수적"이라고 강조했다.

NHN클라우드 FactoryX 서울 내부 전경ⓒNHN클라우드

이 이사는 AI 데이터센터 경쟁력은 GPU 규모 외에 수천 장의 GPU를 하나의 클러스터로 안정적으로 묶어 운영하는 기술력이 좌우한다고 말했다.

커다란 3개의 대형 모니터가 벽면을 가득 채운 2층 관제실에 들어섰다. 이곳에서는 데이터센터 주요 설비와 IT 인프라 상태를 24시간 모니터링하며 운영 상황을 통합 관리한다. 주간 3명, 야간 3명의 전문 인력이 교대로 상주하며 센터 내 핵심 인프라와 데이터센터(DC) 설비를 실시간으로 살핀다.

왼쪽 벽면에는 과학기술정보통신부와 정보통신산업진흥원(NIPA)이 주관하는 국가 차원의 핵심 인프라 사업인 'AI 컴퓨팅 자원 활용기반 강화사업' 안내판이 걸려 있다. 해당 사업을 통해 NHN클라우드는 이곳에 4080장의 GPU를 하나의 클러스터로 연결한 초대형 AI 연산 환경을 구축해 운영하고 있다.

삼엄한 보안을 거쳐 6층 데이터홀로 들어서니 8m에 달하는 층고가 눈에 띄었다. 층고가 높을수록 냉각 효율이 높아진다. 서버를 식힌 뒤 뜨거워진 공기가 상부로 올라가 다시 냉각되는 공기 순환 공간을 충분히 확보할 수 있어서다.

데이터홀 내부에는 A열부터 I열까지 GPU 서버 랙이 배치돼 있었다. 기계가 윙윙거리며 쉼 없이 돌아가는 소리가 들렸지만 목소리를 조금 높이면 대화가 가능한 수준이었다. 일반 공랭식 데이터센터의 경우 장비 소음 때문에 옆 사람과의 대화 자체가 불가능하다면, 이곳은 GPU와 CPU 대부분을 수랭으로 냉각해 소음이 크게 줄었다는 설명이다.

NHN클라우드가 구축한 수랭식 DLC(Direct Liquid Cooling)은 냉각수가 서버 내부의 발열 부품인 GPU와 CPU에 직접 접촉하는 콜드 플레이트(Cold Plate)를 통해 열을 흡수하고 제거하는 방식이다.

AI 서버 랙 후면에 설치된 수랭식(DLC) 냉각 시스템. 냉각수가 호스를 통해 GPU의 콜드플레이트를 순환하며 발생한 열을 흡수한 뒤 CDU(Coolant Distribution Unit)로 이동해 냉각되고 다시 서버로 공급된다. 냉각수 보충 탱크와 냉각수 공급·회수 라인이 연결돼 있으며, 메모리와 네트워크 장비 등은 공랭 방식으로 냉각한다.ⓒNHN클라우드

냉각수는 GPU와 CPU에 직접 접촉하는 콜드플레이트를 순환하며 열을 흡수한 뒤 냉각분배장치(CDU)에서 식혀 다시 서버로 공급된다. 센터 전체 발열의 70~80%를 차지하는 CPU와 GPU 핵심 열원은 수랭 방식으로 처리하고 메모리와 네트워크 장비 등 나머지 장비는 공랭 방식을 병행한다. 이를 통해 기존 공랭 방식의 랙당 14.3kW(킬로와트) 전력 소모를 12.3kW 수준으로 절감할 수 있다.

실제 데이터홀에는 랙 한켠에 빈 공간이 있다. 서버가 부족해서가 아니라 랙당 75kW에 이르는 초고밀도 전력 설계 때문에 일정 간격을 두고 서버를 배치했기 때문이다. 전력과 냉각 능력이 데이터센터 면적을 좌우한 사례다.

특히 갈수록 전력 소모가 큰 고용량 GPU가 설계·운용되기 때문에 발열 이슈는 더욱 커질 전망이다.

이 이사는 "엔비디아가 개발중인 GPU는 연산량이 늘어나면서 전력 사용이 증가해 발열이 올라간다"면서 "장기적으로 600kW를 사용하게 된다면 공랭 방식은 더 이상 적용되지 않는다"고 말했다. 결국 수랭식 기반의 냉각 환경이 AIDC 승부처가 될 것이라는 설명이다.

센터 총 수전 용량은 40메가와트(MW) 규모다. 데이터센터는 일반 건물과 달리 서버, 냉각 설비, 비상 발전기 등 엄청난 양의 전력을 소비하므로, 한전과 계약을 맺고 건물이 버틸 수 있는 최대 전력 용량(수전 용량)을 사전에 확보해 전력선과 변전 설비를 구축해야 한다.

3~ 5층은 정부 AI 컴퓨팅 자원을 운영하는 공간으로 활용되고 있다. 3층과 4층은 4080장의 GPU가 하나의 통합 클러스터 환경으로 연결해 운영되는데, 이를 통해 대규모 GPU 자원을 하나의 연산 환경처럼 활용할 수 있도록 구성했다.

상부 수랭 배관. AI 서버 랙 상부에 수랭식 냉각수 공급·회수 배관과 전력 공급 설비가 설치돼 있다. 냉각수와 전력을 공급해 고밀도 GPU 서버의 안정적인 운영을 지원한다.ⓒNHN클라우드

이에 따라 독자 파운데이션 모델(독파모) 사업에 참여하는 LG AI연구원, SK텔레콤, 업스테이지, 모티프(Motif) 등 4개사도 이 GPU 인프라를 활용할 예정이라고 한다.

6층은 NHN클라우드가 자체 AI 클라우드 서비스와 GPU 인프라 운영을 위해 활용하는 공간으로, 기업 고객 대상 AI 서비스와 GPU 기반 클라우드 인프라 운영을 지원하고 있다. 3층부터 6층까지 자원을 채우는 데에만 약 1조원 규모의 투자가 이뤄졌다는 것이 NHN클라우드의 설명이다.

갈수록 높아지는 AI·AIDC 인프라 수요에 대응하려면 인프라 구축 규제 완화와 관련해 인허가 기간 단축이 필요하다는 주장이 제기된다.

이 이사는 "거액을 투입해 GPU 서버를 채웠음에도, 갑작스럽게 수요가 감소해 자원을 판매하지 못한다면 기업은 망할 수 있다"고 말했다.

그러면서 그는 "기업의 적극적인 AI 인프라 투자를 유도하려면 정부가 일정 물량의 자원을 미리 임차하거나 활용하겠다는 계획을 제시할 필요가 있다"고 건의했다.

무엇보다 초고가 자산인 GPU는 유휴 상태로 방치될 경우 그만큼 손실이 발생하는 구조인만큼 장기계약을 추진하고 있다고 NHN클라우드는 밝혔다. 이 이사는 "단가를 다소 낮추더라도 특정 기업에 길게는 5년 단위의 장기 이용을 유도하는 것이 상호 유리할 수 있다"고 설명했다.

GPU 서버 후면부. Hot aisle로 격리되어있으며, 이때 발생하는 열은 천장에서 다시 항온항습기를 통해 냉각되어 GPU를 제외한 장비들의 냉각에 재활용된다.ⓒNHN클라우드