AI 인프라 설계 단위, 개별 서버 넘어 '랙'과 '데이터센터' 전체로 확장된다

AI 기술의 발전이 가속화되면서 AI 인프라를 바라보는 관점이 근본적으로 변하고 있다. 과거에는 개별 AI 가속기나 서버의 성능에 집중했다면, 이제는 컴퓨트(연산), 메모리, 스토리지, 네트워크, 전력, 냉각이 하나의 유기체처럼 맞물려 돌아가는 전체 시스템 설계가 핵심 과제로 떠올랐다.

SK하이닉스가 발표한 'AI 인프라 인사이트'에 따르면, AI 인프라의 설계 단위는 개별 서버를 넘어 랙(Rack) 단위로, 더 나아가 데이터센터 전체로 확장되는 추세다. 대규모 AI 학습과 추론을 수행하기 위해서는 단일 가속기만으로는 한계가 있으며, 수많은 가속기를 긴밀하게 연결해 작업을 분산 처리해야 하기 때문이다. 이에 따라 랙 안의 자원을 하나의 구조로 묶어 관리하는 '랙 스케일 시스템(Rack-scale System)'이 대표적인 설계 모델로 부상하고 있다.

서버에서 랙으로, 설계 범위 넓어지는 AI 인프라

랙 스케일 시스템은 CPU, GPU, 메모리, 네트워크는 물론 전력과 냉각 조건까지 랙 단위에서 통합해 설계하는 방식이다. 랙은 단순히 서버를 수용하는 공간을 넘어, 데이터 이동과 전력 공급, 열 관리까지 통합적으로 다루는 시스템 단위로 진화하고 있다.

설계의 범위가 넓어짐에 따라 고려해야 할 변수도 복잡해졌다. AI 클러스터의 규모가 커질수록 랙 간의 통신 효율이 전체 성능을 결정짓는 중요한 요소가 된다. 랙의 물리적 배치와 연결 거리, 네트워크 구조에 따라 데이터 전송 지연이 발생할 수 있으며, 고밀도 랙에서 발생하는 막대한 열을 처리하기 위해 냉각 설비와 데이터센터의 물리적 구조를 설계 단계부터 함께 맞춰야 한다. 안정적인 전력 공급을 위한 분배 구조 역시 필수적인 설계 요소다.

특히 어떤 작업을 수행하느냐에 따라 인프라의 모습은 완전히 달라진다. 대규모 모델 학습은 높은 처리량과 메모리 대역폭, 가속기 간의 빠른 연결이 핵심인 반면, 추론 단계에서는 낮은 지연시간과 전력 및 비용 효율성이 우선된다. 최근 주목받는 '에이전틱 AI(Agentic AI)'처럼 사용자의 목표를 달성하기 위해 연속적으로 추론하고 외부 도구에 반복 접근하는 워크로드가 늘어날수록, 메모리와 스토리지, 네트워크를 오가는 데이터 흐름을 관리하는 능력이 성능의 변수가 된다.

'사후 조합'에서 '공동 설계'로 전환되는 패러다임

인프라를 구성하는 기술들이 서로 긴밀하게 연결되면서, 기존의 '사후 연결' 방식은 한계에 직면했다. 개별 구성 요소를 각각 설계한 뒤 마지막 단계에서 통합하는 방식으로는 고밀도 AI 시스템의 요구를 충족하기 어렵기 때문이다. 이에 따라 컴퓨팅 플랫폼과 데이터센터 인프라의 조건을 개발 초기 단계부터 함께 고려하는 '공동 설계(Co-design)' 방식이 확산되고 있다.

공동 설계의 범위는 이제 전력과 냉각 같은 물리적 인프라 영역까지 포함한다. 고밀도 AI 시스템에서는 액체 냉각이나 열 관리 방식이 컴퓨팅 시스템의 요구 조건과 직결되기 때문이다. 이러한 흐름은 산업 전반의 표준화 논의로도 이어지고 있다. 글로벌 협력 커뮤니티인 OCP(Open Compute Project)를 중심으로 차세대 데이터센터의 전력 구조와 인터페이스를 표준화하려는 움직임이 나타나는 이유다.

표준화가 상호 호환성을 위한 기반을 마련한다면, 각 기업은 그 표준 위에서 고객 맞춤형 최적화를 진행한다. 메모리 분야에서는 JEDEC(국제 표준화 기구)이 정한 기본 규격을 바탕으로 하되, 특정 시스템의 요구에 맞춘 고도의 최적화 작업이 병행된다.

HBM 등 메모리 기업의 역할, '고객사 로드맵 조기 참여'로 확대

설계 방식의 변화는 메모리 기업의 역할과 협업 모델을 근본적으로 바꾸고 있다. 가속기가 처리하는 데이터의 규모와 속도가 커짐에 따라 메모리에 요구되는 대역폭, 용량, 발열 조건이 시스템마다 상이해졌기 때문이다. 이에 따라 메모리 사양을 플랫폼 구상 단계부터 함께 결정하는 방식이 늘고 있다.

대표적인 사례가 HBM(고대역폭 메모리)이다. 차세대 HBM은 적층된 D램 칩 아래에서 데이터 입출력을 담당하는 '베이스 다이(Base Die)'를 중심으로, 고객 시스템의 요구를 직접 반영하는 '커스텀 HBM' 논의가 본격화되고 있다. 이는 메모리가 단순히 범용 제품을 공급하는 단계를 넘어, 고객의 시스템 설계에 깊숙이 관여하는 파트너로 진화하고 있음을 의미한다.

SK하이닉스는 이러한 변화에 맞춰 고객사의 차세대 AI 시스템 개발 과정에 초기 단계부터 참여하는 전략을 취하고 있다. 고객의 시스템 로드맵을 선제적으로 파악하고, 이에 맞춰 필요한 메모리 조건을 함께 정의하는 방식이다. 결국 미래 AI 인프라 경쟁은 개별 부품의 성능을 넘어, 전체 시스템 구조를 얼마나 정교하게 조율하고 고객의 설계 방향에 빠르게 대응하느냐에서 판가름 날 전망이다.

출처: [AI Infrastructure Insight] AI 인프라는 앞으로 어떻게 설계될 것인가?