AI 인프라 설계 단위 '서버'에서 '랙'으로... "공동 설계가 핵심"

AI 기술 경쟁의 중심축이 개별 가속기나 모델의 성능을 넘어, 이를 뒷받침하는 인프라 전체의 설계와 운영으로 확장되고 있다. 단순히 빠른 연산 장치를 확보하는 것을 넘어 메모리 대역폭, 네트워크, 스토리지, 그리고 이를 유지하기 위한 전력과 냉각 시스템이 하나의 유기적인 구조로 맞물려야 실제 산업 현장에서 AI가 작동할 수 있기 때문이다.

SK하이닉스가 발표한 'AI 인프라 인사이트'에 따르면, 차세대 AI 인프라 설계의 핵심은 개별 서버 단위를 넘어 랙(Rack)이나 데이터센터 전체를 하나의 단위로 보고 모든 요소를 최적화하는 '공동 설계(Co-design)'에 있다. 이는 서로 다른 기술이나 시스템의 요구 조건을 개발 초기 단계부터 고려해 전체 시스템 관점에서 최적화하는 방식이다.

서버 넘어 랙 단위로 커지는 설계 범위

AI 인프라의 설계 단위는 기존의 개별 서버에서 '랙 스케일 시스템(Rack-scale System)'으로 빠르게 이동하고 있다. 대규모 AI 학습과 추론은 단일 가속기나 서버만으로는 처리가 불가능하며, 수많은 가속기가 긴밀하게 연결되어 작업을 분담해야 하기 때문이다. 이에 따라 랙 내부의 여러 서버와 가속기를 고속 인터커넥트로 연결하고, 메모리 구성부터 전력 및 냉각 조건까지 랙 단위에서 통합 설계하는 방식이 도입되고 있다.

설계의 범위는 여기서 멈추지 않고 데이터센터 전체로 넓어진다. AI 클러스터의 규모가 커질수록 랙 간의 통신 효율과 물리적 배치가 시스템 성능에 결정적인 영향을 미치기 때문이다. 랙의 배치와 연결 거리, 네트워크 구조는 데이터 전송 지연을 결정하며, 고밀도 랙에서 발생하는 막대한 열을 처리하기 위한 냉각 설비와 안정적인 전력 분배 구조 역시 데이터센터의 물리적 구조와 함께 설계되어야 한다.

워크로드 특성에 따른 맞춤형 인프라 구축

인프라 설계의 또 다른 기준은 처리하고자 하는 '워크로드(Workload)'의 성격이다. 모든 AI 작업에 동일한 구조를 적용할 수 없기 때문이다. 대규모 모델 학습의 경우 수많은 가속기가 장시간 병렬 연산을 수행해야 하므로 높은 처리량과 메모리 대역폭, 가속기 간의 빠른 연결성이 최우선이다. 반면, 추론 단계에서는 낮은 지연시간과 데이터 접근 속도, 전력 및 비용 효율성이 주요 설계 조건이 된다.

특히 사용자의 목표를 바탕으로 스스로 계획을 세워 작업을 수행하는 '에이전틱 AI(Agentic AI)'와 같은 기술이 등장하면서 인프라의 요구 조건은 더욱 복잡해지고 있다. 에이전틱 AI는 연속적인 추론 과정에서 외부 도구와 데이터에 반복적으로 접근해야 하므로, 메모리와 스토리지, 네트워크를 오가는 데이터 흐름을 얼마나 원활하게 처리하느냐가 실제 성능을 가르는 변수가 된다.

메모리 기업의 역할 변화, '커스텀 HBM'으로 진화

인프라 구성 요소들이 긴밀하게 맞물리면서 메모리 기업의 역할도 변화하고 있다. 과거에는 완성된 부품을 사후에 조합하는 방식이었다면, 이제는 가속기의 성능과 전력 특성에 맞춰 메모리 사양을 초기 단계부터 함께 결정하는 방식이 확산되고 있다. 대표적인 사례가 고대역폭메모리(HBM)다. 차세대 HBM은 적층된 D램 칩 아래의 베이스 다이(Base Die)를 중심으로 고객 시스템의 요구를 반영하는 '커스텀 HBM' 논의가 본격화되는 추세다.

이러한 흐름에 따라 메모리 기업은 고객사의 시스템 로드맵을 조기에 파악하고, 설계 단계부터 참여해 필요한 메모리 조건을 함께 정의하는 협업을 확대하고 있다. SK하이닉스 역시 고객의 차세대 AI 시스템 개발 과정에 초기 단계부터 참여하며 협력을 강화하고 있다. 고객의 시스템 방향성을 선제적으로 이해하고 설계에 깊이 관여하는 역량이 향후 AI 인프라 시장의 차별화 포인트가 될 전망이다.

출처: [AI Infrastructure Insight] AI 인프라는 앞으로 어떻게 설계될 것인가?