AI 성능 결정짓는 건 연산 속도 아닌 '데이터 이동'... 메모리 중심 인프라로 패러다임 전환

인공지능(AI) 시대의 성능 경쟁 기준이 단순한 연산 속도에서 '데이터 이동의 효율성'으로 이동하고 있다. 방대한 데이터를 얼마나 적게, 그리고 효율적으로 옮기느냐가 AI 시스템의 전체 성능과 비용을 결정하는 핵심 요소로 부상했기 때문이다.

연산보다 데이터 이동에 드는 비용이 더 큰 '병목 현상'

현재의 컴퓨팅 시스템은 프로세서가 중심이 되어 데이터를 가져와 처리하는 구조다. 데이터가 스토리지와 메모리, 캐시를 거쳐 연산 장치로 이동하고 다시 돌아오는 과정을 반복한다. 하지만 AI 워크로드가 고도화되면서 이러한 프로세서 중심 구조는 한계에 직면하고 있다. 데이터 규모와 접근 빈도가 급증하면서 데이터 이동 과정에서 발생하는 지연 시간과 전력 소모, 하드웨어 비용이 시스템 효율을 저해하는 결정적 요인이 되었기 때문이다.

실제로 현대 컴퓨팅 환경에서는 연산 자체보다 메모리 접근과 데이터 이동에 훨씬 더 큰 비용이 발생한다. D램에서 데이터를 한 번 읽어오는 데 드는 에너지는 단순 산술 연산보다 최소 150배에서 최대 2,000배까지 클 수 있다. 특히 대규모 언어모델(LLM)의 경우, 매 토큰을 생성할 때마다 이전 문맥을 참조해야 하는 특성상 메모리 용량과 대역폭에 대한 요구가 급격히 높아지며 메모리 병목 현상이 더욱 심화된다. 이에 따라 AI 인프라 경쟁의 초점은 더 빠른 연산 장치를 확보하는 것을 넘어, 연산 장치와 메모리, 스토리지, 네트워크를 하나의 시스템으로 공동 설계해 데이터 이동을 최소화하는 방향으로 나아가고 있다.

CXL과 NVLink, 메모리 확장과 고속 통신을 잇는 가교

데이터 이동 병목을 해결하기 위해 등장한 핵심 기술은 고속 인터커넥트(Interconnect)다. 이는 장치 사이의 통로를 넓히고, 워크로드에 맞춰 메모리와 연산 장치를 유연하게 연결하는 역할을 한다. 대표적인 기술로는 CXL(Compute Express Link)과 NVLink/NVSwitch가 꼽힌다.

CXL은 프로세서, 가속기, 메모리 장치 사이의 연결을 확장해 메모리 용량을 유연하게 늘리고 여러 장치가 메모리를 공유할 수 있는 '메모리 풀링' 기반을 제공한다. 반면 NVLink와 NVSwitch는 GPU 클러스터 내부의 고대역폭 연결을 담당하며, 대규모 AI 모델이 여러 GPU 사이를 오갈 때 발생하는 데이터 병목을 줄이는 데 집중한다. 이 두 기술은 적용 영역은 다르지만, 데이터 이동 과정을 개선해 시스템 자원을 효율적으로 활용하도록 한다는 공통된 목적을 지닌다. 이러한 기술적 토대가 마련되면 메모리와 가속기는 특정 장치에 종속된 부품이 아니라, 워크로드에 따라 자유롭게 조합 가능한 시스템 자원으로 기능하게 된다.

메모리 근처에서 직접 처리하는 '근접 메모리 가속기'의 부상

연결 속도를 높이는 것만으로 부족한 한계를 극복하기 위해, 데이터를 연산 장치로 가져오는 대신 메모리 근처에서 직접 처리하는 '근접 메모리 가속' 방식이 주목받고 있다. 이는 중앙 연산 장치(GPU/NPU/TPU)가 모든 데이터를 처리하는 대신, 메모리 주변의 가속기가 맡은 작업을 나누어 수행하고 필요한 결과만 주고받는 '상호 연결된 근접 메모리 가속기 구조'를 지향한다.

이러한 방식은 HBM(고대역폭 메모리)과 같은 3D 적층 메모리 환경에서 데이터 왕복을 줄여 지연 시간과 전력 소모를 낮추는 데 효과적이다. 관련 연구 사례인 '테서랙트(Tesseract)' 설계에 따르면, 여러 근접 메모리 가속기를 고속 인터커넥트로 연결해 병렬 그래프 처리에 적용했을 때 기존 프로세서 중심 설계 대비 약 10배 수준의 성능 개선과 유사한 수준의 에너지 절감 효과를 거둔 것으로 나타났다. 최근에는 LLM 추론을 겨냥해 메모리 확장 구조와 근접 메모리 처리를 결합한 CENT 설계 연구 등, 데이터 이동을 혁신적으로 줄이기 위한 다양한 시도가 이어지고 있다.