AI 성능 결정짓는 건 연산 속도 아닌 '데이터 이동'…인프라 재설계 가속

인공지능(AI) 시대의 성능 경쟁 기준이 연산 능력에서 데이터 관리 능력으로 이동하고 있다. 대규모 언어모델(LLM)과 에이전틱 AI(Agentic AI)가 확산됨에 따라, 방대한 데이터를 얼마나 효율적으로 저장하고 연산 장치로 전달하느냐가 시스템의 비용과 성능을 결정하는 핵심 변수로 떠올랐다.

SK하이닉스가 공개한 'AI 에코시스템' 시리즈에 따르면, 현재 AI 산업의 초점은 모델 개발 단계에서 대규모 서비스를 운영하는 단계로 옮겨가고 있다. 사전 학습보다 사용자의 요청이 반복되는 추론 단계의 비중이 커지면서, 질문이 길어지고 문맥이 복잡해질수록 처리해야 할 데이터 규모는 기하급수적으로 늘어난다. 이에 따라 연산 장치, 메모리, 스토리지, 네트워크를 하나의 시스템으로 공동 설계해 데이터 이동을 최소화하는 '인프라 재설계'가 필수가 됐다.

연산보다 2,000배 더 드는 데이터 이동 비용

기존 컴퓨팅 시스템은 프로세서(연산 장치)를 중심으로 설계되어 있다. 데이터가 스토리지와 메모리를 거쳐 연산 장치로 이동하고 다시 돌아오는 과정을 반복하는 구조다. 그동안은 캐시 계층이나 비순차 실행(Out-of-Order Execution) 같은 기술로 이 지연을 완화해 왔지만, AI 워크로드의 폭증 앞에서는 한계가 명확하다.

현대 시스템에서 데이터 이동은 연산 자체보다 훨씬 큰 비용을 발생시킨다. D램에서 데이터를 한 번 읽어오는 데 드는 에너지는 단순 산술 연산보다 적게는 150배에서 많게는 2,000배까지 클 수 있다. 실제 구글의 신경망 모델을 활용한 연구에서도 대형 머신러닝 모델의 시스템 에너지 중 90% 이상이 연산이 아닌 메모리 접근과 데이터 이동에 소모되는 것으로 나타났다.

특히 LLM은 매 토큰을 생성할 때마다 이전 문맥을 참조해야 하는 KV 캐시(Key-Value Cache) 관리와 어텐션 연산 때문에 메모리 용량과 대역폭 요구량이 급격히 상승한다. 연산 장치가 아무리 빨라도 데이터가 제때 도착하지 못하면 시스템 전체의 효율은 급락하는 구조다.

CXL과 NVLink, 데이터 통로 넓히는 고속 인터커넥트

데이터 이동 병목을 해결하기 위해 '메모리 중심 컴퓨팅(Memory-Centric Computing)'이 대안으로 부상하고 있다. 이는 데이터를 연산 장치로 가져오는 기존 방식에서 벗어나, 데이터의 위치와 이동 비용을 설계 기준으로 삼고 메모리 근처에서 연산을 수행하거나 메모리 배치를 최적화하는 접근법이다.

이 과정에서 장치 간 데이터 통로를 넓히는 고속 인터커넥트 기술이 핵심 역할을 한다. CXL(Compute Express Link)은 CPU, AI 가속기, 메모리 장치 사이의 연결을 확장해 메모리 용량을 유연하게 늘리고 여러 장치가 메모리를 공유할 수 있는 '메모리 풀링' 기반을 제공한다. 반면 NVLink와 NVSwitch는 GPU 클러스터 내부에서 GPU 간 대규모 데이터를 고속으로 주고받으며 병목을 줄이는 데 집중한다. 두 기술은 영역은 다르지만, 데이터 이동을 줄여 시스템 자원을 효율화한다는 목표는 동일하다.

데이터 근처에서 직접 처리하는 '근접 메모리 가속기'

연결 속도를 높이는 것만으로 부족하다면, 아예 데이터가 있는 곳에서 연산을 수행하는 방식이 필요하다. 이를 '상호 연결된 근접 메모리 가속기 구조'라고 한다. 중앙의 GPU나 NPU가 모든 데이터를 끌어오는 대신, 메모리 주변에 배치된 가속기가 데이터를 직접 처리하고 필요한 결과만 중앙 장치와 주고받는 방식이다.

이러한 구조의 효용성은 학계 연구를 통해 입증되고 있다. 과거 테서랙트(Tesseract) 설계 사례에서는 근접 메모리 가속기를 고속 인터커넥트로 연결해 병렬 그래프 처리를 수행했을 때, 기존 프로세서 중심 설계 대비 약 10배의 성능 개선과 유사한 수준의 에너지 절감 효과를 거둔 바 있다.

최근에는 LLM 추론에 최적화된 연구도 이어지고 있다. CXL 기반의 CENT 설계는 메모리 확장 구조와 근접 메모리 처리를 결합해 대규모 추론 인프라의 메모리 용량 및 대역폭 부담을 획기적으로 낮췄다. 결국 미래의 AI 인프라는 특정 부품의 속도 경쟁을 넘어, 데이터와 연산 장치를 얼마나 지능적으로 배치하고 연결하느냐에 따라 성패가 갈릴 전망이다.

출처: [AI Ecosystem] 인프라 재설계: 구조가 성능을 결정한다