"메모리 1만 배 필요할 수도"…엑시나 김진영 대표가 진단한 AI 시대 메모리 병목

인공지능(AI) 시대가 본격화되면서 데이터 처리량과 모델의 크기가 기하급수적으로 커짐에 따라 메모리 수요가 폭증하고 있다. 특히 AI가 생성하는 데이터가 늘어나고 대화의 맥락을 유지하기 위한 메모리 요구량이 커지면서, 기존 방식으로는 메모리 병목 현상을 해결하기 어렵다는 경고가 나온다.

유튜브 채널 '언더스탠딩 : 세상의 모든 지식'에 공개된 영상에 따르면, 반도체 스타트업 엑시나(Exynos)의 김진영 대표는 AI 인프라의 중심에 메모리가 있다고 진단했다. 김 대표는 "AI는 인류가 쌓아온 데이터에서 가치를 찾아내는 툴"이라며, "더 많은 데이터를 쌓아두고 연산해야 돈을 벌 수 있기 때문에 이를 뒷받침할 엄청난 인프라 투자가 필요하며, 그 핵심은 메모리"라고 설명했다.

모델·사용자·컨텍스트 급증…"메모리 수요 1만 배 증가 가능성"

김 대표는 AI 시대에 메모리 수요가 폭발하는 이유로 네 가지 핵심 요소를 꼽았다. ▲AI 모델 사이즈의 확대 ▲사용자 수의 증가 ▲입력 데이터(컨텍스트) 길이의 기하급수적 증가 ▲여러 모델이 협업하는 '에이전틱 AI(Agentic AI)' 시대의 도래다. 이 요소들은 각각 독립적으로 증가하는 것이 아니라 서로 곱해지는 방식으로 작용하기 때문에 메모리 요구량은 산술급수적이 아닌 기하급수적으로 늘어난다.

특히 김 대표는 "하나의 답을 얻기 위한 중간 단계의 결과물들이 메모리에 계속 쌓여야 하는 구조로 AI가 설계되어 있다"며, "과거에는 사람이 입력한 것만 기억하면 됐지만, 이제는 AI가 내놓은 대답과 그 맥락까지 모두 기억해야 하므로 메모리가 훨씬 더 많이 필요하다"고 말했다. 그는 과거 전문가의 견해를 인용하며 "메모리가 1,000배 정도 더 필요할 수도 있다는 말도 있지만, 현재의 발전 속도를 고려하면 1,000배도 보수적인 수치일 수 있다"고 전망했다.

이러한 수요 폭증은 'KV 캐시(Key-Value Cache)' 기술의 중요성으로 이어진다. KV 캐시는 GPU가 매번 동일한 연산을 반복하지 않도록 이전 연산 결과를 메모리에 저장해 두었다가 재사용하는 기술이다. 김 대표는 "GPU 연산은 매우 비싸고 시간이 오래 걸리기 때문에, 한 번 계산한 것을 메모리에 저장해 참조하는 방식이 효율적"이라며 "대화가 길어질수록 더 많은 KV 캐시가 필요하며, 이는 곧 메모리 용량의 압박으로 직결된다"고 설명했다. 실제로 사용자와의 대화가 길어질수록 이전 내용을 기억하기 위한 KV 캐시 참조량이 늘어나며, 이는 인프라 효율성을 결정짓는 핵심 요소가 된다.

CXL 기반 '메모리 풀링'으로 클라우드 효율성 두 배 높인다

현재 AI 인프라의 핵심 솔루션인 HBM(고대역폭 메모리)은 GPU와 메모리를 물리적으로 가깝게 배치해 데이터 전송 속도(대역폭)를 극대화한 기술이다. 하지만 HBM은 GPU 칩과 같은 패키지 안에 들어가야 하므로 용량을 무한정 늘리는 데 한계가 있다. 이에 대한 대안으로 주목받는 기술이 바로 CXL(Compute Express Link)이다.

CXL은 CPU, GPU 등 다양한 장치들을 하나로 연결해 주는 차세대 연결 표준이다. 엑시나가 주력하는 기술은 CXL을 활용해 여러 서버가 메모리를 하나의 공용 공간처럼 나눠 쓰는 '메모리 풀링(Memory Pooling)' 기술이다. 영상에 따르면, 기존 클라우드 환경의 메모리 활용률은 평균 35% 수준에 머물러 있다. 엑시나의 기술을 적용하면 이 활용률을 최대 두 배 가까이 끌어올릴 수 있다.

김 대표는 "데이터를 복사해 옮기지 않고도 필요한 서버가 공유된 메모리에 직접 접근하게 함으로써, 동일한 성능을 절반의 설비투자(CAPEX)로 확보할 수 있다"고 설명했다. CXL 3.0을 지원하는 CPU와 제품들이 올해 말 또는 내년 초부터 시장에 출시될 예정인 만큼, 본격적인 시장 개화 단계에 진입할 것으로 보인다.

데이터 이동 최소화하는 지능형 메모리 칩 'MX1' 전략

엑시나는 메모리 용량 확장뿐만 아니라 데이터 이동량 자체를 줄이는 전략도 병행하고 있다. 그 핵심은 메모리 근처에서 필요한 데이터만 걸러내고 간단한 연산까지 수행하는 지능형 메모리 칩 'MX1'이다.

기존 방식은 대량의 데이터를 일일이 연산장치(GPU 등)로 실어 날라야 했지만, MX1을 활용하면 메모리 단에서 데이터를 1차적으로 처리할 수 있다. 이를 통해 전체 인프라의 데이터 병목 현상을 완화하고 효율성을 높인다는 구상이다. 김 대표는 현재 데이터 센터가 직면한 가장 큰 병목을 즉각적으로 해결할 수 있는 기술에 집중하고 있다고 밝혔다.