SK하이닉스, '메모리 중심 서버'로 AI 병목 현상 정면 돌파한다

인공지능(AI)이 다루는 데이터 양이 폭발적으로 증가하면서, 기존 컴퓨팅 구조의 한계인 '데이터 병목 현상'이 핵심 과제로 떠올랐다. SK하이닉스는 이를 해결하기 위해 서버의 중심을 메모리로 옮기는 '메모리 중심 인프라' 비전을 제시하며 차세대 AI 데이터센터의 해법을 제안했다.

SK하이닉스는 지난 12일부터 15일까지 미국 캘리포니아주 새너제이에서 열린 ‘OCP 글로벌 서밋 2026(OCP Global Summit 2026)’에 참가해 차세대 메모리 솔루션을 대거 공개했다. 이번 전시의 핵심은 단순한 부품 공급을 넘어, CXL(Compute eXpress Link) 기술을 기반으로 서버 시스템 전체의 효율을 높이는 시스템 레벨의 기술력을 입증하는 데 맞춰졌다.

CXL 기반 '풀드 메모리'로 AI 에이전트 성능 극대화

SK하이닉스가 선보인 차세대 서버 생태계의 핵심은 'CXL(Compute eXpress Link) 풀드 메모리'다. CXL은 CPU와 GPU, 메모리를 효율적으로 연결해 대용량·초고속 연산을 지원하는 차세대 인터페이스다. 특히 '풀링(Pooling)' 기능을 통해 여러 서버가 메모리 자원을 필요한 만큼 나눠 쓸 수 있어 자원 활용도를 극대화할 수 있다.

전시된 'CMM-DDR5'는 CXL 3.2 규격을 기반으로 한 2세대 제품(256GB)으로, 이전 세대 대비 대역폭이 2배 이상(80GB/s) 늘어났고 에너지 효율은 약 30% 개선됐다. SK하이닉스는 이를 활용해 에이전틱 AI(Agentic AI) 환경에서 필수적인 'KV 캐시(Key Value Cache)' 공유 솔루션의 유효성을 검증했다. KV 캐시는 AI 모델이 대화 내용을 기억하기 위해 사용하는 임시 메모리로, 사용자와의 대화가 길어질수록 용량이 급증한다. 이번 시연을 통해 CXL 기반 솔루션이 고부하 AI 환경의 병목을 효과적으로 해결할 수 있음을 보여줬다.

메모리를 중심으로 파트너사의 솔루션을 하나의 랙(Rack)에 통합한 'MARS(Memory Centric AI Rack System)'도 눈길을 끌었다. SK하이닉스는 아씨(Arcee), 리퀴드(Liqid), 마벨(Marvell) 등 글로벌 파트너사들과 협력해 다양한 데모를 진행했다. 특히 AMD, 펭귄(Penguin) 등과 함께한 데모에서는 CXL 메모리와 하이브리드 메모리를 활용해 대규모 KV 캐시를 효율적으로 저장하고 빠르게 재사용하는 과정을 입증했다. 또한 퍼스널 AI 에이전트 업체 피클(Pickle)과는 풀드 메모리 기반의 스트리밍 기술을 통해 서비스 응답 지연을 개선하는 성과를 공유했다.

연산 기능 탑재한 메모리 'CMM-Ax'로 전력·비용 부담 낮춘다

데이터센터의 전력 소비와 비용 문제를 해결하기 위한 'CMM-Ax' 솔루션도 공개됐다. CMM-Ax는 메모리 내부에 연산 기능을 결합한 형태로, 데이터를 CPU로 옮기지 않고 메모리 내부에서 직접 연산을 수행한다. 이는 데이터 이동 과정에서 발생하는 전력 소모와 지연 시간을 획기적으로 줄여준다.

SK하이닉스는 CMM-Ax를 활용해 기존 GPU 기반 시스템에서 처리하기 까다로웠던 '긴 문맥(Long Context)' 처리 성능을 가속하는 데모를 선보였다. 문맥이 길어질수록 더 많은 메모리가 필요한 LLM(대규모 언어모델)의 특성을 고려할 때, CMM-Ax는 차세대 AI 추론 시스템의 핵심 기술이 될 전망이다. 관련 연구 성과는 컴퓨터 아키텍처 분야 최고 권위 학회인 ‘MICRO 2026’에 채택되며 기술적 우수성을 인정받았다.

HBM부터 차세대 HBF까지, 완성형 AI 메모리 포트폴리오

전시 공간 한편에는 SK하이닉스의 현재와 미래를 잇는 제품 라인업이 배치됐다. AI 인프라의 주력인 eSSD(기업용 SSD)부터 서버용 D램까지 폭넓은 포트폴리오가 소개됐다. 특히 액체냉각(DLC)을 지원하는 'PEB210' 시리즈와 업계 최대 용량을 구현한 '256GB 3DS RDIMM' 등이 전시되어 고객사의 다양한 요구에 대응할 준비가 됐음을 알렸다.

HBM(고대역폭 메모리) 섹션에서는 엔비디아(NVIDIA)와의 견고한 파트너십을 상징하는 베라 루빈 슈퍼칩 모형과 함께 HBM4, HBM3E 등 세대별 실물 제품이 전시됐다. 특히 주목받은 것은 차세대 낸드 솔루션인 'HBF(High Bandwidth Flash)'다. HBF는 HBM처럼 TSV(수직관통전극) 기술을 적용해 기존 스토리지의 대용량 특성에 고대역폭을 더한 제품이다.

SK하이닉스는 HBM이 빠른 응답 속도가 필요한 환경에 최적화되어 있다면, HBF는 다수의 사용자에게 서비스를 제공해야 하는 대용량 메모리 수요 환경에 강점이 있다는 차별화된 전략을 제시했다. 김호식 부사장은 발표 세션을 통해 "차세대 CXL 기술로 구현한 메모리 중심 AI 랙 시스템은 고부하 워크로드의 데이터 이동 속도를 크게 끌어올릴 수 있는 구조"라며 메모리 중심 인프라로의 전환을 강조했다.

출처: “메모리 중심 서버 시스템이 미래”… SK하이닉스, ‘OCP 글로벌 서밋 2026’서 차세대 AI 인프라 기술 비전 제시