"GPU만으론 부족하다"…칩 골라 쓰는 '이기종 컴퓨팅' 시대의 명암
AI 연산이 학습에서 추론으로 무게중심이 이동하며 작업별로 칩을 섞어 쓰는 '이기종 컴퓨팅' 시대가 열렸다. 구글과 엔비디아가 주도하는 이 시장에서 한국 NPU 기업들은 각기 다른 생존 전략을 펼치고 있다.
인공지능(AI) 연산의 중심이었던 엔비디아 GPU(그래픽처리장치)의 독주 체제에 균열이 생기고 있다. AI가 수행하는 작업이 세분화되면서, 모든 연산을 GPU 하나로 처리하던 시대에서 작업 성격에 맞는 칩을 골라 쓰는 '이기종 컴퓨팅(Heterogeneous Computing)' 시대로 전환되는 양상이다.
티타임즈TV가 전한 이 분석에 따르면, 최근 마이크로소프트(MS)가 오라클의 엔비디아 GPU 사양이 자사 요구에 맞지 않는다는 이유로 서버 임대 계약을 단계적으로 종료하기로 한 점은 시장의 변화를 상징적으로 보여준다. 이제 고객들은 단순히 '엔비디아 칩'을 구매하는 것이 아니라, 특정 작업에 최적화된 사양을 따지기 시작했다.
AI 연산의 분화, '트럭' 대신 '오토바이' 투입한다
이러한 변화의 핵심은 AI 작업의 분화에 있다. AI의 역할은 모델을 만드는 '학습'과 만들어진 모델이 답을 내놓는 '추론'으로 나뉜다. 초기 시장이 거대 모델을 만들기 위한 학습 싸움이었다면, 이제는 AI 에이전트의 등장으로 추론 연산 비중이 학습만큼, 혹은 그 이상으로 커지고 있다.
특히 추론 단계는 질문을 이해하는 '프리필(Pre-fill)' 단계와 답을 생성하는 '디코드(Decode)' 단계로 구분된다. 질문 이해 단계에서는 대량의 계산 능력이 중요하지만, 답을 만드는 단계에서는 메모리에서 데이터를 빠르게 꺼내오는 속도가 관건이다. 이에 따라 아마존 웹서비스(AWS)는 질문 이해에는 자체 칩인 트레이니엄을, 답 생성에는 셀레브러스 칩을 사용하는 식으로 역할을 나누고 있다. 짐을 옮길 때는 대형 트럭을 쓰지만, 급한 배달에는 오토바이를 투입하는 것과 같은 이치다.
이 과정에서 가장 큰 수혜를 입은 곳은 구글이다. 구글은 자사 서비스용으로 개발해온 TPU(텐서 프로세싱 유닛)를 활용해 클라우드 시장에서의 영향력을 넓히고 있다. 특히 오라클이 2027년부터 자사 클라우드에 구글의 TPU를 탑재하기로 결정하면서, 구글은 단순한 서비스 기업을 넘어 강력한 칩 공급사로 변모하고 있다는 평가가 나온다.
NPU 스타트업의 기회와 위기, '구글'이라는 거대한 벽
이러한 흐름은 신경망 처리 장치(NPU)를 설계하는 스타트업들에게 양날의 검이다. NPU는 특정 AI 연산에 최적화되어 GPU보다 적은 전력으로 저렴하게 작업을 처리할 수 있는 '전문점 셰프' 같은 존재다. GPU가 아닌 칩도 시장에서 통한다는 사실이 증명된 점은 호재지만, 그 자리를 구글과 같은 빅테크가 선점하고 있다는 점은 큰 위기다.
가장 높은 진입 장벽은 소프트웨어 생태계다. 엔비디아가 시장을 지배하는 근본적인 이유는 20년 가까이 구축해온 소프트웨어 플랫폼 '쿠다(CUDA)'에 있다. 구글은 이미 이에 맞설 '구글판 쿠다'를 구축했으며, 최근에는 개발자들이 널리 쓰는 파이토치(PyTorch) 모델을 TPU에서 큰 수정 없이 돌릴 수 있도록 생태계를 확장했다. 반면 NPU 스타트업들은 독자적인 소프트웨어 환경을 처음부터 구축해야 하는 부담을 안고 있다.
이에 따라 업계는 엔비디아를 밀어내는 대신, GPU 옆에서 특정 역할만 수행하는 '분리형 추론' 전략을 택하고 있다. 미국의 셀레브러스는 메모리 용량을 극대화해 답 생성 속도에서 엔비디아를 앞서며 고객을 확보했고, 그로크(Groq)는 엔비디아와 기술 라이선스 계약을 맺고 엔비디아 시스템에 탑재되는 방식으로 협력하고 있다.
리벨리온의 '엔비디아 동맹' vs 퓨리오사AI의 '개방형 진영'
한국의 대표적인 NPU 기업인 리벨리온과 퓨리오사AI는 이 이기종 시장을 공략하는 방식에서 확연히 다른 길을 걷고 있다.
리벨리온은 엔비디아 진영과의 협력을 통한 '동맹 전략'을 택했다. 최근 엔비디아와 'NV 링크 퓨전' 협력을 체결한 것이 대표적이다. 이는 엔비디아 시스템 내에서 앞단은 GPU가, 뒷단은 리벨리온의 R200 칩이 담당하는 구조다. 고객이 엔비디아 생태계를 유지하면서도 리벨리온의 효율성을 누릴 수 있게 해 쿠다(CUDA)의 벽을 정면으로 돌파하지 않고도 시장에 진입할 수 있다는 장점이 있다. 다만 주도권이 엔비디아에 있다는 점은 숙제다.
반면 퓨리오사AI는 AMD와 함께하는 '개방형 진영'을 택했다. AMD의 하드웨어와 오픈소스 소프트웨어 생태계인 '로켓(ROCm)'을 결합해 엔비디아의 독주에 맞서는 전략이다. 특정 기업이 주도권을 독점하지 않기에 칩의 강점을 자유롭게 내세울 수 있지만, 아직 로켓 생태계가 쿠다와의 격차를 좁히지 못했다는 점이 변수다.
현재 국내 주요 NPU 기업 6곳의 2025년 합산 매출은 약 504억 원 규모로, 미국의 셀레브러스(약 7,000억 원)와 비교하면 여전히 격차가 크다. 한국 기업들이 공공 부문 납품을 넘어 사우디 아람코나 스웨덴 스톡홀름의 데이터 센터 등 해외 시장에서 실질적인 성과를 거둘 수 있을지가 향후 관건이 될 전망이다.
0댓글
현재 댓글 작성이 비활성화되어 있습니다.