"데이터 유출은 못 참는다"…엔비디아 다음은 '온프레미스 AI'가 주도

인공지능(AI) 인프라 투자의 중심축이 하드웨어에서 애플리케이션으로, 다시 기업 내부로 이동하고 있다. 엔비디아의 GPU와 삼성전자·SK하이닉스의 메모리 반도체가 주도한 1차 AI 붐을 지나, 이제는 기업이 데이터를 직접 관리하며 보안과 비용 문제를 동시에 해결하려는 움직임이 본격화되고 있다.

음재훈 GFT벤처스 대표는 3일(현지시간) 진행된 인터뷰를 통해 실리콘밸리의 최신 AI 투자 트렌드를 진단했다. 음 대표는 AI 생태계의 다음 단계로 '온프레미스(On-premise) AI'와 '버티컬(Vertical) 특화 AI'를 꼽았다. 인프라스트럭처(기반 시설) 단계인 GPU와 메모리 다음으로, 실제 수익을 창출하는 애플리케이션 레이어에서 새로운 기회가 열리고 있다는 분석이다.

"보안·비용 문제에 기업들 '온프레미스'로 눈 돌려"

최근 AI 산업의 가장 큰 변곡점 중 하나는 데이터 보안이다. 오픈AI나 앤트로픽 같은 기업이 제공하는 클라우드 기반 AI 서비스는 편리하지만, 기업 입장에서는 민감한 데이터가 외부로 유출될 수 있다는 치명적인 약점이 있다. 음 대표는 "금융, 헬스케어, 안보, 공공기관처럼 컴플라이언스(규제 준수)가 중요한 산업군은 데이터가 클라우드에 올라가는 것 자체가 불가능하다"고 설명했다.

실제로 많은 기업이 집에서는 챗GPT를 활용하면서도, 정작 회사에 출근하면 보안 문제로 AI를 전혀 사용하지 못하는 상황에 놓여 있다. 이를 해결하기 위해 기업들은 인프라를 자체 데이터 센터나 서버에 구축하는 '온프레미스 AI'에 주목하고 있다. GPU와 메모리가 포함된 AI 어플라이언스(Appliance)를 기업 내부 망에 연결하면, 보안 문제를 해결하면서도 즉시 AI를 업무에 투입할 수 있기 때문이다.

비용 예측 가능성도 강력한 유인책이다. 클라우드 AI는 사용량에 따라 '토큰(Token)' 비용이 계속 발생하는 구조라 예산 관리가 어렵다. 반면 온프레미스는 초기 하드웨어 구축 비용(CAPEX)을 제외하면, 운영비(OPEX)를 일정하게 유지할 수 있어 기업의 재무 담당자(CFO)들이 선호하는 방식이다. 음 대표는 "컴퓨터가 뻗기 전까지는 무제한으로 쓸 수 있어 비용 예측이 가능하다"고 덧붙였다.

"범용 AI보다 정확한 '전문의' AI가 살아남는다"

AI 모델의 성능 경쟁 방식도 변화하고 있다. 모든 분야를 아우르는 거대언어모델(LLM)이 '일반의'라면, 특정 산업에 특화된 AI는 '전문의'와 같다. 음 대표는 특정 업종의 데이터로 학습된 '버티컬 특화 AI'가 향후 시장에서 강력한 경쟁력을 가질 것으로 내다봤다.

범용 AI는 인류의 방대한 데이터를 학습해 넓은 지식을 갖췄지만, 특정 기업의 사규나 전문적인 금융 데이터, 의료 데이터 등에 대해서는 정확도가 떨어질 수 있다. 반면 특정 산업에 특화된 트레이닝 데이터셋을 활용하면 정확도를 비약적으로 높일 수 있다. 음 대표는 "속도보다 정확도가 중요한 고객들에게는 특화된 모델이 필수적"이라며, 멀티 에이전트 기술 등을 도입해 정확도를 99% 이상으로 끌어올리는 솔루션들이 주목받을 것이라고 전망했다.

이러한 흐름은 대기업뿐만 아니라 중견기업에서도 나타나고 있다. 대기업은 오픈AI 등 빅테크 기업과 직접 협력할 체급이 되지만, 중견기업은 보안과 비용 문제를 동시에 해결해 줄 맞춤형 솔루션이 절실하기 때문이다. 음 대표는 "직원 수 수천 명 규모의 중견기업이 이더넷 케이블 하나로 연결해 바로 사용할 수 있는 수준의 AI 솔루션들이 시장을 공략할 것"이라고 분석했다.

데이터 센터 병목 현상과 한국 기업의 기회

AI 인프라 확충 과정에서 발생하는 물리적 한계도 투자 지형을 바꾸고 있다. 현재 전 세계적으로 데이터 센터 건설을 위한 전력 확보가 가장 큰 병목(Bottleneck) 현상으로 꼽힌다. 음 대표는 "발표되는 데이터 센터 프로젝트 중 절반 이상은 전력 수급이나 지역 사회의 반대 등으로 인해 현실적으로 가동되기 어려울 수 있다"고 지적했다.

전력 부족과 송전망 구축 지연 등의 문제로 대규모 데이터 센터 건설이 지연되면서, 상대적으로 규모가 작은 온프레미스 구축이나 하이브리드(클라우드와 자체 서버의 혼합) 방식이 대안으로 떠오르고 있다. 이 과정에서 제조 역량을 갖춘 한국 기업들이 반사 이익을 얻을 수 있다는 관측도 나온다. 미·중 갈등 속에서 한국이 제조 강국으로서 AI 인프라 관련 제조 분야에서 중요한 위치를 점하고 있기 때문이다.

음 대표는 "결국 인프라 위에 올라타 큰 가치를 창출하는 애플리케이션 업체들이 최종적인 승자가 될 것"이라며, 하드웨어 중심의 투자에서 소프트웨어와 특화 서비스로 무게 중심이 이동하고 있음을 강조했다.

출처: 티타임즈TV 유튜브 「“엔비디아, 삼전닉스 이후 돈 벌 곳은 여기” (음재훈 GFT벤처스 대표)」