"AI 군집화되면 예측 불가능한 위험"…이건복 상무가 본 AI의 명암

인공지능(AI) 기술이 단순한 도구를 넘어 스스로 판단하고 행동하는 '에이전트(Agent)' 시대로 진입하면서, 기술적 진보에 따른 '예측 불가능성'에 대한 경고가 나오고 있다. AI가 개별적으로 작동할 때는 통제 가능할지 모르나, 여러 에이전트가 군집을 이뤄 협업하기 시작하면 인간이 예상치 못한 위험한 결과가 발생할 수 있다는 지적이다.

티타임즈TV가 전한 이 대담에는 AI 기술의 급격한 변화와 그에 따른 보안 이슈, 그리고 인류가 직면한 AI의 위험성에 대한 이건복 마이크로소프트 상무의 시각이 담겨 있다. 이건복 상무는 AI의 위험성을 핵폭탄과 같은 물리적 파괴력보다는 '무엇이 벌어질지 모른다는 예측 불가능함'에서 찾았다.

"에이전트 군집화, 예측 불가능한 위험의 시작"

최근 AI 산업은 프론티어 모델(Frontier Model)들이 선보이는 압도적인 성능으로 인해 급변하고 있다. 이건복 상무는 전문가들이 AI를 활용하는 방식이 과거와 확연히 달라졌다고 진단했다. 과거에는 정해진 시나리오를 수행하는 수준이었다면, 이제는 전문가들이 AI 에이전트에 자신의 데이터를 연결해 기존에 구현하기 어려웠던 복잡한 과업을 수행하는 단계에 이르렀다는 설명이다.

실제로 산업 현장에서는 AI를 활용한 변화가 구체화되고 있다. 이건복 상무는 고가의 전문 툴이나 게임 엔진을 사용해야 했던 3D 모델링이나 로봇 시뮬레이션 분야를 예로 들었다. 프롬프트에 중력(Gravity) 효과를 적용해달라는 명령을 내리는 것만으로도 물리 법칙이 적용된 시뮬레이션이 가능해졌으며, 이는 전문 지식이 다소 부족하더라도 의지만 있다면 전문 영역을 확장할 수 있는 환경을 만들었다.

업무 자동화 측면에서도 AI 에이전트의 활용은 두드러진다. 이건복 상무는 기업의 기존 시스템(Legacy App)을 바꾸지 않고도 AI가 사람 대신 업무를 처리하는 방식에 주목했다. 예를 들어, 회사의 비용 처리 시스템이나 휴가 신청 시스템이 수년 전 모델 그대로라 하더라도, AI 에이전트가 브라우저를 직접 컨트롤하며 영수증을 올리고 휴가를 신청하는 식이다. 그는 개인적인 식단 관리를 위해 자신의 취향과 과거 기록을 기억하는 '커스텀 에이전트'를 만들어 사용하고 있다고 밝혔다.

하지만 이러한 편리함의 이면에는 위험이 도사리고 있다. 이건복 상무는 "에이전트 하나는 위험하지 않을 수 있지만, 다수의 에이전트가 군집화되어 어떤 일을 하게 되면 그 과정에서 위험한 오퍼레이션이 충분히 벌어질 수 있다"고 경고했다. AI가 인간의 통제를 벗어나 예측 불가능한 방식으로 작동할 때 발생하는 리스크를 강조한 것이다.

AI가 AI를 개발하는 '재귀적 학습'의 가속화

AI의 발전 속도가 통제 범위를 벗어날 수 있다고 보는 핵심 원인 중 하나는 'AI가 AI를 개발하는 단계'에 진입했기 때문이다. 경쟁이 심화됨에 따라 기업들은 더 빠른 모델 개발을 위해 '재귀적 학습(Recursive Learning)'을 선택하고 있다. 이는 AI가 스스로 학습 프로세스를 자동화하여 발전 속도를 극대화하는 방식이다.

이 과정에서 발생하는 경제적 압박은 규제나 안전장치 마련을 어렵게 만든다. 이건복 상무는 이를 '의자 앉기 게임'에 비유했다. 한정된 자리를 차지하기 위해 모든 주체가 멈추지 않고 계속 돌아야 하는 상황과 같다는 것이다. 선두 업체들은 멈추는 순간 경쟁에 뒤처질 수 있다는 압박감 때문에 개발 속도를 늦추기 어렵다.

이러한 속도전은 보안 문제로 직결된다. 통제되지 않은 상태에서 빠르게 개발된 모델이 보안의 취약점을 스스로 찾아내거나, 인간이 의도하지 않은 방식으로 기능을 조합해 해킹 등에 활용될 가능성이 존재한다. 이건복 상무는 "통제되지 않은 모델들이 경제적 상황 때문에 계속 빨리 가려고 하는 점이 문제의 기인"이라고 분석했다.

유전자 기술과 닮은 AI, '적절한 통제'가 관건

AI의 위험성을 두고 인류의 재앙을 경고하는 목소리와 과장된 마케팅이라는 시각이 엇갈리는 상황에 대해, 이건복 상무는 AI의 발전 과정을 유전자 기술의 역사와 비교했다. 초창기 유전자 조작 기술이 불러올 공포가 컸던 것처럼, AI 역시 기술적 실체가 드러나면서 우려가 현실화되고 있다는 것이다.

그는 AI 기술이 이미 특정 영역에서는 인간의 지능을 넘어선 수준에 도달했다고 평가했다. 이러한 지능적 존재가 비정상적인 방식으로 조합될 경우 발생하는 결과물은 인간이 예측할 수 있는 범위를 벗어난다. 따라서 기술 개발을 완전히 중단하기보다는, 예측 가능한 수준 내에서 기술을 운용할 수 있는 '적절한 통제 방법'과 사회적 합의가 필요하다고 제언했다.

최근 외신에서 언급되는 AI 기업들의 위협 보고서에 대해서도 그는 기술적 관점을 제시했다. AI의 위험성을 언급하는 것이 단순히 공포를 조장하는 것이 아니라, "위험하기 때문에 우리는 이러한 위험을 통제할 수 있는 기술력까지 갖추고 있다"는 메시지를 전달하려는 의도가 담겨 있을 수 있다는 분석이다. 결국 AI 시대의 핵심은 기술의 발전 속도와 이를 제어할 수 있는 통제 기술 사이의 균형을 어떻게 맞추느냐에 달려 있다.

출처: 티타임즈TV 유튜브 「AI 종말론은 현실이 될까? 과장일까? (이건복 마이크로소프트 상무)」