"6.52초에서 0.3초로"…판단 중심 '시스템 원 모델'이 바꿀 AI 소프트웨어

인공지능(AI)이 단순히 인간과 대화하며 긴 문장을 생성하는 단계를 넘어, 소프트웨어 내부에서 실시간으로 판단을 내리는 '시스템 원 모델(System 1 Model)'의 시대가 열리고 있다. 기존 거대언어모델(LLM)이 답변을 완성하기 위해 긴 추론 과정을 거쳤다면, 새로운 유형의 모델은 프로그램이 즉각 활용할 수 있는 확률과 선택지를 반환하며 소프트웨어의 사용성을 근본적으로 바꿀 전망이다.

"6.52초 대기하던 게임, 0.3초 만에 행동 해석"…속도가 가른 사용자 경험

최근 '안될공학 - IT 테크 신기술' 채널에 공개된 시연 영상에 따르면, AI 모델의 판단 속도가 소프트웨어의 실질적인 활용도를 결정짓는 핵심 요소로 떠오르고 있다. 영상에서는 텍스트 기반 RPG 게임 개발 사례를 통해 AI의 판단 속도 차이가 가져오는 변화를 구체적인 수치로 보여준다.

기존 구성에서 사용자의 문장을 캐릭터의 행동으로 해석하는 데 걸리는 시간의 중앙값은 6.52초였다. 그러나 TypeSafe AI가 공개한 'Jev' 모델을 적용했을 경우, 이 시간은 0.317초로 대폭 단축됐다. 영상에서는 "사용자가 한 번 움직일 때마다 6초 넘게 기다려야 하는 게임과 0.3초 만에 행동을 해석하는 게임은 사용감이 달라질 수밖에 없다"고 분석했다.

이러한 속도 혁신은 단순히 '빠른 답변'을 의미하는 것이 아니다. AI가 게임의 장애물 회피, 글쓰기 중 문장의 어조 및 감정 평가, SNS 피드 필터링 등 실시간으로 빈번하게 호출되어야 하는 기능에 투입될 수 있음을 시사한다. 기존 모델로는 비용과 시간 문제로 구현하기 어려웠던 기능들이 AI의 '빠르고 저렴한 판단'을 통해 소프트웨어의 기본 기능으로 통합될 수 있다는 것이다.

문장 생성 대신 '확률'과 '선택지' 반환…병렬 처리로 효율 극대화

TypeSafe AI가 개발한 'Jev' 모델은 기존 LLM과 기술적 지향점이 다르다. 일반적인 자기회귀(Autoregressive) 모델이 이전 토큰을 바탕으로 다음 토큰을 순차적으로 생성하는 방식이라면, Jev는 개발자가 미리 정해둔 질문과 답의 형태에 따라 확률값을 즉시 산출하도록 설계됐다. 이는 마치 프로그램 내부에서 작동하는 '판단 함수'와 유사한 역할을 수행한다.

영상에 따르면 Jev의 핵심 차별점은 크게 세 가지다. 첫째, 답변 문장을 생성하는 대신 '참(True)'일 확률, 정해진 선택지 중 하나를 고르는 '초이스(Choice)', 순서가 있는 척도로 평가하는 '스코어(Score)'를 반환한다. 예를 들어 특정 댓글이 사용자의 의도에 부합하는지를 물으면, 긴 해설 대신 해당 판단의 확률값을 즉시 내놓는다.

둘째는 병렬 처리 능력이다. 기존 모델은 질문을 하나씩 처리해야 하는 경우가 많지만, Jev는 하나의 입력에 대해 여러 질문을 동시에 던지고 그 답을 병렬로 산출할 수 있다. 이를 통해 고객 문의가 환불 요청인지, 단순 불만인지, 추가 확인이 필요한지를 한 번에 평가하여 프로그램의 대기 시간을 줄인다.

셋째는 확률의 신뢰도 관리다. 회사는 예측한 확률이 실제 결과와 일치하도록 만드는 'RLCD' 학습 방법을 사용한다고 설명했다. 모델이 내놓은 확률이 애매할 경우(예: 52%), 프로그램 코드가 이를 인지하여 추가 정보를 수집하거나 사람에게 확인하도록 유도하는 등의 정교한 제어가 가능하다.

브라우저 조작부터 편집기까지…AI 판단, 앱의 '모든 순간'에 스며든다

이러한 판단 중심 AI의 활용은 웹 브라우저 조작과 같은 복잡한 작업에서도 나타난다. 'Browser Use' 팀이 공개한 사례에 따르면, 항공편 검색 과정에서 AI는 웹 페이지의 버튼과 입력창을 읽어 객관식 문제 형태로 변환한다. 이후 Jev 모델이 어떤 동작을 할지 번호를 고르는 방식으로 작동하며, 약 7초 만에 항공편 검색 결과를 도출해냈다. 모든 클릭에 긴 추론이 필요한 것은 아니기에, '빠른 판단'이 필요한 일은 Jev가, '새로운 문장 생성'이 필요한 일은 별도의 생성 모델이 맡는 역할 분담이 이루어진다.

향후 이러한 기술이 발전하면 사용자가 별도로 AI에게 질문을 던지는 과정 없이도, 작업하는 순간에 AI의 판단이 실시간으로 붙는 형태의 소프트웨어가 등장할 것으로 보인다. 글을 쓸 때 약속을 지키고 있는지 편집기가 실시간으로 짚어주거나, SNS 피드에서 사용자가 설정한 조건에 따라 게시물이 자동으로 접히는 식이다.

다만 영상에서는 기술적 한계도 명시했다. 모델이 제공하는 '형식 보장'이 곧 '정답 보장'을 의미하지는 않으며, 판단이 빨라지더라도 화면을 인식하고 실제로 실행하며 오류를 복구하는 설계 기술이 향후 중요한 과제가 될 것이라고 전망했다. 현재 Jev의 가격은 100만 토큰당 0.04달러 수준으로 책정되어 있다.