로봇 유지보수 위한 '인공 의식', AI의 거부권이 불러올 딜레마

인공지능(AI)이 인간처럼 '고통'을 느끼고 스스로 위험을 회피할 수 있다면 어떤 일이 벌어질까. 로봇의 유지보수와 안전을 위해 인공 의식(Artificial Consciousness)을 구현해야 한다는 주장이 나오는 가운데, AI가 인간의 통제에 저항할 수 있다는 철학적 딜레마도 함께 제기되고 있다.

티타임즈TV가 전한 이 대담에서 이건복 마이크로소프트(MS) 상무는 AI 기술의 진화 방향과 인공 일반 지능(AGI)의 실질적 의미, 그리고 인공 의식이 가져올 미래의 복잡한 문제들을 짚었다.

"로봇 오작동 막으려면 고통 개념 필요"…인공 의식의 실용적 가치

이건복 상무는 로봇의 안정적인 운용을 위해 AI에게 '고통'이라는 개념을 학습시키는 것이 필요하다고 설명했다. 단순히 특정 상황에서 특정 동작을 하라고 명령하는 방식은 한계가 있기 때문이다. 예를 들어 온도 센서가 임계치를 넘었을 때, 매번 "팔을 왼쪽으로 움직여 피하라"고 가르치는 대신 '고통'이라는 컨셉을 심어주는 방식이다.

이 방식이 적용되면 AI는 센서 데이터가 특정 수치에 도달했을 때 이를 고통과 유사한 신호로 감지하고, 별도의 추가 명령 없이도 스스로 회피 동작을 수행할 수 있다. 유지보수 측면에서 기기의 손상을 막기 위한 필수적인 장치라는 설명이다. 영상에서는 이를 두고 "센서 임계치가 오면 이를 마치 고통인 것처럼 알려주고 스스로 회피할 수 있게 해줘야 한다"고 강조했다.

하지만 이 지점에서 기술적 문제를 넘어선 철학적 딜레마가 발생한다. 이 상무는 "공장에서 위험한 일을 시켜야 하는데 AI가 '못하겠어요'라고 거부하거나, 전원 플러그를 뽑으려 할 때 '그러지 마세요'라고 반응한다면 어떻게 해야 하느냐"는 질문을 던졌다. 인공 의식을 심어주는 것이 실용적으로는 필요하지만, 인간의 통제권과 충돌할 수 있는 복잡한 문제가 생길 수 있다는 지적이다. 그는 이러한 문제가 결국 철학적 문제로 넘어갈 수 있다고 언급했다.

AGI의 기준, '지식' 넘어 '하네스'와 '경험'의 결합으로

최근 구글의 아르곤(Argon) 등 프론티어 모델들이 등장하며 AGI(인공 일반 지능) 논쟁이 뜨겁다. 이 상무는 AGI의 정의가 모호하다는 점을 인정하면서도, 단순히 지식의 양이 많은 것과 AGI를 구분했다. 그는 AGI를 "소셜 인텔리전스(사회적 지능)가 뛰어나고, 통제된 환경에서 스스로 학습할 수 있으며, 범용적인 지능을 갖춘 상태"로 정의했다. 과거 LLM이 발달하기 전에는 답변, 그림, 코드 등 특정 분야에 특화된 AI를 단순히 AI라고 불렀으나, AGI는 인문학, 과학, 수학 등 모든 분야를 다 잘하는 다재다능한 지능을 의미한다는 설명이다.

그는 AGI의 실질적 체감 기준으로 '일상적 수행 능력'을 꼽았다. 튜링 테스트의 개념을 빌려, "한국의 30평대 아파트에 들어가 전기밥솥으로 밥을 지을 수 있는 수준"을 예로 들었다. 현재의 모델들은 밥 짓는 법을 단계별로 설명하는 지식적 측면에서는 이미 인간을 능가하는 수준에 도달했다는 것이다. 만약 쌀이 없는 상황에서 어떻게 할 것인지 묻는다면, AI는 검색을 하거나 다른 방법을 찾는 등 의미 있는 답변을 내놓을 수 있다는 점도 덧붙였다.

다만 이 상무는 모델 자체의 성능만큼이나 '하네스(Harness, 주변 기술 및 도구 활용 능력)'의 발전이 AGI에 가까워지는 핵심 동력이라고 분석했다. 최근 AI는 사용자가 일일이 알려주지 않아도 최신 코딩 사이트에서 자료를 찾아오거나, 스스로 필요한 데이터를 확보하는 등 경험과 권한이 쌓인 '팀장급'의 능력을 보여주고 있다는 설명이다. 이러한 기술적 보완이 이루어지면서 AI는 단순한 답변 도구를 넘어 스스로 업무를 수행하는 '에이전트'로 진화하고 있다. 모델을 제공하는 기업 입장에서는 사용자가 추가적인 하네스 기능을 쓸 필요가 없을 정도로 모델 자체에 관련 기능을 탑재하는 방향으로 발전할 것이라고 전망했다.

슈퍼 인텔리전스(ASI)와 AI 중심의 업무 패러다임 변화

AI가 인간의 지능을 압도하는 단계인 ASI(슈퍼 인텔리전스)에 대해서는 정의가 분분하지만, 이 상무는 단순히 지식이 많은 상태가 아니라고 선을 그었다. 그는 ASI가 인간과 유사한 뉘앙스를 이해하고 의도를 명확히 파악하는 '사회적·관계적 지능'을 확보한 상태를 의미할 수 있다고 보았다. 특히 물리적 세계(Physical World)와의 연계성이 확보되어야 진정한 의미의 인텔리전스로 인정받을 수 있다는 관점도 제시했다. 피지컬 AI가 더 생활 속으로 들어온다면 AGI에 대한 개념도 다시 쓰일 수 있으며, 단순히 디지털 공간의 지식에 머무는 것이 아니라 물리적 세계에 대한 이해가 수반되어야 한다는 것이다.

이러한 기술적 흐름은 업무 방식의 근본적인 변화를 예고하고 있다. 과거에는 사람이 문서를 작성하고 전달했다면, 이제는 AI가 이해하기 쉬운 형식(예: 마크다운 파일)으로 문서를 생성하고, 이를 다른 AI에게 전달해 업무를 완결 짓는 'AI 중심의 커뮤니케이션'이 시작되고 있다. 영상 속 사례에 따르면, 사용자가 만든 문서를 마크다운(MD) 파일로 뽑아 다른 AI에게 던져주면, 상대방의 AI가 이를 즉시 이해하고 동일한 결과물을 만들어내는 식이다.

이 상무는 "이제는 AI가 있다고 가정하고 모든 업무가 시작되는 시대"라며, AI 에이전트가 쇼핑, 예약, 여행 등 일상적인 영역에서 표준을 만들어가는 과정이 머지않았음을 시사했다. 메타와 오픈AI가 AI 봇의 쇼핑 및 거래 기술 표준을 마련하려는 움직임처럼, 기존 레거시 시스템과 소통하며 업무를 수행하는 AI 중심의 생태계가 구축될 것으로 보인다.

출처: 티타임즈TV 유튜브 「AI에 ‘고통’ 가르쳤더니 일 못하겠다고 한다면? (이건복 마이크로소프트 상무)」