Lee Geon-bok advierte sobre el riesgo de la agrupación de agentes de IA

El directivo de Microsoft Lee Geon-bok alertó en una charla de T Times TV que la colaboración entre múltiples agentes de IA podría generar resultados peligrosos e imprevisibles para la humanidad. El experto señaló que la presión económica por el aprendizaje recursivo dificulta la creación de regulaciones de seguridad.

A medida que la tecnología de inteligencia artificial (IA) trasciende las herramientas simples para entrar en la era de los "agentes", capaces de juzgar y actuar por sí mismos, surgen advertencias sobre la "imprevisibilidad" derivada de este avance técnico. Se señala que, si bien la IA puede ser controlable cuando opera de forma individual, el inicio de la colaboración entre múltiples agentes en grupos podría generar resultados peligrosos e inesperados para los seres humanos.

En una charla presentada por T Times TV, Lee Geon-bok, directivo de Microsoft, ofrece su perspectiva sobre los cambios acelerados en la tecnología de IA, los problemas de seguridad derivados y los riesgos que esta tecnología plantea para la humanidad. Lee Geon-bok situó el peligro de la IA no en una capacidad de destrucción física similar a la de una bomba nuclear, sino en su "imprevisibilidad", es decir, en el hecho de no saber qué es lo que sucederá.

"Agrupación de agentes: el inicio de un riesgo imprevisible"

La industria de la IA está cambiando rápidamente debido al rendimiento abrumador de los modelos frontera. Lee Geon-bok diagnostica que la forma en que los expertos utilizan la IA ha cambiado drásticamente respecto al pasado; mientras que antes se limitaba a ejecutar escenarios predefinidos, ahora los profesionales conectan sus propios datos a agentes de IA para realizar tareas complejas que antes eran difíciles de implementar.

En la práctica, los cambios impulsados por la IA ya se están materializando en el sector industrial. Lee Geon-bok citó como ejemplo los campos del modelado 3D o la simulación robótica, que antes requerían herramientas profesionales costosas o motores de juego. Ahora, con solo dar una instrucción en un prompt para aplicar efectos de gravedad, es posible realizar simulaciones que aplican leyes físicas, creando un entorno donde se pueden expandir áreas profesionales incluso con conocimientos técnicos limitados, siempre que exista la voluntad de hacerlo.

En cuanto a la automatización de tareas, el uso de agentes de IA es notable. Lee Geon-bok destacó la forma en que la IA puede realizar tareas en lugar de las personas sin necesidad de cambiar los sistemas heredados (Legacy App) de las empresas. Por ejemplo, aunque el sistema de gestión de gastos o el de solicitud de vacaciones de una compañía sea un modelo de hace varios años, un agente de IA puede controlar directamente el navegador para subir recibos o solicitar vacaciones. Asimismo, mencionó que utiliza un "agente personalizado" que recuerda sus gustos y registros pasados para gestionar su dieta personal.

Sin embargo, tras esta comodidad se esconden peligros. "Un solo agente puede no ser peligroso, pero cuando múltiples agentes se agrupan y realizan ciertas tareas, pueden ocurrir operaciones peligrosas en el proceso", advirtió Lee Geon-bok, enfatizando el riesgo que surge cuando la IA opera de forma imprevisible y escapa al control humano.

La aceleración del "aprendizaje recursivo" donde la IA desarrolla IA

Uno de los motivos principales por los que se cree que la velocidad de desarrollo de la IA podría superar los límites de control es que se ha entrado en la etapa en la que "la IA desarrolla a la IA". Debido a la intensificación de la competencia, las empresas están optando por el "aprendizaje recursivo" (Recursive Learning) para desarrollar modelos más rápidos, un método que maximiza la velocidad de evolución al automatizar el propio proceso de aprendizaje de la IA.

La presión económica generada en este proceso dificulta la creación de regulaciones o mecanismos de seguridad. Lee Geon-bok comparó esta situación con el "juego de las sillas", donde todos los participantes deben seguir girando sin detenerse para intentar ocupar un lugar limitado. Las empresas líderes sienten la presión de que, si se detienen, podrían quedarse atrás en la competencia, lo que dificulta que reduzcan la velocidad de desarrollo.

Esta carrera de velocidad se traduce directamente en problemas de seguridad. Existe la posibilidad de que modelos desarrollados rápidamente y sin control encuentren por sí mismos vulnerabilidades de seguridad o combinen funciones de formas no deseadas por los humanos, siendo utilizados para hackeos. "El problema radica en que, debido a la situación económica, los modelos no controlados intentan seguir avanzando rápidamente", analizó Lee Geon-bok.

La IA se asemeja a la tecnología genética: el control adecuado es la clave

Ante las opiniones divididas entre quienes advierten sobre un desastre para la humanidad y quienes ven en ello un marketing exagerado, Lee Geon-bok comparó el proceso de desarrollo de la IA con la historia de la tecnología genética. Al igual que el gran temor que generó la tecnología de manipulación genética en sus inicios, las preocupaciones sobre la IA se están materializando a medida que su realidad técnica se revela.

Evaluó que la tecnología de IA ya ha alcanzado niveles que superan la inteligencia humana en áreas específicas. Si estos seres inteligentes se combinan de forma anormal, los resultados pueden salirse del alcance de lo que el ser humano puede predecir. Por ello, en lugar de detener completamente el desarrollo tecnológico, propuso que es necesario alcanzar un consenso social y métodos de "control adecuado" que permitan operar la tecnología dentro de niveles previsibles.

Respecto a los informes de amenazas sobre empresas de IA mencionados recientemente por medios extranjeros, presentó una visión técnica. Analizó que mencionar los riesgos de la IA no es simplemente para fomentar el miedo, sino que puede tener la intención de transmitir el mensaje de que "debido a que es peligrosa, poseemos la capacidad tecnológica para controlar dichos riesgos". En última instancia, la clave de la era de la IA reside en cómo lograr el equilibrio entre la velocidad del desarrollo tecnológico y la tecnología de control para gestionarlo.

Fuente: vídeo original (YouTube)