"De 6,52 segundos a 0,3 segundos"... El 'System 1 Model' centrado en el juicio cambiará el software de IA

Más allá de la etapa en la que la inteligencia artificial (IA) simplemente conversa con los humanos y genera frases largas, se está abriendo la era del 'System 1 Model', que toma decisiones en tiempo real dentro del software. Mientras que los modelos de lenguaje extensos (LLM) existentes pasaban por largos procesos de razonamiento para completar una respuesta, este nuevo tipo de modelo devolverá probabilidades y opciones que los programas pueden utilizar de inmediato, lo que se espera que cambie fundamentalmente la usabilidad del software.

"Un juego que esperaba 6,52 segundos, interpreta la acción en 0,3 segundos"... La velocidad marca la diferencia en la experiencia del usuario

Según un video de demostración publicado recientemente en el canal 'Impossible Engineering - New IT Technologies', la velocidad de juicio del modelo de IA está surgiendo como un factor clave que determina la utilidad práctica del software. El video muestra, a través de un caso de desarrollo de un juego RPG basado en texto, los cambios que provoca la diferencia en la velocidad de juicio de la IA con cifras concretas.

En la configuración existente, la mediana del tiempo necesario para interpretar las frases del usuario como acciones del personaje era de 6,52 segundos. Sin embargo, cuando se aplicó el modelo 'Jev' revelado por TypeSafe AI, este tiempo se redujo drásticamente a 0,317 segundos. El video analiza que "un juego donde el usuario tiene que esperar más de 6 segundos cada vez que se mueve y un juego que interpreta la acción en 0,3 segundos tienen, inevitablemente, una experiencia de uso diferente".

Esta innovación en la velocidad no significa simplemente una "respuesta rápida". Sugiere que la IA puede implementarse en funciones que deben ser llamadas con frecuencia y en tiempo real, como la evasión de obstáculos en un juego, la evaluación del tono y la emoción de una frase durante la escritura, o el filtrado de feeds de SNS. Las funciones que eran difíciles de implementar con los modelos existentes debido a problemas de costo y tiempo podrían integrarse como funciones básicas del software a través del "juicio rápido y económico" de la IA.

Devuelve 'probabilidades' y 'opciones' en lugar de generar frases... Maximización de la eficiencia mediante procesamiento paralelo

El modelo 'Jev' desarrollado por TypeSafe AI tiene una orientación técnica diferente de los LLM existentes. Mientras que un modelo autorregresivo (Autoregressive) convencional genera el siguiente token secuencialmente basándose en los tokens anteriores, Jev está diseñado para calcular instantáneamente valores de probabilidad de acuerdo con el formato de pregunta y respuesta predefinido por el desarrollador. Esto desempeña un papel similar al de una "función de juicio" que opera dentro de un programa.

Según el video, las principales diferencias de Jev son tres. Primero, en lugar de generar una frase de respuesta, devuelve la probabilidad de que sea 'Verdadero' (True), una 'Opción' (Choice) entre las opciones predeterminadas, o una 'Puntuación' (Score) que evalúa mediante una escala ordenada. Por ejemplo, si se pregunta si un comentario específico se ajusta a la intención del usuario, en lugar de una explicación larga, emite inmediatamente el valor de probabilidad de dicho juicio.

El segundo es la capacidad de procesamiento paralelo. Mientras que los modelos existentes a menudo deben procesar las preguntas una por una, Jev puede lanzar múltiples preguntas para una sola entrada y producir sus respuestas de forma paralela. Esto permite evaluar de una sola vez si una consulta de un cliente es una solicitud de reembolso, una simple queja o si requiere una verificación adicional, reduciendo el tiempo de espera del programa.

El tercero es la gestión de la confiabilidad de la probabilidad. La empresa explicó que utiliza el método de aprendizaje 'RLCD' para hacer que la probabilidad predicha coincida con el resultado real. Si la probabilidad emitida por el modelo es ambigua (por ejemplo, 52%), el código del programa puede reconocerlo y guiar para que se recopile información adicional o se verifique con un humano, permitiendo un control sofisticado.

Desde la manipulación del navegador hasta el editor... El juicio de la IA se infiltra en "cada momento" de la aplicación

El uso de esta IA centrada en el juicio también se manifiesta en tareas complejas como la manipulación de navegadores web. Según un caso presentado por el equipo de 'Browser Use', durante el proceso de búsqueda de vuelos, la IA lee los botones y campos de entrada de la página web y los convierte en una forma de preguntas de opción múltiple. Posteriormente, funciona de manera que se elige un número para decidir qué acción realizará el modelo Jev, logrando los resultados de la búsqueda de vuelos en aproximadamente 7 segundos. Dado que no todas las acciones requieren un razonamiento largo, se produce una división de roles donde Jev se encarga de las tareas que requieren un "juicio rápido" y un modelo de generación separado se encarga de las tareas que requieren la "generación de nuevas frases".

En el futuro, a medida que esta tecnología avance, es probable que aparezcan softwares en forma de que el juicio de la IA se adjunte en tiempo real en el momento de realizar la tarea, sin que el usuario tenga que hacer preguntas por separado a la IA. Por ejemplo, un editor podría señalar en tiempo real si se están cumpliendo las promesas al escribir un texto, o las publicaciones podrían contraerse automáticamente en el feed de SNS según las condiciones establecidas por el usuario.

Sin embargo, el video también señaló las limitaciones técnicas. Advirtió que la "garantía de formato" que proporciona el modelo no significa necesariamente una "garantía de respuesta correcta", y pronosticó que, aunque el juicio se vuelva más rápido, la tecnología de diseño para reconocer la pantalla, ejecutar realmente las acciones y recuperar errores será un desafío importante en el futuro. Actualmente, el precio de Jev está fijado en un nivel de 0,04 dólares por cada 1 millón de tokens.