Lo que determina el rendimiento de la IA no es la velocidad de cómputo, sino el 'movimiento de datos'... Se acelera el rediseño de la infraestructura

En la era de la inteligencia artificial (IA), el criterio de competencia en el rendimiento se está desplazando de la capacidad de cómputo hacia la capacidad de gestión de datos. Con la expansión de los modelos de lenguaje de gran escala (LLM) y la IA agéntica (Agentic AI), la eficiencia con la que se almacenan y se transfieren los vastos volúmenes de datos a los dispositivos de cómputo se ha convertido en una variable clave que determina el coste y el rendimiento del sistema.

Según la serie 'Ecosistema de IA' publicada por SK hynix, el enfoque de la industria de la IA actual se está trasladando de la etapa de desarrollo de modelos a la etapa de operación de servicios a gran escala. A medida que aumenta la importancia de la etapa de inferencia, donde las solicitudes de los usuarios se repiten, en comparación con el preentrenamiento, el volumen de datos que debe procesarse aumenta exponencialmente a medida que las preguntas se vuelven más largas y el contexto más complejo. En consecuencia, el 'rediseño de la infraestructura', que consiste en diseñar conjuntamente los dispositivos de cómputo, la memoria, el almacenamiento y la red como un único sistema para minimizar el movimiento de datos, se ha vuelto indispensable.

El coste del movimiento de datos es 2,000 veces mayor que el del cómputo

Los sistemas informáticos actuales están diseñados en torno al procesador (dispositivo de cómputo). Es una estructura en la que los datos se mueven a través del almacenamiento y la memoria hacia el dispositivo de cómputo, y luego regresan en un proceso repetitivo. Hasta ahora, se había intentado mitigar este retraso mediante tecnologías como las capas de caché o la ejecución fuera de orden (Out-of-Order Execution), pero ante la explosión de las cargas de trabajo de IA, los límites son evidentes.

En los sistemas modernos, el movimiento de datos genera un coste mucho mayor que el cómputo en sí mismo. La energía necesaria para leer datos de la memoria DRAM una sola vez puede ser entre 150 y hasta 2,000 veces mayor que la de una operación aritmética simple. En investigaciones reales que utilizan modelos de redes neuronales de Google, se ha demostrado que más del 90% de la energía del sistema en los grandes modelos de aprendizaje automático se consume en el acceso a la memoria y el movimiento de datos, no en el cómputo.

Especialmente en los LLM, debido a la gestión del caché KV (Key-Value Cache), que requiere referenciar el contexto anterior cada vez que se genera un token, y a las operaciones de atención, la demanda de capacidad de memoria y ancho de banda aumenta drásticamente. Por mucho que el dispositivo de cómputo sea rápido, si los datos no llegan a tiempo, la eficiencia de todo el sistema cae en picado debido a la estructura del mismo.

CXL y NVLink, interconexiones de alta velocidad que amplían los canales de datos

Para resolver el cuello de botella del movimiento de datos, la 'computación centrada en la memoria (Memory-Centric Computing)' está surgiendo como una alternativa. Este enfoque se aleja del método tradicional de traer los datos al dispositivo de cómputo y, en su lugar, toma la ubicación de los datos y el coste de su movimiento como criterios de diseño, realizando el cómputo cerca de la memoria o optimizando la disposición de la misma.

En este proceso, las tecnologías de interconexión de alta velocidad que amplían los canales de datos entre dispositivos desempeñan un papel fundamental. CXL (Compute Express Link) expande la conexión entre la CPU, los aceleradores de IA y los dispositivos de memoria, permitiendo aumentar la capacidad de memoria de forma flexible y proporcionando una base de 'memory pooling' donde múltiples dispositivos pueden compartir la memoria. Por otro lado, NVLink y NVSwitch se centran en reducir los cuellos de botella mediante el intercambio de datos a gran escala a alta velocidad entre GPUs dentro de un clúster de GPUs. Aunque operan en ámbitos distintos, ambas tecnologías comparten el mismo objetivo de eficientar los recursos del sistema reduciendo el movimiento de datos.

Aceleradores de memoria próximos que procesan directamente cerca de los datos

Si aumentar la velocidad de conexión no es suficiente, se requiere un método que realice el cómputo directamente donde se encuentran los datos. Esto se denomina 'estructura de aceleradores de memoria próximos interconectados'. En lugar de que una GPU o NPU central atraiga todos los datos, los aceleradores situados alrededor de la memoria procesan los datos directamente y solo intercambian los resultados necesarios con el dispositivo central.

La utilidad de esta estructura se está demostrando mediante investigaciones académicas. En casos de diseño pasados como Tesseract, cuando se conectaron aceleradores de memoria próximos mediante interconexiones de alta velocidad para realizar el procesamiento de grafos en paralelo, se logró una mejora de rendimiento de aproximadamente 10 veces y un nivel similar de ahorro de energía en comparación con el diseño centrado en procesadores tradicionales.

Recientemente, también se están llevando a cabo investigaciones optimizadas para la inferencia de LLM. El diseño CENT basado en CXL combina la estructura de expansión de memoria con el procesamiento de memoria próximo, reduciendo drásticamente la carga de capacidad de memoria y ancho de banda de la infraestructura de inferencia a gran escala. En última instancia, se espera que el éxito de la futura infraestructura de IA no dependa de la competencia de velocidad de componentes específicos, sino de qué tan inteligentemente se distribuyan y conecten los datos y los dispositivos de cómputo.

Fuente: news.skhynix.co.kr