El co-diseño impulsa la evolución de la infraestructura de IA hacia el rack

Según el informe "AI Infrastructure Insight" de SK hynix, el diseño de la infraestructura de IA se desplaza del servidor individual hacia sistemas a escala de rack para optimizar el rendimiento mediante el co-diseño integrado.

El eje central de la competencia tecnológica en inteligencia artificial se está expandiendo más allá del rendimiento de los modelos o los aceleradores individuales, hacia el diseño y la operación de toda la infraestructura que los sustenta. Esto se debe a que, para que la IA funcione en entornos industriales reales, no basta con asegurar dispositivos de cálculo rápidos; es necesario que el ancho de banda de la memoria, la red, el almacenamiento y los sistemas de energía y refrigeración funcionen como una estructura orgánica integrada.

Según el informe "AI Infrastructure Insight" publicado por SK hynix, la clave del diseño de la próxima generación de infraestructura de IA reside en el "co-diseño" (co-design), un método que optimiza todos los elementos considerando los requisitos de diferentes tecnologías o sistemas desde las etapas iniciales de desarrollo. Este enfoque trata al rack o al centro de datos completo como una única unidad, en lugar de limitarse a la unidad de servidor individual.

El alcance del diseño se amplía del servidor al rack

La unidad de diseño de la infraestructura de IA se está desplazando rápidamente de los servidores individuales hacia los "sistemas a escala de rack" (Rack-scale System). Esto ocurre porque el entrenamiento y la inferencia de IA a gran escala son imposibles de procesar mediante un solo acelerador o servidor, lo que requiere que numerosos aceleradores se conecten estrechamente para repartir las tareas. En consecuencia, se está implementando un método de diseño integrado a nivel de rack que conecta múltiples servidores y aceleradores mediante interconexiones de alta velocidad, integrando desde la configuración de la memoria hasta las condiciones de energía y refrigeración.

El alcance del diseño no se detiene ahí, sino que se extiende a todo el centro de datos. A medida que aumenta la escala de los clústeres de IA, la eficiencia de la comunicación entre racks y su disposición física influyen de manera decisiva en el rendimiento del sistema. La disposición de los racks, la distancia de conexión y la estructura de la red determinan la latencia en la transferencia de datos, mientras que las instalaciones de refrigeración para gestionar el calor masivo generado en racks de alta densidad y las estructuras de distribución de energía estable también deben diseñarse junto con la estructura física del centro de datos.

Infraestructura personalizada según las características de la carga de trabajo

Otro criterio para el diseño de la infraestructura es la naturaleza de la "carga de trabajo" (workload) que se desea procesar, ya que no se puede aplicar la misma estructura a todas las tareas de IA. En el caso del entrenamiento de modelos a gran escala, donde numerosos aceleradores deben realizar cálculos paralelos durante largos periodos, la prioridad es el alto rendimiento, el ancho de banda de memoria y la rápida conectividad entre aceleradores. Por el contrario, en la fase de inferencia, las condiciones principales de diseño son la baja latencia, la velocidad de acceso a los datos y la eficiencia energética y de costes.

Los requisitos de la infraestructura se vuelven aún más complejos con la aparición de tecnologías como la "IA agéntica" (Agentic AI), que es capaz de planificar y ejecutar tareas por sí misma basándose en los objetivos del usuario. Dado que la IA agéntica debe acceder repetidamente a herramientas y datos externos durante procesos de razonamiento continuos, la capacidad de gestionar fluidamente el flujo de datos entre la memoria, el almacenamiento y la red se convierte en una variable que determina el rendimiento real.

Cambio en el papel de las empresas de memoria: la evolución hacia el "HBM personalizado"

A medida que los componentes de la infraestructura se entrelazan estrechamente, el papel de las empresas de memoria también está cambiando. Mientras que en el pasado el modelo consistía en combinar componentes terminados de forma posterior, ahora se está extendiendo un método en el que las especificaciones de la memoria se deciden conjuntamente desde las etapas iniciales para ajustarse al rendimiento y las características de energía de los aceleradores. Un ejemplo representativo es la memoria de alto ancho de banda (HBM). En la próxima generación de HBM, se está intensificando la tendencia de discutir el "HBM personalizado", que refleja los requisitos del sistema del cliente centrándose en el "base die" situado debajo de los chips DRAM apilados.

Siguiendo esta tendencia, las empresas de memoria están ampliando su colaboración para identificar tempranamente la hoja de ruta de los sistemas de sus clientes y participar desde la fase de diseño para definir conjuntamente las condiciones de memoria necesarias. SK hynix también está fortaleciendo esta cooperación mediante su participación desde las etapas iniciales en el proceso de desarrollo de los sistemas de IA de próxima generación de sus clientes. La capacidad de comprender de forma anticipada la dirección de los sistemas de los clientes y de involucrarse profundamente en su diseño se perfila como el punto de diferenciación en el futuro mercado de la infraestructura de IA.

Fuente: news.skhynix.co.kr