La infraestructura de IA evoluciona hacia el diseño de sistemas integrados

El diseño de la infraestructura de IA se expande hacia el modelo de "Sistema a escala de rack" para gestionar de forma integral la computación, la energía y la refrigeración. Según el informe "AI Infrastructure Insight" de SK hynix, este cambio busca superar las limitaciones de los aceleradores individuales mediante el codiseño de componentes.

Con la aceleración del desarrollo de la tecnología de IA, la perspectiva sobre la infraestructura de IA está cambiando fundamentalmente. Mientras que en el pasado el enfoque se centraba en el rendimiento de los aceleradores o servidores de IA individuales, ahora el desafío principal es el diseño de un sistema completo donde la computación, la memoria, el almacenamiento, la red, la energía y la refrigeración funcionen de manera integrada como un solo organismo.

Según el informe "AI Infrastructure Insight" publicado por SK hynix, la unidad de diseño de la infraestructura de IA está tendiendo a expandirse más allá de los servidores individuales hacia la unidad de rack y, más allá, hacia el centro de datos completo. Esto se debe a que, para realizar el entrenamiento y la inferencia de IA a gran escala, un solo acelerador tiene limitaciones, por lo que es necesario conectar estrechamente numerosos aceleradores para procesar las tareas de forma distribuida. En consecuencia, el "Sistema a escala de rack" (Rack-scale System), que gestiona los recursos dentro de un rack como una única estructura, está surgiendo como un modelo de diseño representativo.

De servidores a racks: la expansión del alcance del diseño de la infraestructura de IA

El sistema a escala de rack es un método que integra en la unidad de rack no solo la CPU, la GPU, la memoria y la red, sino también las condiciones de energía y refrigeración. El rack está evolucionando para ser más que un simple espacio que alberga servidores, convirtiéndose en una unidad de sistema que gestiona de forma integral el movimiento de datos, el suministro de energía y la gestión térmica.

A medida que el alcance del diseño se amplía, las variables a considerar se han vuelto más complejas. Cuanto mayor es la escala del clúster de IA, más importante es la eficiencia de la comunicación entre racks para determinar el rendimiento total. Dependiendo de la disposición física de los racks, la distancia de conexión y la estructura de la red, pueden producirse retrasos en la transmisión de datos. Además, para gestionar el enorme calor generado en los racks de alta densidad, las instalaciones de refrigeración y la estructura física del centro de datos deben diseñarse conjuntamente desde la fase de planificación. La estructura de distribución para un suministro de energía estable también es un elemento de diseño esencial.

Especialmente, la configuración de la infraestructura cambia completamente según la tarea que se realice. Mientras que el entrenamiento de modelos a gran escala requiere un alto rendimiento, un gran ancho de banda de memoria y una conexión rápida entre aceleradores, en la fase de inferencia se priorizan la baja latencia y la eficiencia energética y de costes. Con el aumento de las cargas de trabajo como la "IA agéntica" (Agentic AI), que razona de forma continua y accede repetidamente a herramientas externas para lograr los objetivos del usuario, la capacidad de gestionar el flujo de datos entre la memoria, el almacenamiento y la red se convierte en una variable de rendimiento.

Cambio de paradigma: del "ensamblaje posterior" al "codiseño"

Dado que las tecnologías que componen la infraestructura están estrechamente conectadas, el método tradicional de "conexión posterior" ha encontrado sus límites. Es difícil satisfacer las demandas de los sistemas de IA de alta densidad mediante un método en el que se diseñan los componentes individuales por separado para integrarlos en la etapa final. Por ello, se está extendiendo el método de "codiseño" (Co-design), que considera las condiciones de la plataforma de computación y la infraestructura del centro de datos desde las etapas iniciales del desarrollo.

El alcance del codiseño ahora incluye áreas de infraestructura física como la energía y la refrigeración. En los sistemas de IA de alta densidad, los métodos de refrigeración líquida o de gestión térmica están directamente relacionados con los requisitos del sistema informático. Esta tendencia también está derivando en debates sobre la estandarización en toda la industria. Esta es la razón por la que existe un movimiento para estandarizar la estructura de energía e interfaz de los centros de datos de próxima generación, centrado en la comunidad de cooperación global OCP (Open Compute Project).

Mientras que la estandarización establece las bases para la interoperabilidad, cada empresa realiza optimizaciones personalizadas para sus clientes sobre esos estándares. En el campo de la memoria, se trabaja sobre la base de las especificaciones básicas establecidas por JEDEC (Organización Internacional de Normalización), pero de forma paralela se llevan a cabo tareas de optimización avanzada adaptadas a los requisitos de sistemas específicos.

El papel de las empresas de memoria, como la de HBM, se expande hacia la "participación temprana en la hoja de ruta del cliente"

El cambio en los métodos de diseño está transformando fundamentalmente el papel y el modelo de colaboración de las empresas de memoria. Esto se debe a que, a medida que aumenta la escala y la velocidad de los datos procesados por los aceleradores, el ancho de banda, la capacidad y las condiciones térmicas requeridas para la memoria varían según cada sistema. En consecuencia, aumenta la tendencia de decidir las especificaciones de la memoria conjuntamente desde la fase de concepción de la plataforma.

Un ejemplo representativo es la HBM (memoria de alto ancho de banda). En la próxima generación de HBM, se están intensificando los debates sobre la "HBM personalizada", que refleja directamente los requisitos del sistema del cliente, centrándose en el "Base Die" que se encarga de la entrada y salida de datos debajo de los chips DRAM apilados. Esto significa que la memoria está evolucionando de ser un simple proveedor de productos de uso general a convertirse en un socio que participa profundamente en el diseño de los sistemas de los clientes.

SK hynix adopta una estrategia para participar desde las etapas iniciales en el proceso de desarrollo de los sistemas de IA de próxima generación de sus clientes para adaptarse a este cambio. El método consiste en identificar preventivamente la hoja de ruta del sistema del cliente y definir conjuntamente las condiciones de memoria necesarias. En última instancia, se espera que la competencia en la infraestructura de IA del futuro se decida no solo por el rendimiento de los componentes individuales, sino por qué tan precisamente se puede coordinar la estructura de todo el sistema y qué tan rápido se puede responder a la dirección de diseño del cliente.

Fuente: news.skhynix.co.kr