Marvell lanza soluciones de memoria para infraestructura de IA para abordar los cuellos de botella de inferencia de IA agente

iconTechFlow
Compartir
AI summary iconResumen
Marvell presenta soluciones de memoria para infraestructura de IA para abordar los cuellos de botella en la inferencia de IA agente. Las nuevas ofertas incluyen almacenamiento de IA a nivel de servidor, expansión de memoria CXL a nivel de rack e interconexión óptica entre gabinetes para memoria compartida. A medida que los modelos de IA crecen, la separación entre memoria y cómputo se vuelve crítica. La desagregación de memoria aumenta la eficiencia de las GPU y reduce la latencia. Las noticias sobre IA y cripto continúan destacando la innovación en infraestructura. Los nuevos listados de tokens suelen seguir a los avances tecnológicos importantes en el sector.

El gigante de semiconductores para infraestructura de datos, Marvell Technology, anunció el lanzamiento de una nueva generación de soluciones de memoria diseñadas para infraestructura de IA, que abarcan almacenamiento de IA a nivel de servidor, expansión y agrupación de memoria CXL a nivel de rack, y memoria compartida con interconexión óptica entre múltiples gabinetes, con el objetivo de resolver los cuellos de botella crecientes en capacidad y ancho de banda de memoria durante el razonamiento de IA agente. Marvell indicó que, a medida que los modelos de IA se vuelven más grandes, las ventanas de contexto se extienden y aumenta la demanda de KV Cache, la arquitectura tradicional de cálculo y memoria estrechamente acoplada está limitando la eficiencia del razonamiento de IA. A través de la desagregación de memoria (memory disaggregation), los recursos de memoria pueden expandirse de forma independiente de los recursos de cálculo, mejorando la utilización de las GPU y reduciendo la latencia en la transferencia de datos.

Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información. Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.