CPO da Western Digital: Flash para agora, HDD para armazenamento de IA a longo prazo

ChainCatcher noticia que Ahmed Shihab, Chefe de Produto da Western Digital, publicou que o ponto-chave da competição em armazenamento para IA não é simplesmente buscar o meio mais rápido, mas sim a capacidade de expandir a capacidade de forma sustentável sob custos acessíveis. Ele argumenta que muitas arquiteturas funcionam bem no início, mas quando o volume de dados cresce de alguns PB para centenas de PB ou até EB, podem enfrentar problemas devido ao descontrole de custos. O armazenamento flash é adequado para cenários de alto desempenho e baixa latência, como pesos de modelos, overflow de GPU, cache KV e contexto de sessão; já os HDDs são mais apropriados para dados em grande escala e de longo prazo, como corpus de treinamento, logs, checkpoints, registros de conformidade, dados sintéticos e saídas de inferência — todos sensíveis a custos. Ele conclui: “O flash lida com o presente; o HDD lida com todo o ciclo de vida.” Na escala da IA, o próprio custo de armazenamento se torna um problema arquitetônico. Manter grandes volumes de dados em meios de alto desempenho por longos períodos consome orçamentos destinados a computação, rede, energia e pessoal. Para muitas cargas de armazenamento em lote, a questão não é se o flash pode armazenar os dados, mas se os clientes podem arcar com o custo total do uso contínuo de flash. O futuro do armazenamento para IA não será dominado por uma única tecnologia, mas sim projetado em camadas, considerando desempenho, custo, consumo de energia, densidade, confiabilidade e ciclo de vida dos dados. Ele enfatiza que isso não é uma competição entre flash e HDD, mas sim a necessidade de escolher desde o início o meio adequado para cada carga de trabalho — caso contrário, a arquitetura pode comprometer a sustentabilidade do negócio à medida que escala.