CPO Western Digital: Flash — сейчас, HDD — для долгосрочного хранения данных ИИ

ChainCatcher сообщает, что главный продуктовый директор Western Digital Ахмед Шихаб написал, что ключом к конкуренции в области хранения данных для ИИ является не просто достижение самых быстрых носителей, а способность устойчиво масштабировать емкость по приемлемой цене. Он считает, что многие архитектуры работают нормально на начальных этапах, но при увеличении объема данных от нескольких петабайт до сотен петабайт и даже экзабайт могут столкнуться с проблемами из-за неконтролируемого роста затрат. Флеш-память подходит для сценариев с высокой производительностью и низкой задержкой, таких как веса моделей, переполнение GPU, KV-кэш и контекст сессий; HDD же лучше подходят для хранения больших объемов данных с длительным сроком жизни и высокой чувствительностью к стоимости — например, обучающих корпусов, журналов, контрольных точек, документов по соблюдению нормативных требований, синтетических данных и результатов вывода. Он резюмировал: «Флеш-память обрабатывает настоящее, HDD — весь жизненный цикл». При масштабах ИИ стоимость хранения сама по себе становится архитектурной проблемой. Длительное хранение больших объемов данных на высокопроизводительных носителях вытесняет бюджеты на вычисления, сеть, электроэнергию и персонал. Для многих задач массового хранения вопрос не в том, может ли флеш-память хранить данные, а в том, смогут ли клиенты долгосрочно оплачивать полную стоимость использования только флеш-памяти. Будущее хранения данных для ИИ не будет определяться одной технологией — оно должно быть многоуровневым и основываться на производительности, стоимости, энергопотреблении, плотности, надежности и жизненном цикле данных. Он подчеркнул, что речь не идет о конкуренции между флеш-памятью и HDD, а о необходимости с самого начала подбирать подходящий носитель для каждого типа рабочей нагрузки; в противном случае архитектура может поставить под угрозу устойчивость бизнеса при масштабировании.