AMD запускает локальную платформу для программирования Instinct Coder 355: восемь MI355X обеспечивают локальную производительность, приближающуюся к 98% производительности передовых моделей, по умолчанию не подключены к интернету, данные остаются локально.Автор статьи, источник: AIBase
AMD возвращает крупные модели с облака обратно в центр обработки данных — на этот раз она работает с разработчиками предприятий. 9 ноября по местному времени AMD совместно с Spectro Cloud представила корпоративную платформу AI-ассистента для программирования Instinct Coder 355, способную запускать инференс GLM-5.3 локально и, по утверждениям компании, достигающую 98% производительности передовых моделей.
Восемь карт поддерживают один сервер для программирования
Сильная сторона этой системы — мощная комплектация: в основе — 8 ускорителей AMD Instinct MI355X, два процессора EPYC 9575F "Zen 5" по 64 ядра и 3 ТБ оперативной памяти DDR5-6400, а также общая емкость твердотельных накопителей 63,36 ТБ. Dell и Supermicro предлагают различные конфигурации готовых систем, и компании могут выбрать подходящий вариант в соответствии со своими стандартами в дата-центре. Один узел может обслуживать до 85 разработчиков, из которых 50 могут одновременно работать над кодом — то есть вся вычислительная мощность небольшой команды умещается в одном корпусе.
По умолчанию не подключено к облаку, данные остаются локально
Что действительно привлекает компании — это возможность «не выходить из дома». Spectro Cloud предоставляет для этой системы программное обеспечение PaletteAI Inference Launchpad, которое по умолчанию использует локальные вычислительные ресурсы, а не облачные API, что исключает необходимость передачи чувствительного кода и данных за пределы компании. Под давлением затрат и требований соблюдения нормативов перенос инференса обратно в собственные дата-центры становится новым направлением, в которое крупные компании вкладываются — шаг AMD, очевидно, направлен на то, чтобы отобрать часть рынка у NVIDIA и облачных провайдеров.