AMD запускає локальну платформу для програмування Instinct Coder 355; вісім MI355X підтримують локальне виконання з продуктивністю, що наближається до 98% від передових моделей, за замовчуванням не підключені до інтернету, дані залишаються локально.Автор статті, джерело: AIBase
AMD знову повертає великі моделі з хмари до серверної, зосереджуючись на бізнесі розробників підприємств. 9 листопада за місцевим часом AMD у співпраці з Spectro Cloud запустила корпоративну платформу AI-підтримки програмування Instinct Coder 355, яка здатна запускати інференс GLM-5.3 локально та, за твердженням, досягає 98% продуктивності передових моделей.
Вісім карток підтримують один сервер для програмування
Сильна сторона цієї системи — велика кількість компонентів: основу становлять 8 прискорювачів AMD Instinct MI355X, два процесори EPYC 9575F "Zen 5" з 64 ядрами, 3 ТБ оперативної пам’яті DDR5-6400 та загальний об’єм твердотілого сховища 63,36 ТБ. Dell і Supermicro пропонують різні конфігурації готових систем, і підприємства можуть вибирати варіант згідно зі своїми звичками в центрі обробки даних. Один вузол може обслуговувати до 85 розробників, з яких 50 можуть одночасно працювати над кодом — тобто вся потужність невеликої команди зберігається в одному корпусі.
За замовчуванням не під’єднується до хмари, дані залишаються локально
Справжньо зацікавлює компанії саме функція «не виходячи з дому». Spectro Cloud надає для цієї системи програмне забезпечення PaletteAI Inference Launchpad, яке за замовчуванням використовує локальні обчислювальні ресурси, а не хмарні API, що виключає необхідність вивозу конфіденційного коду та даних. Під тиском витрат та вимог до відповідності перенесення інференсу назад у власні серверні приміщення стає новим напрямком для великих компаній — цей крок AMD, звичайно, спрямований на те, щоб відібрати частину ринку в NVIDIA та хмарних провайдерів.