Попереднє навчання можна було б завершити за 12 днів, але підсилене навчання Beam витратило 10 500 чіпів GB300 протягом чотирьох тижнів. Міша Ласкін, співзасновник і генеральний директор Reflection AI @reflection_ai, розкрив витрати на навчання відкритої моделі Beam. Компанію засновано двома колишніми дослідниками Google DeepMind до 2026 року, а в квітні цього року вона привлекла новий раунд фінансування з попередньою оцінкою у 25 мільярдів доларів США. Загальна кількість параметрів Beam — 501 млрд, активованих параметрів — 23 млрд; попереднє навчання використало 23,8 трильйона токенів, а ваги були відкриті 16 жовтня за ліцензією Apache 2.0. Розподіл обчислювальних ресурсів між двома етапами є зворотним. Попереднє навчання проводилося на 6 144 чіпах GB300 NVL72 — за його словами, за сучасної інфраструктури це зайняло б близько 12 днів. На етапі підсиленого навчання використовувалося 10 500 однакових чіпів протягом чотирьох тижнів поспіль, що дорівнює приблизно 40 тис. GB300-тижнів — у чотири рази більше, ніж під час попереднього навчання (приблизно 10 тис. GB300-тижнів), і при цьому споживало ще більше FLOPs.
0xMediaПоділитися
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.