source avatar0xMedia

Поделиться

Предварительное обучение заняло бы 12 дней, но усилительное обучение Beam потребовало 10 500 чипов GB300, работавших четыре недели подряд. Миша Ласкин, сооснователь и генеральный директор Reflection AI @reflection_ai, разобрал счет за обучение открытой модели Beam. Компания была основана двумя бывшими исследователями Google DeepMind до 2026 года и в апреле этого года привлекла новые инвестиции по предварительной оценке в 25 миллиардов долларов. Общее количество параметров Beam составляет 501 млрд, активируемых параметров — 23 млрд; для предварительного обучения было использовано 23,8 трлн токенов, а веса были открыты 16 октября под лицензией Apache 2.0. Распределение вычислительных ресурсов между двумя этапами перевернуто. Предварительное обучение проводилось на 6 144 чипах GB300 NVL72; по его словам, при современной инфраструктуре это заняло бы около 12 дней. На этапе усилительного обучения использовалось 10 500 таких же чипов в течение четырех недель подряд, что эквивалентно примерно 40 тыс. GB300-неделям — в четыре раза больше, чем около 10 тыс. GB300-недель, потраченных на предварительное обучение, при этом затраченные FLOPs оказались еще выше.

No.0 picture
Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации. Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.