ByteDance розпочала навчання моделі штучного інтелекту з 10 трильйонами параметрів, наближаючись до масштабу Anthropic

За даними Beating Monitoring, з посиланням на трьох осіб, знайомих із ситуацією, Financial Times повідомляє, що ByteDance розпочала попереднє навчання великої моделі з максимальною кількістю 10 трильйонів параметрів. Проект все ще перебуває на початковій стадії, і остаточний розмір ще не визначено. Якщо модель буде навчена до максимального ліміту, її розмір перевищить у три рази Kimi K3 і стане найбільшою з відомих моделей, розроблених китайськими командами. ByteDance прямо піднімає розмір моделі до рівня флагманських моделей Anthropic. Anthropic ніколи не публікувала кількість параметрів Mythos 5, але Financial Times з посиланням на галузеві оцінки зазначає, що Mythos 5 має приблизно 8 трильйонів параметрів, а Fable 5 — близько 5 трильйонів. Якщо нова модель ByteDance досягне 10 трильйонів параметрів, вона принаймні за розміром параметрів вийде на рівень найсучасніших закритих моделей США. Поточна модель все ще перебуває на стадії попереднього навчання (навчання на величезних обсягах даних для розвитку базових здібностей моделі). Financial Times зазначає, що цей етап зазвичай триває від 3 до 6 місяців, після чого необхідне додаткове навчання, і лише після успішного завершення модель буде запущена. Більше параметрів не означає автоматично більшої потужності — кінцевий результат залежить від архітектури, даних для навчання та методів навчання. Чжан Їмінь недавно чітко висловив проти дистиляції моделей конкурентів у внутрішніх зустрічах Seed і вимагає від команди прийняти тимчасове відставання та досягти першого світового рівня за рахунок власних розробок. Ця нова модель з максимальною кількістю 10 трильйонів параметрів є найбільш агресивним покладанням ByteDance на масштаб.