ChainThink сообщение, 16 марта, согласно официальным данным, субсеть Bittensor Templar (SN3) завершила 10 марта крупнейшую в истории децентрализованную предварительную тренировку LLM Covenant-72B.
Covenant-72B — это языковая модель с 72 миллиардами параметров, предварительно обученная командой Templar на подсети 3 Bittensor исключительно на основе общедоступного интернета, без использования централизованных центров обработки данных. Модель показала результат 67,1 балла в тесте MMLU (нулевой выборке), превзойдя в тех же условиях централизованные базовые модели, такие как LLaMA-2-70B и LLM360 K2. Это самая крупная на сегодняшний день коллаборативная языковая модель с полным отсутствием разрешений: в течение всего процесса более 70 различных узлов внесли вычислительные ресурсы. Команда опубликовала все веса и контрольные точки по лицензии Apache.
Возможно, под влиянием этой новости, Bittensor (TAO) и его токены подсетей выросли в цене: TAO вырос на 54,8% за последние две недели. Токен подсети τemplar вырос на 194% за последние 7 дней и сейчас торгуется по цене 19,3 доллара США.