KIMI K3 проти OPENAI / ANTHROPIC KIMI працює занадто повільно. Я поясню, чому, і які акції вигідно виглядатимуть — адже, вгадайте що, — Kimi, DeepSeek тощо всі збираються стати набагато кращими. Ось ключова відмінність: Kimi K3 — це екстремальна «суміш експертів». Це модель з 2,8 трильйона параметрів (майже така ж велика, як Claude), але для кожного токена активується лише 16 із 896 експертів — приблизно 104 мільярди параметрів. Отже, вона «грає» на набагато меншому (але, сподіваємося, не менш точному) фрагменті моделі. Ці 896 експертів розподілені між багатьма GPU. І кожен токен може викликати інший набір з 16 — тому GPU постійно передають один одному шматочки відповіді. Це навантажує інтерконнекти. Тепер припустимо, що закриті моделі — Claude, GPT — працюють у щільному або майже щільному режимі. Щільна модель точно знає, де розташовані її ваги. Дані проходять через ті самі GPU в тій самій послідовності, кожен запит, все заплановано заздалегідь. Claude платить за це більшою потужністю обчислень на токен — але майже не торкається повільних з’єднань між пристроями. ЦЕ Є ОБМЕЖЕННЯМ KIMI. І для тисяч компаній, які приймуть Kimi через його нижчу вартість. З’єднання між пристроями — це найповільніша частина. Усередині GPU дані рухаються зі швидкістю близько 8 ТБ/с сьогодні. Між GPU — може бути навіть 0,1 ТБ/с. Приблизно 1% швидкості. Це як якщо б Kimi їхав на Ferrari і мав зупинятися кожну милю, щоб пересадитися на велосипед — тоді як Claude їде одним автомобілем по одній автостраді цілий шлях. Це одна з основних причин, чому Kimi K3 виглядає повільно на більшості провайдерів зараз, тоді як Claude виглядає миттєво. Архітектура Kimi, можливо, розумніша на долар обчислювальної потужності, але її комунікації проходять через найповільніші ланки в дата-центрі. Тому інтерконнекти — ЦЕ ТОРГІВЛЯ, що лежить в основі всього відкритого моделювання: коли інтерконнекти покращуються, саме надзвичайно розріджені моделі з відкритими вагами отримують найбільшу вигоду. Виправте трубопроводи — і відкриті моделі зможуть/зможуть перевершити закриті моделі. «Трубопроводи» протягом 40 років були CPU. Потім — GPU. Зараз... Інтерконнекти. Хто у гонці: $CRDO — лідер у сфері мідних електричних інтерконектів (активні електричні кабелі). Стара технологія, яка першою досягає фізичних меж. Але медь досягає своїх фізичних обмежень. Занадто повільно. $NVDA — просто інвестувала $2 мiliardy кожна в $COHR та $LITE, щоб забезпечити собі лазерні оптичні інтерконекти. $MRVL — очолила останнє фундування приватної Mojo Vision і спільно розробляє оптичні інтерконекти на основі MicroLED з ними. Прочитайте це ще раз: Marvell робить ставку на MicroLED. Але немає продукту. Немає MicroLED. Avicena — приватна компанія, добре фундувана, продемонструвала посилки на основі MicroLED, але ще не масштабувала. А потім є $FABC — найвищий прибутковий варіант на мою думку, і я є акціонером, яка спільно розробляє високошвидксний, енергоефективний MicroLED-интерконект (Neural I/o) з $KOPN — Велика перевага: KOPN має роки досвіду виробництва MicroLED, включаючи для військових — а $FABC буде володарем інтелектуальної власності на цих інтерконектах разом з $KOPN. Компанія стверджує, що цілиться продемонструвати платформу до кінця 2026 року. Доказ того, що MicroLED-интерконекти реальнi: Marvell, компанія з капіталiзацiєю понад $172 млрд, зробила ту саму ставку, а потiм Jensen Huang сказав: «MRVL — це наступна трильйонна компанiя». Kimi сьогоднї болюче повiльний. Це не проблема моделi (!) — це проблема трубопроводiв. І саме в трубопроводах зараз йдуть інвестицiї.
James AltucherПоділитися
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.