Thinking Machines, toplam 276 milyar parametre ve aktif parametre sayısı 12 milyar olan Inkling-Small açık kaynak modelini yayınladı. Bu model, MoE mimarisi ve yerel çoklu modallik tasarımı kullanıyor. Model, ilk Inkling'in dörtte biri boyutunda olmasına rağmen matematik, muhakeme ve ajan kodlama gibi standart testlerde onu geçti. Performans, bilgi sıkıştırma ve iki haftalık pekiştirmeli öğrenme eğitimiyle sağlandı; bu da çıkarım eşiğini büyük ölçüde düşürerek orta ölçekli takımların model özelleştirmesine olanak tanıdı. Altı kurucudan dördü ayrılsa da, ekip istikrarsızlık içinde yüksek frekanslı yayınlar yapmaya devam ediyor.

Yazan: 36Kr

Thinking Machines, ilk nesil modeli geçecek olan Inkling-Small adlı açık kaynak modelini yayınlıyor.

İlk model Inkling ortaya çıktıktan sonra, tamamen yeni bir AI yine sosyal medyada trend oldu!

Bugün, Thinking Machines ikinci büyük modeli olan Inkling-Small'ı resmen duyurdu.

276 milyar toplam parametre, 12 milyar etkin parametre, yerel çok modalli, 1 milyon token bağlam

Yarım ay önce, ilk açık kaynak 975B Inkling, AI dünyasında büyük bir dalga yarattı.

Inkling-Small, dörtte bir miktarla doğrudan "trilyonlarca büyüklükteki büyük" performansını geçti.

ARC-AGI-2'de Inkling-Small, açık kaynak SOTA'yı yeniden tanımlıyor

Thinking Machines'in bu günlerini gözden geçirdiğinizde, senaryo gerçekten dalgalıydı.

İşbirlikçi Wang Li, istifasını duyurduktan sadece iki gün sonra OpenAI tarafından geri dönüşü doğrulandı — "Özyinelemeli Kendini Geliştirme" (RSI) üzerinde liderlik edecek.

Sonuç, üçüncü gün, temel bir liderini kaybeden şirket, yeni modelin "tam ağırlıklarını" yayınladı.

Yeni Inkling-Small ortaya çıktı, 276B ile trilyonu yendi

Resmi blogda, Inkling-Small, MoE mimarisine sahip bir modeldir ve toplam 276 milyar parametre, tek bir çıkarım sırasında 12 milyar parametre aktive edilir.

İlk nesil Inkling'a kıyasla boyutu doğrudan dörtte birine indirildi.

PyTorch'un büyük usta Horace He'nin dediği gibi, «Inkling-Small için köyün tamamının çabasına gerek yok, doğrudan önceki teknolojiyi kullanmak yeterli».

En güçlü olan, hacim küçülmesine rağmen toplam performansın önemli ölçüde artmasıdır.

Matematik, muhakeme, agent kodlama ve çok modlu benchmark'larda Inkling-Small, Inkling ve DeepSeek V4 Flash'a eşit veya daha iyi performans gösteriyor.

HLE, Terminal-Bench ve IFBench üç temel ölçütünde — Inkling-Small, her FLOP başına Inkling'den daha yüksek performans sağlıyor.

Inkling-Small eğrisinin, tamamen Inkling'in üzerinde kaldığı görülmektedir.

Çok modallık tarafında da neredeyse geride kalmadı, grafik anlama, görsel akıl yürütme, ses anlama ve uzun sesli akıl yürütme; Inkling-Small, değerlendirme sırasında orijinal versiyona "yakın" performans gösterdi, ancak maliyeti çok daha düşük.

Diğer performans testi sonuçları şunlardır:

Dörtte bir hacimli bir model, çıkarım ve ajan görevlerinde büyük kardeşini yere serdi.

Nasıl yapılacağına dair resmi açıklama oldukça detaylıdır; anahtar iki adımdır.

Inkling-Small'in eğitimi, Inkling'den daha geç başladığı için önceki turda yaşanmış tüm hataları yaşadı—

Ön eğitim veri oranları değiştirildi, makine öğrenimi tarifi yeniden iyileştirildi.

Daha da önemlisi, iki adımlı işlem.

İlk adım, Inkling'i bir öğretmen olarak kullanarak on-policy öğretim yapın ve bir önizleme kontrol noktası oluşturun.

İkinci adım olarak, bu kontrol noktasından itibaren iki tam hafta boyunca akıllı agent kodlamasını ve pekiştirmeli öğrenmeyi sürdürdük. Bu da “öğrencinin öğretmenini geçmesi” sonucunu doğurdu.

İki hafta içinde farkı kapattı ve öne geçti.

Bu, Thinking Machines'in tekrarlanabilir bir model üretme hattını doğrudan kurduğunu anlamına gelir. İlk model bir eserdir, ikinci model üretim kapasitesinin kanıtıdır.

12 milyar aktif olmak, gerçek bölünme noktasıdır

Çoğu geliştirici için gerçek ilgi alanı, kendi projelerinde kullanıp kullanamayacaklarıdır.

Inkling'in eşik değeri çok yüksek; BF16 kontrol noktası için en düşük gereksinim 2 TB toplam video belleğidir—

Örnek yapılandırma, 8 adet B300 veya 16 adet H200; NVFP4 kantitatif sürümüne geçilseniz bile 600 GB ile başlamalısınız.

Inkling-Small, bu eşiği tamamen büyük ölçüde aşağı çekti.

LMSYS'in açıklaması doğrudan: 276B toplam parametre ve 12B aktif, pekiştirme öğrenmenin ideal noktası; LoRA ve tam parametre eğitimi artık "ulaşılabilir" hale geliyor.

Daha önce yalnızca büyük şirketlerin yapabildiği model özelleştirme, şimdi orta boyutlu bir ekip için de kendi şeyi haline getirmenin gerçek bir fırsatı sunuyor.

Gerçek testlerde, aynı ortamda 8 adet B200, TP8, NVFP4 ve batch boyutu 1 ile SGLang kullanılarak Inkling-Small çalıştırıldığında, DSparK açıkken 648 tok/s çözme hızı, kapalıyken 288 tok/s çözme hızı elde edilmiştir.

Geçen yıl Şubat'ta, Thinking Machines, 'OpenAI'nin hayal ekiplerinden' altı kişilik bir listeyle etkileyici bir başlangıç yaptı:

Mira Murati, John Schulman, Barret Zoph,翁荔, Andrew Tulloch, Luke Metz.

O zamanlar, 2 milyar dolarlık tohum sermayesi ve 12 milyar dolarlık değerlemeye sahiptiler.

Kim düşünürdü ki, bu yıl Ocak'taki 50 milyar dolar değerlemeli finansman dalgası sonunda başarısız olup, dönüşümün başlangıcı olacaktı?

Şu anda altılı grupta sadece Murati ve Schulman kaldı.

Daha ilginç olanı, ayrılan dört kişiden Zoph ve Metz sırayla OpenAI'ye döndü, şimdi de Weng Li üçüncüsü oldu.

OpenAI'nin "isyankarıları" tarafından kurulan bir şirket, temel ekipler nihayet OpenAI'nin çekim alanından kurtulamadı.

Ancak gerçekten dramatik olan, takımın dalgalı durumlara verdiği tepkidir.

15 Temmuz'da, tam 17 ay sessiz kalan Thinking Machines, ilk büyük modeli Inkling'i sundu.

İki haftadan az bir sürede, Weng Li istifa etti; sadece üç gün sonra, tam ağırlıklı bir açık kaynak model daha piyasaya sürüldü.

Yetenekler hızla kaçıyor, modeller hızla ilerliyor.

Bu iki birbirine zıt eğri, yapay zeka endüstrisinde en temsili sahne haline geldi.

Belki de ASI'ya giden yol budur: Kalanlar ne kadar az kalırsa kalsın, makinenin tekerleği sadece daha da hızlanacaktır.

Thinking Machines, toplam 276 milyar parametre ve aktif parametre sayısı 12 milyar olan Inkling-Small açık kaynak modelini yayınladı. Bu model, MoE mimarisi ve yerel çoklu modallik tasarımı kullanıyor. Model, ilk Inkling'in dörtte biri boyutunda olmasına rağmen matematik, muhakeme ve ajan kodlama gibi standart testlerde onu geçti. Performans, bilgi sıkıştırma ve iki haftalık pekiştirmeli öğrenme eğitimiyle sağlandı; bu da çıkarım eşiğini büyük ölçüde düşürerek orta ölçekli takımların model özelleştirmesine olanak tanıdı. Altı kurucudan dördü ayrılsa da, ekip istikrarsızlık içinde yüksek frekanslı yayınlar yapmaya devam ediyor.

Kaynak: Yeni Zihin