ByteDance, yaklaşık 10 trilyon parametre içeren bir AI modelini önceden eğitmek için hazırlanıyor olarak rapor ediliyor; bu ölçek, bilinen tüm Çinli AI sistemlerini geride bırakacak ve şirketi en gelişmiş Batı laboratuvarlarıyla doğrudan rekabete sokacak. Bu çaba, yaklaşık 30.000 GPU ve tahmini 3 ila 6 ay sürecek sürekli ön-eğitim gerektirecek.
10 trilyon parametreyi anlamak için, bu, şu anda Çin'de üretilen en büyük modellerden biri olan Moonshot AI'nin Kimi K3'ün 2,8 trilyon parametre boyutundan üç kat daha büyüktür. Parametreler, temelde bir yapay zeka modelinin verilerdeki kalıpları öğrenmek için eğitim sırasında ayarladığı düğmelerdir.
ByteDance'in aslında inşa ettiğiyi
Söz konusu model, Uzmanların Karışımı (MoE) mimarisini kullanır. Her sorgu için tüm parametreleri etkinleştirmek yerine, MoE modelleri her girişi özel "uzman" alt ağların bir alt kümesine yönlendirir. Bu, onları aynı toplam boyutta yoğun bir modele kıyasla çıkarım zamanında çok daha verimli hale getirir.
ByteDance’ın Seed AI ekibi, yaklaşık 2.000 kişiden oluştuğu bildiriliyor, çaba liderliğini yürütüyor. Ekibin, daha önce yaklaşık 12.000 GPU kullanarak 175 milyar parametrelik modelleri eğitme deneyimi var. ByteDance, 10.000’den fazla GPU’yu yönetmek için tasarlanan MegaScale altyapısı üzerine araştırma yayınladı.
Ön eğitim aşaması sadece ilk adımdır. İlk çalıştırma sonrası, model herhangi bir kamuoyu açıklamasından önce ince ayarlanacaktır. ByteDance kurucusu Zhang Yiming, Seed AI ekibinin Batı yapay zeka sistemlerinden uzaklaştırılma yerine gerçek teknolojik atılımlara odaklanmasını yönlendirdiği rapor edilmiştir.
ByteDance bunu başarabileceğini neden düşünüyor
ByteDance, bu projeyi sadece bir gösteriş projesi olmaktan çıkaracak bazı yapısal avantajlara sahiptir. Şirket, küresel olarak milyarlarca kullanıcıya hizmet veren TikTok'u ve Çin'de en çok kullanılan AI asistanlarından biri olan Doubao'yu işletmektedir. Bu tüketicilerin izleme alanı, hem eğitim hem de ince ayar kararlarını yönlendirmek için büyük miktarda etkileşim verisi üretmektedir.
Odadaki fil, elbette, ileri yapay zeka çipleri üzerine ABD'nin ihracat kısıtlamalarıdır. Washington, yüksek performanslı Nvidia GPU'ları ve diğer akseleratörlerin Çinli kurumlara satışı konusunda kontrolleri giderek sıkılaştırmıştır. ByteDance, bu eğitim süreci için hangi spesifik GPU modellerini kullanmayı planladığını kamuoyuna açıklamamıştır, ancak şirketin 30.000 adet birim toplama yeteneği, kısıtlamaların üzerinden geçmek için işlevsel bir yol bulduğunu göstermektedir.
Bu, rekabet ortamını yeniden şekillendiriyor
ByteDance, büyük hedeflere sahip tek Çinli yapay zeka laboratuvarı değil. Alibaba'nın Qwen ekibi, Baidu ve DeepSeek ile Moonshot AI gibi start-up'lar, model ölçeği konusunda sınırları zorlamış durumda. Ancak 10 trilyon parametrelik bir model, onların şimdiye kadar kamuoyuna duyurduğu ya da yayına soktuğu her şeyden önemli bir atlamayı temsil edecektir.
Hedef, ByteDance’ı Batı sınır laboratuvarları ile olan konuşmaya da dahil ediyor. Anthropic’ın en son sistemleri, ByteDance’ın eşleşmeyi hedeflediği rekabetçi referans noktası, şu ana kadar bilinen AI yeteneklerinin mevcut sınırını temsil ediyor.
3 ile 6 ay arasındaki ön eğitim penceresi, sonuçların veya sorunların 2026 yılının sonuna kadar ortaya çıkabileceğini anlamına gelir.