ME Haberleri'ne göre, 16 Mayıs (UTC+8) tarihinde Beating tarafından izlendiğine göre, ByteDance Seed ekibi Cola DLM'yi açık kaynak hale getirdi. Bu, büyük dil modellerinin sol sağa token bazlı sabit üretme yolunu atlamayı amaçlayan sürekli gizli dağılım dil modelidir ve metin üretimi, önce üst düzey anlamsal yapıyı organize edip ardından spesifik kelimelere dönmeyi hedefler. Cola DLM'in çekirdeği Text VAE + block-causal DiT'tir. Text VAE, öncelikle ayrık metni sürekli gizli alana haritalar; block-causal DiT ise Flow Matching aracılığıyla gizli öncülü öğrenir ve nihayetinde koşullu çözücü, gizli değişkenleri metne geri döndürür. Yayılma süreci, doğrudan token düzeyinde gürültü kaldırma yerine, gizli anlamsal temsilleri işler. Bu açık kaynak sürümü 2B sınıfı bir modeldir ve toplam yaklaşık 2,3 milyar parametre içerir; bu parametrelerden 1,8 milyarı temel DiT, 500 milyonu ise VAE'dir. LAMBADA, MMLU, OBQA, HellaSwag, RACE, SIQA, SQuAD ve Story Cloze olmak üzere 8 testte, makale, birleşik üreteç değerlendirme protokolü altında aynı boyutta AR/LLaDA temel modelleriyle rekabet edebilecek ölçeklenebilirlik performansına sahip olduğunu ve nihai ortalama skorda en iyi sonucu elde ettiğini belirtmektedir. Ancak şu anda bu bir araştırma checkpoint'idir ve doğrudan kullanıma hazır bir diyalog modeli değildir. Resmi açıklama, modelin yönlendirme ince ayarına veya RLHF'ye tabi tutulmadığını ve ana amacı sürekli gizli yayılma yöntemlerinin metin üretimi üzerindeki etkisini araştırmak olduğunu belirtmektedir. Makale, metin-görüntü birleşik modellemeye genişletme için ilk deneysel sonuçları da sunmaktadır; ancak bu açık kaynak deposu yalnızca metin işlem hattını içermektedir. (Kaynak: BlockBeats)
ByteDance, Cola DLM'yi Açık Kaynak Hale Getiriyor: Metin Oluşturma İçin Bir Dağılım Modeli
KuCoinFlashPaylaş
Özet
ByteDance'ın Seed ekibi, 16 Mayıs'ta (UTC+8) MetaEra üzerine dayanarak, metin üretimi için Cola DLM adlı bir difüzyon modelini açık kaynak hale getirdi. Model, yüksek seviyeli anlamsal yapıları önceden organize ederek metin üretmek için bir Metin VAE ve blok-kazalı DiT'yi birleştiriyor. 2B ölçekli açık kaynak sürümü, toplam 23 milyar parametre içeriyor ve sekiz benchmark'ta güçlü performans gösteriyor. Bu model, talimat ince ayarı veya RLHF eksikliği nedeniyle bir diyalog modeli değil, bir araştırma kontrol noktası olarak kalıyor. Likidite ve kripto piyasaları gelişmeye devam ettikçe, bu tür modeller, içeriğin daha iyi taranması ve dolandırıcılık tespiti yoluyla CFT (Terörizmin Finansmanına Karşı Mücadele) çabalarını etkileyebilir.
Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir.
Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.