Pokee AI Meluncurkan Model 28B dengan Konteks 10M Token, 10x Lebih Panjang Daripada Model Arus Utama

iconKuCoinFlash
Bagikan
AI summary iconRingkasan
Media berita AI + kripto MetaEra melaporkan bahwa Pokee AI telah meluncurkan model 28B-nya, Pokee-Isaac, dengan jendela konteks 10 juta token—10 kali lebih panjang daripada kebanyakan model. Dikembangkan oleh mantan pemimpin Meta Zhu Zheqing, model ini mendapat skor 95 dalam tes token 256K–4M dan 93,3 pada 10 juta token. Perusahaan yang didirikan pada 2024 ini mengumpulkan dana seed sebesar $12 juta dari Point72 Ventures, Qualcomm Ventures, dan Samsung NEXT. Pencatatan token baru mungkin mendapat manfaat dari kemajuan AI semacam ini.
ME AI Berita, menurut pemantauan Beating, perusahaan startup agen AI Pokee AI meluncurkan Pokee-Isaac 28B. Jumlah parameter model hanya 2,8 miliar, namun jendela konteks mencapai 10 juta Token. Saat ini, batas atas model utama sekitar 1 juta Token, sementara Isaac mendekati 10 kali lipatnya. Dalam pengujian internal Pokee, Isaac tetap mempertahankan skor sekitar 95 pada pengujian teks panjang RULER, mulai dari 256.000 hingga 4 juta Token. Setelah ditingkatkan hingga 10 juta Token, skornya masih 93,3. Lima model pembanding lainnya tidak menghasilkan hasil yang dapat digunakan mulai dari 2 juta Token. Pokee mengaitkan konteks superpanjang ini dengan arsitektur 'non-pure Decoder-only' buatan sendiri, yaitu tidak sepenuhnya mengikuti struktur decoder-only yang umum digunakan pada model besar. Namun, laporan teknis tidak mengungkapkan arsitektur spesifik, mekanisme perhatian, atau solusi memori GPU, sehingga pihak luar belum dapat menilai bagaimana hal ini dicapai. Pokee AI didirikan pada 2024 oleh Zhu Zheqing, mantan kepala pembelajaran penguatan aplikasi di Meta. Perusahaan ini sebelumnya menerima putaran seed sebesar $12 juta yang dipimpin oleh Point72 Ventures, dengan partisipasi dari Qualcomm Ventures dan Samsung NEXT. (Sumber: MLion)
Sumber:Tampilkan versi asli
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini. Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.