Model dengan hanya 2 miliar parameter telah merebut posisi teratas di antara model terbuka di bawah 4 miliar parameter di Artificial Analysis Intelligence Index v4.2, dengan skor 15 poin. MiniCPM5-2B dari OpenBMB, yang dibangun bersama laboratorium NLP Universitas Tsinghua dan ModelBest, dirancang untuk berjalan di ponsel, laptop, dan perangkat lain di mana sumber daya komputasi merupakan kemewahan, bukan hal yang pasti.
Apa yang sebenarnya diukur oleh benchmark
Artificial Analysis merilis versi 4.2 dari Intelligence Index pada 4 September 2026, hanya tiga hari sebelum MiniCPM5-2B diluncurkan. Indeks yang diperbarui memperkenalkan perubahan signifikan dalam cara model AI dievaluasi.
Set uji pribadi sekarang menyumbang 40% dari total bobot, naik dari versi sebelumnya. Ini penting karena uji pribadi lebih sulit untuk dimanipulasi. Ketika pengembang model tidak dapat melihat soal ujian sebelumnya, skor menjadi sinyal yang lebih kredibel terhadap kemampuan asli.
Pembaruan v4.2 juga menambahkan dua komponen evaluasi baru: evaluasi agen AA-Briefcase dan uji panjang konteks GDP.pdf dari Surge. Penambahan ini mencerminkan meningkatnya minat industri terhadap model yang dapat bertindak secara otonom dan memproses dokumen sangat panjang, bukan hanya menjawab pertanyaan trivia dengan baik.
Di puncak leaderboard keseluruhan, model propietaris masih mendominasi. Claude Fable 5.1 dari Anthropic memimpin. Namun di kategori parameter di bawah 4B, di mana efisiensi dan aksesibilitas lebih penting daripada kekuatan mentah, MiniCPM5-2B berada di puncak peringkat open-weight.
Model kecil, ambisi luas
MiniCPM5-2B adalah transformer padat, yang berarti setiap parameter aktif selama inferensi, bukan dialihkan melalui arsitektur mixture-of-experts. Model padat cenderung lebih dapat diprediksi dalam konsumsi sumber dayanya, yang tepat seperti yang Anda inginkan saat menerapkan AI ke perangkat edge.
Model ini mendukung jendela konteks mulai dari 131K hingga 512K token tergantung pada konfigurasi. Sebagai referensi, 512K token kira-kira setara dengan memproses buku 1.000 halaman dalam satu proses.
OpenBMB telah mengoptimalkan MiniCPM5-2B untuk chip dari AMD, Intel, MediaTek, dan Qualcomm.
Di sisi kemampuan, tim mengklaim kinerja terkini dalam rentang parameternya di berbagai bidang seperti pemrograman, matematika, pemahaman konteks panjang, pemanfaatan alat, dan alur kerja agen.
Pelatihan model menggabungkan pelurusan pembelajaran penguatan dan apa yang OpenBMB gambarkan sebagai trajektori berkualitas tinggi, teknik yang dirancang untuk meningkatkan cara model menangani pengambilan keputusan kompleks dan berurutan.
Rantai MiniCPM
MiniCPM5-2B membangun rekam jejak. Pendahulunya, MiniCPM5-1B, sebelumnya mendapat skor 17.9 pada versi sebelumnya dari Artificial Analysis Index, mengklaim posisi teratas di antara model dengan parameter di bawah 2 miliar.
Perbedaan skor antara dua model, 17,9 untuk versi 1B dan 15 untuk versi 2B, mencerminkan perubahan dalam metodologi indeks, bukan kemunduran. Ketergantungan lebih besar versi 4.2 pada kumpulan uji privat dan kategori evaluasi baru berarti skor di berbagai versi tidak dapat dibandingkan secara langsung.
Apa artinya ini bagi AI di perangkat
Lanskap kompetitif untuk model kecil semakin ramai. Seri Llama dari Meta, model Phi dari Microsoft, dan varian Gemma dari Google semuanya bersaing di rentang parameter yang serupa. Kepemimpinan MiniCPM5-2B dalam benchmark kategori di bawah 4B patut diperhatikan, tetapi dominasi dalam benchmark dan utilitas dunia nyata tidak selalu bergerak sejalan.
Validasi independen terhadap kinerja yang diklaim model belum didokumentasikan secara publik. Dalam pengujian benchmark AI, reproduksi hasil oleh pihak ketiga adalah perbedaan antara rilis pers dan kemampuan yang telah terbukti.