source avatarDeltaSignal

Bagikan

Gunakan model AI khusus. Saya telah menghabiskan berminggu-minggu menguji model pemrograman 8B–30B di Azure A100. Model yang mengubah arsitektur kami? 137M parameter-dilatih dalam 3 menit 35 detik di Mac mini M2 Pro. FastContext Microsoft mengungkapkan bottleneck: eksplorasi repositori dapat mengonsumsi 46,5% dari token agen pemrograman. Eksperimen yang mereka publikasikan mengurangi penggunaan agen utama hingga 60,3%. Saya mengembangkan ide ini lebih jauh di DeltaCode: → Go mencantumkan konteks repositori yang sah → Ranker khusus 137M kami menangani pemilihan rutin → FastContext 4B hanya menangani eksplorasi READ/GLOB/GREP yang ambigu → Qwen3 4B khusus melakukan preflight pemrograman → Model mahal menerima bukti yang dikompresi—bukan seluruh repositori → Kompiler dan tes tetap memiliki otoritas akhir Ranker khusus saya mencapai: • Recall@5 tertutup sebesar 57,97% • +5,80 poin lebih tinggi dari model standar • +14,49 poin lebih tinggi dalam Recall@1 • Recall@5 sebesar 73,33% pada kasus eksternal yang diarahkan • 0 otoritas eksekusi Perbedaan efisiensinya sangat besar: • 96,6% lebih sedikit parameter dibandingkan eksplorer 4B • 99,5% lebih sedikit dibandingkan model 27B–30B • Hanya 0,3225% dari parameternya yang dilatih • Oleh karena itu 99,68% basis tetap beku • Seluruh biaya A100 dihindari untuk adapter ini • Diperkirakan pengurangan 35–55% pada token konteks cloud setelah kaskade menangani pencarian repositori rutin secara lokal* Model yang lebih besar tidak gagal karena kurang cerdas. Mereka gagal karena kita meminta satu model untuk menjelajah, bernalar, memformat, memprogram, mengoperasikan alat, dan memverifikasi dirinya sendiri. Model yang lebih kecil menang karena masing-masing memiliki satu tugas yang terukur. Saya telah menggunakan eksperimen A100 mahal untuk belajar bagaimana tidak memerlukan komputasi mahal di produksi. Masa depan agen pemrograman mungkin bukan satu LLM besar. Mungkin tim kecil spesialis—masing-masing dilatih untuk satu tugas, masing-masing diukur secara independen, dan tidak ada yang dipercayai dengan otoritas akhir.

No.0 picture
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini. Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.