Bumagsak na ng unang open-source agentic coding model ni Cohere, at ang arkitektura nito ay nagpapakita ng lahat tungkol sa direksyon ng kalabanang AI sa enterprise. Ang North Mini Code 1.0, isang 30 bilyong parameter Mixture-of-Experts model, ay inilunsad noong June 9 ilalim ng Apache 2.0 license, gawaing libre sa Hugging Face para sa sinumang nais tumakbo ng isang kakayahang coding assistant nang hindi nangangailangan na mag-contact sa cloud ng iba.
Nakakuha ang modelo ng 27.6 sa Artificial Analysis Intelligence Index, isang benchmark na nagtatangkang magkaroon ng istandard na paraan kung paano natin ihahambing ang mga AI model batay sa kanilang kakayahan.
Ang MoE trick na nagpapagana nito
Ang North Mini Code ay nagreroute sa bawat query sa isang maliit na subset ng mga espesyalisadong “eksperto” na network sa loob ng mas malaking modelo, na may kabuuang 30 bilyong parameter ngunit lamang 3 bilyon ang aktibo sa anumang oras, na nagpapanatili ng mas mababang gastos sa inference kaysa sa kailangan ng isang dense na 30B na modelo.
Ang modelo ay sumusuporta sa haba ng konteksto na 256K na token at maaaring mag-generate ng output hanggang 64K na token. Para maipaliwanag ang mga numero na ito, ang 256K na token ay katumbas ng pagpapasok sa modelo ng buong mid-sized na codebase at paghingi nito na maunawaan ang mga ugnayan sa pagitan ng mga file, function, at dependencies. Ang hangganan ng 64K na output ay nangangahulugan na maaari itong mag-generate ng malalaking bloke ng code sa isang pagkakataon, kaysa maghingi sa mga developer na i-chain ang maraming mas maikling sagot.
Ipinakita ni Nick Frosst, co-founder ng Cohere, ang model sa social media ilang araw bago ang launch, kasunod ng maagang pag-access ng komunidad noong June 6-7 bago ang buong pampublikong paglabas noong June 9.
Bakit bukas ang source, at bakit ngayon
Ang Apache 2.0 license ay isa sa pinakamalayang uri ng open-source, kaya maaaring baguhin, i-deploy, at kahit komersyalisahan ng mga kumpanya ang modelong ito nang walang mga problema sa lisensya. Para sa isang enterprise CTO sa isang pambansang institusyon na binigyan ng compliance na walang proprietary na data ang maaaring lumabas sa loob ng gusali, ito ang uri ng modelong talagang makakapasok sa legal review.
Ang paglabas ay nangyari sa loob ng higit sa tatlong linggo pagkatapos ng paglunsad ni Cohere ng Command A+, ang kanilang dating modelo, noong Mayo 20. Nakakuha ang Command A+ ng marka na 37 sa Artificial Analysis Intelligence Index. Ang ganitong ritmo ay nagpapakita na ang kumpanya ay pabilis ang kanilang jadwal ng paglalabas.
Ano ang ibig sabihin nito para sa mga investor at sa mas malawak na merkado
Ang kabuuang 30B, 3B active parameter split ay nangangahulugan na ang mga organisasyon ay maaaring jalurin ito sa mas kaunting hardware kaysa sa isang katumbas na dense model, na maaaring magbawas sa mga kinakailangang GPU na nagiging dahilan kung bakit ang pagtatanghal ng enterprise AI ay mahal at logistikal na nakakapagod.
Ang mas malawak na tanong para sa sinoman na nagmamasid sa sektor ng AI ay kung ang mga espesyalisadong code model ay magkakaroon ng pagkakaisa sa ilalim ng ilang tagapagtagumpay o magpapatuloy sa pagkakahati-hati. Ang 256K na context window at 64K na output length ng North Mini Code ay nagpapahiwatig na hinahangad ng Cohere ang agentic workflows, kung saan ang mga AI model ay hindi lamang nag-a-autocomplete ng isang linya ng code kundi nagpaplano, nagpapatupad, at nag-i-iterate sa buong mga gawain sa software engineering.