Pagkatapos ng malawakang paggamit ng mga AI tool sa mga kumpanya, lumabas ang mga bagong problema: hindi kung sapat ang lakas ng model, kundi kung mabilis ang pagtaas ng mga taksil. Nakakita ang maraming tech at internet company na bagaman bumaba ang presyo ng bawat Token, patuloy na tumataas ang kabuuang paggamit dahil sa paglalaganap ng AI coding, automated assistants, at agent tools.
Maraming kumpanya ang nagsagawa ng pagbabawas sa kanilang budget nang maaga
Ipinahayag ng TechCrunch na ang ilang kumpanya ay nagsagawa ng overbudget sa kanilang AI budget para sa taong 2026. Gumamit na ng buong taong AI coding budget si Uber hanggang Abril; binawi ng Microsoft ang ilang pahintulot sa paggamit ng Claude Code para sa mga developer matapos ang ilang buwan; sabi ng isang empleyado ng Priceline, mas mataas ng 4 hanggang 5 beses ang regular na tawag para sa pagpapalawig ng Cursor kaysa dati.
Ang pagbabagong ito ay may kaugnayan sa mas malakas na paglalabas ng mga modelo sa mga nakaraang ilang buwan. Ang Anthropic, OpenAI, at Google ay naglunsad ng mga bagong modelo na mas angkop para sa mga senaryo ng agent matapos noong Nobyembre ng nakaraan, na nagdulot ng patuloy na pagtaas sa dami ng paggamit. Isa sa mga kumpanya ay nagkaroon ng tantiyang $500 milyon na taksil sa Claude dahil hindi nila itinakda ang limitasyon sa paggamit ng kanilang mga empleyado.
Hindi laging natutugunan ng pagtaas ng produktibidad ang mga gastos
Sinabi ni Alexander Embr, head of enterprise business ng OpenAI, na kahit na anim na buwan ang nakalipas, mas nag-aalala ang mga kliyente kung sapat ba ang kakayahan ng modelo, ngayon ay nagsisilbi na ang pagdiskusyon sa pagkakita ng gastos, kakayahan sa audit, kontrol sa Token, at efisyensiya ng modelo. Ang problema sa pagbili ng AI ng mga negosyo ay umuusbong mula sa “ano ang kayang gawin” patungo sa “gaano karaming pera ang ginastos, at worth it ba ito”.
Tumataas din ang pagbabalik sa paggamit ng AI sa pag-code sa loob ng industriya. Ayon sa isang pag-aaral ni Faros AI noong Marso sa 20,000 na developer, tumataas ang output ng pag-develop, ngunit tumataas din ang mga bug at pag-uulit. Ipinakita ng pag-aaral ng engineering management platform na Jellyfish na ang mga inhinyero na malakas na gumagamit ng AI ay may produktibidad na halos dalawang beses ang dami ng mga maliit na gumagamit, ngunit ang kanilang pagkakalabas ng token ay 10 beses na mas mataas.
- Ang produktibidad ng mga mabigat na gumagamit ng AI ay halos dalawang beses ang dami ng mga maliit na gumagamit.
- Ang pagkakasunod sa token ay humigit-kumulang 10 beses na mas mataas
- Umabot sa halos 18.6 beses ang paggamit ng isang developer sa loob ng 9 buwan
Ang tool para sa pagpapahalaga ng gastos ay mas mabilis na nagiging malinaw
Habang lumalawak ang mga problema sa bills, tumataas din ang pamilihan ng mga kasangkapan para sa pagpapamahala ng gastos sa AI. Ipinahayag ng Linux Foundation noong linggong ito ang pagbuo ng Tokenomics Foundation, na naghahanap na magkaroon ng isang magkakasunod na wika at pamantayan para sa gastos sa AI Token, gaya ng FinOps sa larangan ng cloud cost management.
Inaasahan na maglunsad ang organisasyon noong July ang mga bukas na pamantayan para sa paggamit at pagbabayad ng Token, isang magkakasunod na mga indikador, at mga bagong pagsukat para sa kahusayan sa gastos, tulad ng “bawat yunit na matalinong gastos” o “bawat watt ng Token.” Ang opisyal na paglunsad ay inaasahang mangyayari noong July, at mas maraming miyembro ay ipapahayag sa darating na Konperensya ng FinOps X.
Samantay, patuloy na pinapabilis ng mga startup at mga matatag na kumpanya ang kanilang pagpapalawak. Ang mga kumpanya tulad ng Pay-i at Paid ay nagtatampok ng AI na pagsubaybay, pagsukat, at pagpapabuti ng gastos; ang Jellyfish, Waydev, at Faros AI ay nag-aalok ng mga serbisyo sa pagmamasid ng AI agent; habang ang Ramp, Datadog, at New Relic ay nagdaragdag ng mga tampok sa pagpapahalaga ng AI spending, observability sa antas ng Token, at pagmamasid ng GPU.
Ang model routing ay naging direksyon para sa pagbaba ng gastos
Hinuhulaan ng ilang investor at corporate executives na mas maraming ganitong kakayahan ang makikita sa application layer o model routing layer sa hinaharap. Halimbawa, ang corporate AI startup na Factory ay ipinakilala ang kanilang model router this week, na awtomatikong pumipili ng mas angkop na model batay sa task upang bawasan ang gastos sa pagtawag. Mayroon nang mga kumpanya na gumagamit ng katulad na pamamaraan—kahit na tinatawag ang mas mataas na antas na model, ang sistema ay kumikilos ng ilang mga request sa mas mura na model.
Karagdagang impormasyon: Inaasahan ng Goldman Sachs na magkakaroon ng 24-fold na pagdami sa global na paggamit ng Token hanggang 2030. Para sa mga negosyo na nasa mahabang pagsisikap, kung paano kontrolin ang gastos habang pinapalawak ang paggamit ng AI, ay naging isang praktikal na isyu sa susunod na yugto ng deployment.