Kurumlar, AI benimsemeden token bütçe tahsisine geçiyor

Token Bütçe Savaşları

Yazar: Jaya Gupta

Peggy

Editör Notu: Kurumsal AI, 'kullanılıp kullanılmaması' aşamasından 'nasıl hesaplanacağı' aşamasına geçiyor.

Geçtiğimiz iki yıl boyunca birçok şirket, çalışanlarının AI kullanımını teknoloji trendlerine ayak uydurmak ve rekabet baskısına karşı korunmak amacıyla teşvik etti. Ancak AI çıkarımı maliyetleri, deneysel bütçelerden sürekli işletme giderlerine dönüştüğünde, CEO'lar ve CFO'lar daha gerçekçi bir soru sormaya başladı: AI gerçekten ne kadar değer yarattı? Her dolarlık token maliyeti, hangi somut sonuçları getirdi?

Bu, tam olarak "Token Bütçe Savaşları"'nın çekirdeğidir. Token bütçe savaşları, şirketlerin AI faturalarını düşürmekle sınırlı değil, hangi işlerin daha fazla hesaplama gücüne değer kazandırdığını, hangi görevlerin daha ucuz modellere dönüştürülebileceğini, hangi süreçlerin dış kaynaklı veya insan gücüyle değiştirilebileceğini ve hangilerinin sadece verimsiz tüketim olduğunu yeniden değerlendirmektir.

Makaleye en çok dikkat edilmesi gereken nokta, AI kullanım miktarının değerle eşdeğer olmadığıdır. SaaS dönemiyle, kullanım miktarı genellikle yazılımın benimsendiğini gösterir; ancak AI dönemiyle, token tüketimi sadece “sayacı çalıştığını” gösterir. Aynı iş akışı, uyarı metni, bağlam, model seçimi ve yeniden deneme sayısı nedeniyle birkaç kat maliyet farkı yaratabilir. Fatura artışı, AI’nın gerçekten çalıştığını gösterebilir ya da sistemin etkisizce uğraştığını.

Bu nedenle, kurumsal AI'nın bir sonraki aşamasında, anahtar nokta sadece model yetenekleri değil, token maliyetlerini iş sonuçlarıyla ilişkilendirebilme kapasitesidir. İlk aşama, AI'nın işleri yapabileceğini kanıtladı; ikinci aşama ise: bu işlerin gerçekten ödenmeye değer olup olmadığını yanıtlamaktadır.

Aşağıda orijinal metin yer almaktadır:

Şirket üst düzeyinde, yeni “para” sizin kantitatif AI yatırım getirisi ölçümünüzdür. Her fonksiyonel departman aynı soruyu alır: Ne ürettiniz? Maliyeti ne? Geçtiğimiz iki yıl içinde, CEO'lar sabah uyanıp CNBC'de Jim Cramer’ı (#bearish) izlerken, rakiplerinin verimlilik artışı ilan etmesini gözlemledi ve şirket genelinde AI kullanımını zorunlu kıldı. Şimdi gerçekten baskı yaratan, bu sonraki soru: Bana değeri kanıtlayın.

Claude, 2025 Kasım'da piyasaya sürüldü ve o zaman çoğu şirketin 2026 yıllık bütçesi zaten sabitlenmişti. İlk çeyrekte şirketlerin gerçek kullanım miktarı, orijinal planın çok üzerindeydi. İşleme maliyetleri artık yalnızca deneme amaçlı bir bütçe kalemi değil, sürekli gerçekleşen bir operasyonel maliyet haline geldi. Buna paralel olarak, yeni bir soru ortaya çıktı: AI tam olarak nerede gerçek değer yaratıyor?

Bu soruyu cevaplamak zor, çünkü token'in işlevi nicelleştirilmemiş. Faturalar, bu harcamanın insan gücünü yerine geçirdiğini, gelir yarattığını, riski azalttığını, süreci hızlandırdığını mı yoksa sadece bir grup mühendisin puan listesi için token yığıncağı yaptığı mı (metamates) söyleyemez. Harcama birkaç yüz bin dolar seviyesindeyken hâlâ bir deney gibi görünür. Ancak bir kritik noktayı aşarsa, örneğin yedi haneli hale gelirse, bu altyapı haline gelir. Teknik farklar artık kar-zarar tablosunda somut etkiler yaratmaya başlar: Aynı iş akışı, aynı girdilerle iki kez çalıştırıldığında token maliyeti 5 ila 10 kat kadar farklı olabilir, ancak görünüşte hiçbir sorun yoktur. Deney ölçeğinde bu dalgalanmalar zaten oldukça maliyetlidir; ancak altyapı ölçeğine ulaşıldığında, bu rakam CFO'nun CEO'ya açıklaması gereken bir sayı haline gelir.

Buna "marjinal token faydası" diyebilirsiniz: her ek bir dolar inference maliyetiyle yaratılan ticari değer. Bu, ölçeklendirme aşamasında gerçekten önemli olan ve çoğu şirketin şu anda göremediği sayıdır.

Kurulda sorular, "AI'nın kullanımı var mı?" yerine "AI tam olarak nerede gerçek bir kaldıraç oluşturuyor?" yönüne doğru kaymaktadır. Bu nedenle, token bütçesi tartışması aslında token dağıtım hakkı için yapılan bir mücadeledir.

Token sahipliği mücadelesinin hızla ısınmasının nedeni, otuz yıldır süren bir yönetici içgüdüsüyle çakışmasıdır: büyük ekipler, büyük pozisyonlar, geniş sorumluluk alanları ve daha fazla güç anlamına gelir. Geçmişte, üst düzey yöneticilerin başarısının görünür göstergesi, yönettikleri ekip büyüklüğüydü—doğrudan altınlardan, dolaylı altınlara ve organizasyon yapısındaki toplam kişi sayısı kadar.

Ancak akıl kıt bir kaynak haline geldiğinde, yeni işaret şeye dönüşür: Ne kadar akıl yönetebiliyorsunuz.

Yapay zeka harcamaları temelde insan maliyetleriyle rekabet etmektedir.

Çoğu AI bütçe başvurusu, temelde üç tür iddia arasındadır: dış kaynaklı işgücünü yerine geçirmek, dahili işgücünü yerine geçirmek veya yeni gelirler yaratmak.

Bir çalışanın maaşı vardır. Bir BPO dış kaynak anlaşması, bilet, iddia, fatura veya denetim bazında fiyatlandırılır. İnsanlar bu ölçü birimlerini anlar. Ancak hesaplama maliyeti daha karmaşıktır, çünkü bir görevin nihai maliyeti, sistemin yürütme sırasında nasıl çalıştığına bağlıdır. Üç kez yeniden deneme, insan düzeltmesi ve öncü model çağrısı gerektiren bir iddia görevi, yerine geçmeye çalıştığı dış kaynaklı insan gücünden daha pahalı olabilir. Bu nedenle tartışma şu yöne doğru kaymaktadır: Bir sonucu tamamlamanın maliyeti nedir? Örneğin, her çözülen bilet, her işlenen iddia, her denetlenmiş sözleşme, her tamamlanmış fatura, her önlenen yeni pozisyon, her tutulan müşteri veya her dolar gelir dönüşümüne karşılık gelen maliyet.

Yöneticiler, BPO'nun bu işler zaten «tamamlanan birim» bazında ödenmesi nedeniyle en kolay ölçümlenebilir nokta olduğunu fark ettiler. Buna karşılık, dahili çalışanlar ile AI arasındaki karşılaştırma çok daha zordur, çünkü çalışanlar her gün birçok şey yapar, bunlar arasında öğle aralarında TikTok kaydırmak da yer alır; verimlilik artışı genellikle istihdam edilmemesi veya dağılmış kapasite serbest bırakması şeklinde ortaya çıkar; yöneticiler ise sadece kısmi otomasyon nedeniyle ekip boyutunu azaltmaya direnir. BPO, iş birimlerine ölçülebilir bir referans noktası sağlar.

Bu, SaaS'nin mantığından farklıdır. SaaS, işletmelerin kullanım miktarını değerin bir göstergesi olarak görmesini sağlamıştı.

Ancak AI bunu bozdu. Aynı iş akışı, ipucu, alınan bağlam, seçilen model, çağrılan araç, yeniden deneme sayısı ve agent'in takılıp takılmadığına bağlı olarak ne kadar çıkarım kaynağı tüketeceğinde büyük farklılıklar gösterebilir. Fatura üzerindeki birim — token — sabittir, ancak temsil ettiği iş yükü sabit değildir.

Daha doğru bir ifadeyle: sinyal ve gürültü aynı ölçü birimiyle hesaplanır. Token faturasının artması, gerçekten iş yapıldığını gösterebilir; ancak aynı zamanda hesaplama gücünün kötü ipuçları, ilgisiz bağlam, gereksiz araç çağrısı, tekrarlayan akıl yürütme ve aşırı kapasiteli modellerde harcanabileceğini de gösterir. İki şirketin token faturaları tamamen aynı olabilir, ancak arka planda çalışan işler tamamen farklıdır: biri akıl yürütmeyi sonuçlara dönüştürüyor, diğeri ise geçersiz çabalar için fatura ödüyor; ve bu iki durum da fatura kalemlerinde tamamen aynı görünüyor.

SaaS kullanım miktarı, yazılımın benimsendiğini söyler. AI kullanım miktarı ise sadece sayaçın çalıştığını söyler. Şirketin gerçekten harekete geçip geçmediğini söylemez.

Ana olarak üç nokta vardır.

Birinci, uzun kuyruklu yeniden denemelerdir. Bir agent'in bir iş akışını ilk denemede doğru tamamlama olasılığı p ise, her çözülen iş akışının beklenen token tüketimi yaklaşık olarak T/p oranında artar, burada T temel maliyettir. Tamamlama oranı %90'dan %70'e düşerse, her sorunu çözmenin etkili maliyeti yaklaşık %20 yerine %28 artar, çünkü başarısızlıklar bileşik etki yaratır. Kurumsal iş akışlarında girdiler genellikle karışıktır ve istisnai durumlar önemlidir. Başarısızlık yalnızca doğruluk oranını düşürmez, aynı zamanda ekonomik hesabı da değiştirir.

İkinci, bağlamın genişlemesi. Dikkat mekanizmasına yüksek oranda bağımlı işlemlerde, çıkarım maliyeti yaklaşık olarak bağlam uzunluğuyla O(n²) oranında artar. Bu nedenle, bağlam uzunluğu iki katına çıktığında, çıkarım maliyeti yaklaşık olarak dört katına çıkar. Herkes modelin yeterli bilgiye sahip olmasını ister, bu nedenle sistem genellikle aşırı veri sağlar: beş belge yeterliyken, arama elli belge getirir; bağlayıcılar tam e-posta zincirini doğrudan döker; ajanlar, zaten geçersiz hale gelen diyalog geçmişleriyle çalışmaya devam eder.

Üçüncüsü yönlendirme. Takım, hangi modelin "yeterince iyi" olduğunu bilmediğinde, varsayılan olarak en güçlü model kullanılır. Temel bir sınıflandırma görevi, orijinal olarak karmaşık çıkarımlar için kullanılan aynı modelde çalıştırılabilir. İstek sayısı milyonlara ulaştığında, basit görevleri küçük modellere bırakmak mı, yoksa tüm görevleri önde gelen modele mi vermek, kontrol edilebilir faturalar ile yönetim kurulu düzeyindeki sorunlar arasındaki farkı oluşturur.

Yazılım dışı sektörler, bu acıyı bir “dönüşüm” şeklinde hissedecek. Yazılım şirketleri, optimize edilen işlerin zaten tamamen ölçülebilir olduğu için bu sorunu ilk görecektir. Mühendislik ekibinin PR'leri, commitleri, dağıtımları, olayları, döngü süreleri, ortalama onarım süreleri gibi göstergeleri vardır ve bu göstergeler ürünle bağlantılıdır. Bu ölçümler mükemmel olmasa da, bu tür işlerin ölçülmesi daha kolaydır.

Bu sorunu daha derin bir şekilde hissedecek olanlar, operasyonel işler yapan yazılım olmayan şirketlerdir. Örneğin: tazminat talepleri, sigorta altına alma, müşteri hizmetleri biletleri, uygunluk denetimleri, tedarik zinciri istisnaları, ödeme anlaşmazlıkları. Veya gerçek dünya varlıklarına sahip olan şirketler de aynı sorunla karşı karşıya kalır. Bu iş akışları geçmişte genellikle elle yönetilirdi ve süreler, SLA başarı oranları ve hata oranları ile ölçüldü; ayrıca sadece ortalama düzeyde doğru olmakla kalmayıp, denetimlerde dayanıklı olmak için daha yüksek standartlar gerektirirdi. İş birimleri ve maliyet birimleri aynı dili kullanmaz ve aynı organizasyon içinde yer almaz. Teknoloji ekibi token tüketimini görebilir, iş birimleri ise iş akışı değişikliklerini görür; ancak ikisini birbirine bağlamak için önce birçok ekibin “tam olarak ne ölçülmektedir” konusunda hemfikir olması gerekir.

Yazılım şirketleri, token bütçesi mücadelesini bir verimlilik ölçümü sorunu olarak yaşayacak, bu da daha önce gerçekleşen birçok "AI ile işten çıkarma" olayıyla eşleşir; yazılım olmayan şirketler ise bunu bir dönüşüm sorunu olarak yaşayacaktır.

Eksik olan katman, token'dan sonuca kadar olan atıf katmanıdır. Kurumlar, çıkarım giderlerini tamamlanan işlerle ve üretilen iş sonuçlarıyla bağlayan bir dönüşüm katmanına ihtiyaç duyar. Bu katman, üç soruyu yanıtlamalıdır: Bu iş akışının gerçek maliyeti, yeniden denemeler ve düzeltmeler dahil olmak üzere nedir? Agent'in yürütme izindeki hangi kısımlar gerçekten önemlidir ve hangileri sadece gereksiz çaba? Bu iş, operasyonel modeli değiştirdi mi—örneğin, her müşteri hizmeti temsilcisine düşen bilet sayısı azaldı mı, tazminat döngüsü kısaldı mı, BPO bütçesi küçüldü mü, istihdam ertelendi mi? Bir sonraki katman, sonuç atıflarını iş diliyle yapmaktır. Sadece "Bu iş akışı 2,13 dolar maliyetli" demek yerine şunu söylemek gerekir: Bu tür tazminatlar, agent tarafından işlendiğinde BPO'dan daha ucuzdur, ancak poliçe ekstra istisnai belgeler gerektiriyorsa, tekrarlanan uzun kuyruklar ekonomikliği yok eder.

Ölçüm, belleğe dönüşecektir. Bir token ile bir sonucu birleştirmek için şirketler, aracının ne gördüğünü, neyi sorguladığını, hangi araçları kullandığını, neyi göz ardı ettiğini, nerede yeniden denediğini, ne zaman insan müdahalesiyle değiştirildiğini, hangi istisna kuralının uygulandığını, hangi öncülün etkili olduğunu ve bir yolun neden başarılıken diğerinin neden başarısız olduğunu kaydetmelidir. Ölçüm katmanı, karar izini kaydetmelidir; bu da şirketlerin geçmişte neredeyse asla gerçekten sahip olmadıkları bir şeydir. Kayıt sistemleri ne olduğunu yakalayabilir, ancak nedenini nadiren yakalar. Örneğin, CRM bir işlemin ertelendiğini söyleyebilir, ancak satış tahminlerinin arkasındaki yazılı olmayan yargıları açıklayamaz.

Karar alma nedeni, Slack thread'leri, e-posta zincirleri, yükseltme toplantıları ve insan zihinlerinde yer aldığı için şirket içinde en kolay yozlaşabilen ve en kolay kaybolabilen varlıklardan biridir. Ancak sorun, insanların ayrılmakta ve süreçlerin değişmekte olmasıdır.

AI, ajanların trajektörler üretmesi nedeniyle bunu değiştirdi. Her arama, araç çağrısı, yeniden deneme, yükseltme, insan düzeltmesi ve nihai karar, bağlamdan eyleme ve ardından sonuca giden yolun bir parçası haline gelir. Başlangıçta şirketler bu trajektörleri harcamaların gerekçesini kanıtlamak için yakalar. Ancak bu trajektörler bir kez yakalandığında, maliyet raporlarından daha değerli hale gelirler, çünkü organizasyonun aslında nasıl karar verdiğini kaydeden kalıcı bir kayıt haline gelirler. (Öh, context graph, gerçekten son zamanlarda bu kelimeyi çok duyuyorum.)

Dağıtım katmanı gerçek ödülür. Eğer mantık, müşteri operasyon modelinde bir kullanım bazlı kaynak haline gelirse, her doların harcanmaya değer olduğunu kanıtlamalıdır. Hangi tedarikçiler, token'ın ne zaman sonuçlara dönüştüğünü, ne zaman dönüştüğünü ve nedenini açıklayabilir?

Şirketler bu işi kendi başlarına tamamen keşfetmez; bunu bir dönüşüm olarak satın alırlar. Fortune 500 şirketleri bu senaryoyu daha önce tekrar tekrar yaşamıştır: Güvenlik kemeri takın, McKinsey’i işe alın, pazardaki her Palantir eski çalışanını istihdam edin ve CEO tarafından yukarıdan aşağıya doğru değişimi yönlendirin. Token’dan sonuca kadar olan atıf da ERP, BI ve dijital dönüşüm gibi şekillerde ortaya çıkacaktır: Yöneticilerin desteklediği bir “proje” olarak gelecek, alt yapıyla desteklenecek ve nihayetinde yeni gerçek kaynağı haline gelecektir. Bu işi yapabilecek kurucular, geleneksel girişimci profiline farklı türde kurucu ekipler kuracaklardır.

Token'un sonuçlara atfedilmesini kim kontrol ederse, hangi iş akışlarının daha fazla hesaplama gücüne değer kazandığını, hangilerinin sınırlanması gerektiğini, hangilerinin daha ucuz modellere geçiş yapması gerektiğini, hangilerinin insan tarafından tamamlanması gerektiğini ve hangilerinin BPO'nun yerini alabileceğini belirleme kararını alır. Bu kararları verebilirseniz, şirket içi AI harcamalarının akışını kontrol altına alırsınız ve bu kaynağı dağıtmak için gerekli olan güveni kazanırsınız.

Kurumsal AI'nın ilk aşaması, modellerin iş yapabileceğini kanıtladı. Bir sonraki aşama, bu işlerin ne kadarının ödenmeye değer olduğunu belirleyecektir. Charlie Munger'in dediği gibi: Bana teşvik mekanizmasını gösterin, size sonucu söyleyeyim.

Kaynak bağlantı