Microsoft Beyaz Kağıdı, Harness Switch'in Claude Performansını %22,1 Artırdığını Gösteriyor

Yazar: Tencent Tech

7 Kasım'da Microsoft, Agent yürütme sistemiyle ilgili bir teknik beyanname yayınladı ve bu beyanname, biraz beklenmedik test sonuçlarını içeriyordu: Aynı Claude Opus 4.8 kullanılırken, Copilot Studio'nun arkasındaki Harness değiştirildiğinde, karmaşık görevlerin başarı oranı %22,1 arttı. Yeni sistem, her görevde modeli neredeyse iki kat daha fazla çağırdı, ancak hesaplanan giriş Token tüketimi %21 azaldı.

On gün önce, Microsoft, tüm Copilot Harness'ini çeşitli ürünlerine yaymayı ve bulut platformu aracılığıyla geliştiricilere barındırılmış hizmetler satmayı duyurdu.

5 Kasım'da, Ay'ın Karanlık Yüzü, Kimi Hosted Agents'ı (yönetilen akıllı ajanlar) yayınladı ve Harness as a Service'i resmen duyurdu. Ağustos'ta, DeepSeek, kendi Harness'ini açık kaynak hale getirdi; OpenAI ve Anthropic, daha önce iç sistemlerini geliştiricilerin kullanabileceği hizmetlere dönüştürmüştü.

Arka plandaki büyük modelin "çalışma sistemi", model şirketleri için kilit figür haline geliyor.

Harness, büyük modeller etrafında kurulan bir Agent çalışma sistemidir. Bu sistem, modelin dış araçları kullanmasına, çok adımlı görevleri sürekli olarak yürütmesine ve yürütme sonuçlarına göre sonraki eylemlerini ayarlamasına olanak tanır. Uzun süre çalışan Agent'lar için, Harness görev durumunu kaydeder ve kesintilerden sonra işin devam etmesini sağlar.

Bu, AI uygulamalarından farklı bir seviyede yer alır. Örneğin, Claude Code ve WorkBuddy gibi ürünler doğrudan kullanıcıya yöneliktir, ancak alt yapıdaki Harness, farklı uygulamalar tarafından yeniden kullanılabilir veya geliştiricilere bağımsız bir hizmet olarak sunulabilir. Agent'ların üstlendiği işler giderek daha karmaşık hale geldikçe, Harness, görev başarı oranını, yürütme verimliliğini ve işletme maliyetlerini etkileyen önemli bir faktör haline gelmektedir.

Anthropic, Claude Code'in uzun süreli programlama görevlerinde karşılaştığı sorunları çözmek amacıyla Harness geliştirme çalışmalarına erken dönemde dahil olan model şirketlerinden biridir.

2025 yılının sonunda, Anthropic, Claude'nin bağlam penceresi tükendiğinde yeni bir diyalogun önceki çalışmaları devam edemediğini fark etti. Mühendisler, Agent'in her aşamanın sonunda ilerlemeyi kaydedip, sonraki turda bu kayıtları okuyarak tamamlanmamış görevleri sürdürmesini sağlayan Claude Code'un arka planındaki Harness'i geliştirdi. Böylece, bir model oturumu bitsen bile, tüm programlama görevi ilerlemeye devam edebilir.

Nisan 2024'te Anthropic, Managed Agents'i daha da geliştirdi ve bu Agent çalışma yeteneklerini geliştiricilere bulut hizmeti olarak sundu. Kurumların Agent'leri uzun vadeli ve kararlı bir şekilde çalıştırmalarını sağlamak için Anthropic, alt yapıyı da düzenledi: Harness, görev yürütmesini sağlıyor; geçmiş kayıtları ayrı olarak saklanabiliyor ve AI çalışma ortamı her zaman değiştirilebiliyor. Ortam arızalansa bile, Agent önceki çalışmalarını geri kazanabiliyor.

Anthropic, Claude Code'in dahili çalışma sisteminden dış geliştiricilere yönelik barındırma hizmetlerine kadar yıllarca birikmiş harness yeteneklerini bağımsız bir ürün haline getiriyor.

OpenAI, Codex'in arkasındaki Harness'ı daha fazla geliştiriciye açmayı seçti. Bu yıl Şubat'ta OpenAI, Codex'in web sürümünün, komut satırı ve IDE eklentilerinin aslında aynı Agent çalışma sistemini paylaştığını açıkladı. Ağustos'ta Codex'i, üçüncü taraf uygulamaların doğrudan bağlanmasına izin veren açık bir Harness platformu olarak konumlandırdı. Eylül'de piyasaya sürülen Agents API, OpenAI tarafından barındırılan ve bakılan bu sistemi geliştiricilerin doğrudan kullanmasına olanak tanır.

Bu rota, OpenAI'nin Codex aracılığıyla doğrudan kullanıcılara hizmet vermesini ve alt düzey yürütme yeteneklerini diğer yazılım şirketlerine sağlamasını sağlar. Geliştiriciler, kendi ürün arayüzlerini ve iş akışlarını koruyabilir, Codex ise arka planda belirli görevleri yerine getirebilir.

DeepSeek, 13 Ağustos'ta MIT lisansı altında Harness'in tüm framework kodunu açtı ve "Her şey bir eklentidir" ilkesini öne sürerek Agent çalışma sistemini serbestçe birleştirilebilir eklentilere ayırdı. Geliştiriciler, model ve dış araçları değiştirmekten ziyade, Agent'ın modeli çağırma ve görev yürütme yöntemlerini değiştirebilir hatta Agent'ın kendi kendine yeni eklentiler yazıp kurmasını sağlayabilir.

Cordis tabanlı bu mimari, geliştiricilerin farklı türde Agent’leri kendi ihtiyaçlarına göre oluşturabilmesi için sistemleri baştan kurmalarına gerek kalmadan çalıştırılmasını hedeflemektedir.

5 Kasım'da Kimi, Hosted Agents'in 24/7 bulut ortamı sunduğunu resmen duyurdu; şirketler, Agent'leri iç sistemlerine entegre edebilir veya dış satış ürünlerine gömebilir ve açıkça Harness as a service belirtti.

Aslında, Harness'in popülaritesi model şirketleri tarafından başlamadı.

Bu yıl başlarında, OpenClaw'un popülerliği, temel bir modeli olmayan bir şirketin Agent çalışma sistemiyle büyük sayıda kullanıcı çekebileceğini sektörün görmesine neden oldu. Şubat'ta, OpenAI, OpenClaw'un kurucusu Peter Steinberger'ı, bir sonraki nesil bireysel Agent geliştirme çalışmalarına dahil etti.

Daha sonra, Nous Research, Hermes Agent'ı tanıtarak, Agent'ın işte biriktirdiği deneyimleri yeniden kullanılabilir Beceriler olarak kaydetmesini ve sonraki görevlerde sürekli iyileştirmesini sağlamayı amaçladı.

Martın sonunda, Stanford Üniversitesi ve diğer kurumlar, AI'nın başarısızlık kayıtlarını kullanarak Harness kodunu doğrudan düzeltmesini ve testlerle etkisini doğrulamasını sağlayan Meta-Harness'ı sundu. Bir metin sınıflandırma deneyinde, doğruluk oranı %7,7 arttı ve bağlam Token tüketimi dörtte birine düştü.

Bu araştırmalar neden model şirketlerinin yatırımı değerlidir? Ekim'de Singapur'daki Nanyang Teknoloji Üniversitesi, 66 modeli Harness ile test ederek, Harness'in değiştirilmesinin hatta modeller arasındaki performans sıralamasını bile değiştirebileceğini tespit etti.

FrontierHarness Eval, aynı Kimi K3 için Codex kullanıldığında görev geçme oranının %66,7, DeepSeek Harness Creator kullanıldığında %63,3 ve Kimi Code kullanıldığında %56,7 olduğunu tespit etti.

Temel model şirketleri için, model performansını artırmak, modelin kendisini geliştirmenin yanı sıra Harness'in tasarımı ve optimizasyonuna da giderek daha çok bağımlı hale gelmektedir.

Şekil: Aynı Kimi K3, farklı Harness yapılandırmalarında görev başarı oranı ve maliyet karşılaştırması

Araştırmacılar, Harness'ten elde edilen deneyimleri model eğitimi için kullanmaya devam ediyor. Temmuz'da önerilen Co-Harness, önce başarısızlık kayıtlarını kullanarak Harness'i iyileştiriyor, ardından optimize edilmiş yürütme verileriyle modeli eğitiyor. Kasım'da duyurulan HarnessFlow ise altı farklı görevde ortalama performansı %10,89 artırarak daha iyi Harness tasarımlarını otomatik olarak aramayı hedefliyor.

Şekil: Harness teknoloji gelişim zaman çizelgesi (2025 sonu ile 2026 Kasım arasında)

Ancak otomatik optimizasyonun da riskleri vardır. Kasımın başlarında yapılan bir araştırmada, belirli bir deneyde bir Harness'in yeni bir görev için optimize edilmesi sonucu SWE-bench üzerindeki performansı %94'ten %32'ye düşmüştür. Model yükseltmeleri, daha önce etkili olan tasarımların işlevini kaybetmesine de neden olabilir.

Bu, Harness'in teknik birikiminin bir kez çözülebilecek bir sorun olmadığı anlamına gelir. Sürekli iyileştirmede farklı görevlerin kararlılığını nasıl koruyacağımız, hâlâ çözülmemiş bir sorundur.

Bazı sektör içi uzmanlar, bu durumun açık kaynak modellerinin dağıtımı için büyük bir zorluk olduğunu belirtiyor. Bu nedenle, model şirketleri artık Harness hizmetlerini satmaya başlamış durumda. Açık kaynak çerçevesi ücretsiz olarak elde edilebilir, ancak şirketlerin Agent’leri uzun vadeli ve kararlı bir şekilde çalıştırmak için dağıtım ve bakım maliyetlerini karşılaması gerekir. Kimi, Anthropic gibi şirketler bu işleri üstlenme fırsatını görünce, Harness’i bağımsız bir iş haline getirdi, ancak farklı şirketlerin yaklaşımları büyük ölçüde farklılık gösteriyor.

Harness, artık ayrı bir ücretli hizmet olarak başlıyor, ancak şu anki fiyat listesi, model çıkarımının hala ana gelir kaynağını oluşturduğunu gösteriyor.

Anthropic'ın Yönetilen Ajanları, etkin oturum saat başına 0,08 dolar ve ek olarak token ücreti almaktadır. Resmi olarak yayınlanan bir saatlik programlama görevi örneğine göre toplam maliyet 0,58 dolar olup, yönetilen çalışma ücreti yalnızca yaklaşık %14'ü oluşturmaktadır.

Kimi'nin ücretlendirme modeli, model token'ları, sandbox çalıştırma ve ücretli eklentilerden oluşur. Yayınlanan bir yatırım bankası hukuk analizi görevinin maliyeti yaklaşık 30 yuan olarak tahmin edilirken, sandbox ücreti 0,1 yuanın altındadır. OpenAI, Agents API'nin genel deneme süresi boyunca ek hizmet ücretleri almaz ve ana maliyetleri model ve araç kullanımına dayandırır. DeepSeek, Harness'i MIT lisansı altında açık kaynak kodlu hale getirmiş ve doğrudan bir ücretlendirme mantığına sahip değildir.

Şekil: Altı model şirketi Harness'in ücretlendirme ve ticari pozisyon karşılaştırması

Yani, model şirketler şu aşamada harness üzerinden elde ettikleri doğrudan gelirler çok düşük olabilir.

Peki, neden büyük miktarda araştırma ve geliştirme kaynakları harcanıyor?

Bir önemli neden, şirketlerin gerçek bir Agent dağıttıktan sonra belirli bir modele göre Harness'e olan ihtiyacının daha kararlı olmasıdır.

ABD hukuki hizmet şirketi ABC Legal, Agent'leri önce çalışan bilgisayarlarına zamanlanmış görevlerle dağıtmıştı. Kullanımın genişlemesiyle birlikte, CTO Brandon Fuller, bu Agent'leri merkezi olarak yönetebilecek bir platform aramaya başladı. Birden fazla çözümü karşılaştırdı ve sonunda şirketin dağıtılmış çalışma ortamlarını sürdürmek istememesi nedeniyle Anthropic'in Yönetilen Agent'lerini seçti.

Anthropic'a göre, ABC Legal bir ay içinde 50'den fazla Agent'i üretim ortamına aldı ve yaklaşık 310 çalışan Claude'ü günlük olarak kullanıyor. Çalışanlar, yeni Agent'ler oluşturmak için yazılım geliştirme bilgisi sahibi olmak zorunda değil.

Bu, Harness'in barındırılmasının gerçek kurumsal ihtiyaçlardan kaynaklandığını gösterir. Kurumlar, sistemi baştan geliştirip uzun vadeli olarak sürdürmek yerine, hazır bir hizmet satın alarak mühendislik kaynaklarını kendi işlerine odaklamayı tercih edebilir.

Ancak şirketler, bu nedenle bir model şirketi bağlamak isteyebilir.

Bu yıl Ağustos'ta VentureBeat, 107 şirket üzerinde bir araştırma gerçekleştirdi. Katılımcı şirketlerin %85'i aynı anda iki veya daha fazla Agent düzenleme platformunu kullanıyor. Platform seçerken, %29'u model ve araç esnekliğini en önemli kriter olarak görüyor; sadece %10'u bir lider modele native uyumunu öncelikli tutuyor. Örneklem büyük teknoloji şirketlerine eğilimli olsa da, müşterilerin model değiştirmek için serbestlik istediklerini gösteren bir satın alma eğilimi ortaya çıkıyor.

Bu, Harness yarışının başka bir ticari mantığını sağlar. Bir şirket uzun vadeli olarak bir çalışma sistemi kullanmaya istekliyse, sağlayıcı model çağrılarını tekelleştiremese bile, barındırma, bakım ve kurumsal geliştirme hizmetleri gelirleri elde edebilir ve müşterilerle daha istikrarlı bir iş ilişkisi kurabilir.

Bu sayede Harness, şirketlerin gerçek iş süreçlerine erişebilir. Harness, model çağrıları, araç yürütme, hata durumunda yeniden deneme ve nihai sonuçları da dahil olmak üzere bir görevin başlangıcından tamamlanmasına kadar olan iş akışını kaydedebilir. Bu kayıtlar, hem arıza giderme hem de model geliştirme için değerli geri bildirimler sağlar.

Şekil: Harness tarafından kaydedilen dört tür işletme görevi yürütme verisi

Model şirketleri, doğrulanmış gerçek görev geri bildirimlerini sürekli olarak alabiliyorsa, modellerin üretim ortamındaki sorunlarını daha hızlı tespit etme şansına sahip olur. Ancak bu avantaj, veri haklarının açıkça sınırlanması nedeniyle sınırlı kalır.

Bu, model şirketleri için yeni bir soruyu da ortaya çıkarıyor: Eğer işletmeler altta yatan modeli serbestçe değiştirebiliyor ve verilerini kendi elinde tutuyorsa, Harness uzun vadeli olarak ne kadar bir avantaj kurabilir?

Model şirketleri için Harness, doğrudan ücret alma yerine daha uzun vadeli bir değer sunabilir. Şirketler işlerinin giderek artan bir kısmını Agentlere bırakırken, güvenilir bir çalışma sistemi sunan taraf, model seçimini ve AI'nın gerçek iş süreçlerine nasıl dahil olacağını etkileme fırsatına sahip olur.

Bilinen ve eski bir kelime: giriş.

Ancak, internet çağına kök salmış bu kelime, yapay zeka çağındaki rekabetin hassas sinirlerini her zaman harekete geçirmektedir. Şimdi Harness, bu beklentiyi ve hayal gücü kısmen üstlenmektedir.