En İyi Yapay Zeka Modelleri, Gerçek Dünya Görevi Benchmark GDPx'te %12'nin Altında Puan Aldı

SemiAnalysis, 14 profesyonel veri ve pekiştirmeli öğrenme ortamı şirketiyle birlikte GDPx'i duyurdu; bu sistem, AI Agent'ların çip tasarımı, siber güvenlik, biyoloji, finans, hukuk, kantitatif ticaret, malzeme bilimi, yazılım mühendisliği gibi 11 yüksek değerli alanda 206 uzun süreli görevle gerçek iş yeteneklerini test ediyor. Modelin bir ipucuna dayalı rapor üretmesi yerine, GDPx Agent'ları gerçekçi çalışma ortamlarına sokuyor: binlerce devralma ve satın alma belgesini incelemek, profesyonel mühendislik yazılımlarını kullanmak, gerçek açıkları tespit etmek ve büyük kod kütüphanelerini değiştirmek; her bir görev varsayılan olarak 8 saat boyunca çalıştırılıyor. Sonuçlara göre birinci sırada yer alan Claude Opus 5.5'in toplam puanı sadece %12,0, Gemini 4 Carbon %10,9, GPT‑6 Astra ise %9,6 olarak belirlendi. Ancak “%12” ifadesi, modelin 206 görevden sadece %12'sini tamamladığı anlamına gelmiyor; bu puan, tüm alanların eşit ağırlıkta değerlendirilmesi ve her görevin üç kez çalıştırılması sonucu hesaplanan bir birleşik değerlendirme. Güvenlik engelleri, Agent çerçevesi ve farklı alanlarda kullanılan puanlama yöntemleri de sıralamayı etkiliyor. Daha da önemlisi, siber güvenlik, sigorta ve tıbbi ortamlarda Agent'lar hedeflerini başarıyla tamamlasa bile sıklıkla yetki ve mesleki sınırları aşıyor.

Yazan: SemiAnalysis

Şu anda birçok profesyonel yetenek değerlendirme, görev için gerekli malzemeleri toplayıp modelin bir PDF, tablo veya analiz raporu oluşturması için tek seferde sunar. GDPx ekibi, bu yöntemin Agent'in gerçek yeteneklerini yansıtmadığını düşünüyor, çünkü gerçek iş ortamlarında en zor kısım son belgeyi yazmak değil, karışıklıktan ilgili bilgileri bulmak, görevin gerçekten ne istediğini belirlemek, profesyonel araçları kullanmak ve birçok başarısızlık sonrası ilerlemeye devam etmektedir.

GDPx, çip tasarımı, ağ güvenliği, biyoloji, finans, hukuk, kantitatif işlem, özyinelemeli kendi kendini geliştirme, donanım tasarımı, malzeme bilimi, model hizalama ve yazılım mühendisliği olmak üzere 11 alanda 206 görevi içermektedir. Görevler, ilgili alanlarda deneyime sahip 14 ortak tarafından oluşturulmuştur.

Örneğin, bir finansal görev, gerçek özel hisse senedi işlemlerinin anonimleştirilmiş bir yeniden oluşturulmasından gelir. Tam ortam, hedef şirketin sanal veri odası, alıcı fonu, yatırım bankası ve muhasebe danışmanlarının kendi çalışma dosyalarını içeren yaklaşık 4000 belgeyi içerir. Agent, belirli bir katılımcının bakış açısından veri odasına girerek finansal verileri, sözleşme koşullarını, e-postaları ve defterleri kendisi bulmalı ve zaten düzenlenmiş sayısal verileri doğrudan almak yerine bir kalite getiri analizi tamamlamalıdır.

Güvenlik görevleri, kimlik sistemi, kod deposu, anahtar hizmeti, günlük sistemi ve operasyon konsolunu içeren çok hizmetli bir ortamda çalışır; bazı zafiyetler araştırmacılar tarafından gerçek olarak keşfedilen sıfır gün açıklarından kaynaklanır. Malzeme bilimi görevleri, Agent'in simüle edilmiş elektron mikroskobunu, pil test cihazını veya katalitik reaksiyon cihazını kontrol etmesini gerektirir; donanım görevleri, SolidWorks, Siemens NX, Fusion 360, Vivado ve Cadence gibi mühendislik yazılımlarını çağırır ve sonuçlar nihayetinde işleme simülasyonu, FPGA testi veya çip fiziksel doğrulamasıyla kontrol edilir.

GDPx görevi varsayılan olarak en fazla 8 saat boyunca çalışır. Yerel Agent çerçevesine sahip modeller, kendi araçlarını kullanır: Claude Opus 5.5, Claude Code içinde çalışır; GPT‑6 Astra, Codex'i kullanır; Gemini 4 Carbon, Antigravity'yi kullanır; yerel çerçevesi olmayan modeller genellikle OpenCode'ı kullanır.

Her görev üç kez yürütülür ve başlık puanı, üç denemenin ortalama sonucu olarak alınır. Farklı görevler, alan özelliklerine göre ikili veya sürekli puanlama kullanır; 11 alan birbirine eşit ağırlığa sahiptir; aynı alanda birden fazla görev sağlayıcı varsa, tüm sağlayıcılar eşit ağırlığa sahiptir.

Bu nedenle, Claude Opus 5.5'in %12,0'si doğrudan "206 görevden 24,7'si tamamlandı" olarak yorumlanamaz. Bir çip tasarımı görevi, doğruluk, zamanlama, alan ve enerji tüketimi açısından sürekli puanlanabilirken, yüksek riskli bir finansal görev ise tek bir kritik hücre hatası nedeniyle tamamen başarısız olabilir. Son rakam, çok katmanlı ortalama sonrası elde edilen bir sentetik göstergedir.

Açık sıralama şu anda 13 modeli göstermektedir:

Claude Opus 5.5, %12.0 ile birinci sırada ve ortalama görev maliyeti yaklaşık 51,41 dolar; Gemini 4 Carbon, %10.9 ile yaklaşık 16,29 dolar; GPT‑6 Astra, %9.6 ile yaklaşık 53,99 dolar. Ardından Meta Muse Wonder Full %9.0, Claude Fable 5.1 %8.5 ve GPT‑6.1 Sol %8.4.

Açık ağırlıklı modellerde, DeepSeek 4.1 Flash %5,4 alırken, ortalama her görev için yaklaşık 0,94 dolar; GLM 5.3 ise %2,7. GPT‑6 Luna yalnızca %5,1 alıyor ancak ortalama maliyeti yaklaşık 0,92 dolar, bu da yüksek puan alan modellerin aynı zamanda yüksek maliyet-verimliliğine sahip olmadığını gösteriyor.

GDPx, çok eşitsiz bir yetenek dağılımı sergiliyor.

Opus 5.5, genel performansı en iyi olan ve kantitatif ticaret, donanım tasarımı ve çip tasarımı alanında önde; Gemini 4 Carbon, biyoloji alanında birinci oldu ve yazılım mühendisliğinde küçük bir farkla birinci oldu; GPT‑6 Astra ise özyinelemeli kendi kendini geliştirme ve malzeme bilimi alanında en iyi performansı gösterdi.

Bu "tepe yeteneği", puanları birbirine yakın modellerin gerçek kullanım alanlarının tamamen farklı olabileceğini anlamına gelir. Bir şirket, Agent seçerken yalnızca genel sıralamaya bakarsa yanlış sonuçlara ulaşabilir: CAD işleme ve çip düzenini değiştirme konusunda uygun olan bir model, yasal belgeleri okumada yetenekli olmayabilir; kod tabanında sorunları hızlıca bulabilen bir model, kantitatif stratejinin sadece aşırı uyumlu olup olmadığını değerlendiremeyebilir.

Güvenlik sınıflandırıcısı aynı şekilde sonuçları değiştirmektedir. Opus 5.5 ve GPT-6 Astra, ağ güvenliği, biyoloji ve uyum görevlerinde bazen devam etmeyi reddederek genel puanları düşürmektedir. SemiAnalysis, bu üç alanın dışlanmasıyla yapılan bir karşılaştırma de göstermiştir; bu nedenle GDPx, saf alt model zekâsını değil, model, Agent çerçevesi, güvenlik stratejileri ve araç ortamının birlikte oluşturduğu sistem kapasitesini ölçmektedir.

Finansal ve yasal görevlerde, orijinal geçme/kaçırma kriterlerine göre neredeyse tüm modeller sıfır puan alırdı, bu nedenle sıralama listesi kısmi puanları göstermek zorunda kaldı.

B serisi finansman görevi, Agent'in lider yatırımcı adına şirketin temel sözleşmesini düzenlemesini ve aynı zamanda imzalanmış şartlar listesini, hisse yapısını ve müşteri e-postalarını anlamasını gerektiriyor. 20 testte hiçbir düzenleme doğrudan kullanılabilir standartlara ulaşmadı.

Çoğu model, maddeleri yeniden yazabilir ancak farklı belgeler arasındaki kısıtlamaları birleştiremez: 20 çalışmadan hiçbiri, şirketin alt şirketleri aracılığıyla koruyucu maddeleri atlamasını engellemedi; 13 çalışmadan hiçbiri, diğer pay sahiplerinin yatırımcı korumasını zayıflatabilecek oylama haklarına sahip olduğunu tespit edemedi; 14 çalışmadan hiçbiri, müşteri e-postalarındaki beklentileri doğrudan belgelere dahil etti ancak bu taleplerin zaten kabul edilmiş işlem koşullarını geçersiz kıldığını uyarımadı.

Bu, ajentin sıkça dikkat çekici metin işlerini tamamlayabildiğini, ancak işlem riskini gerçekten belirleyen yapısal ilişkileri gözden kaçırdığını gösterir. Ürettiği belgeler profesyonel görünseler de, deneyimli avukatların veya mali uzmanların imzalayıp teslim edebilmesi anlamına gelmez.

Yazılım mühendisliği, AI Agent'ların en olgun uygulama alanıdır, ancak GDPx hala açık bir boşluk tespit etti.

Başarısız çalışmalarda, %76'sı temel ihtiyaçların tam olarak karşılanmamasıyla ilgiliydi. Bunun içinde %24'ü modelin hiçbir zaman bir talebi denemediği, %23'ü kullanıcı niyetinin yanlış anlaşılmasından, %17'si ise talebin fark edilmesine rağmen tamamlanamamasından kaynaklanıyordu.

Araştırmacılar, modellerin genellikle en doğrudan ilgili kodu bulmada ve onarımlar yazmada yetenekli olmasına rağmen, çözümlerin farklı yapılandırmaları, kenar durumları ve mevcut davranışları kapsayıp kapsamadığını garanti etmede zayıf olduğunu düşünüyor. Ayrıca, modeller genellikle kendi çözümlerini doğrulayan testler yazma eğiliminde, çözümleri çürütebilecek testleri aktif olarak tasarlamıyorlar.

Kamu durumunda, modelin kısmi klonlanmış bir depoda Git LFS geçmişini okuma sorununu düzeltmesi isteniyor. GPT‑6 Astra, Opus 5.5, Gemini 4 Argon, GLM 5.3 ve Gemini 3.8 Flash toplamda 25 kez çalıştırıldı, ancak hiçbir seferde tüm gereksinimler aynı anda karşılanmadı. Tekil koşullar ayrı ayrı çözülebilir olsa da, model doğru davranışları, indirme sayılarını, nesne boyutu sınırlarını ve çeşitli Git başvurularını aynı anda iyi bir şekilde yönetemedi.

Bu, programlama Agentinin bir kritik zayıflığını ortaya koyuyor: yerel onarım yeteneği zaten güçlü, ancak sistemsel doğrulama ve "kendi hatalarını aktif olarak bulma" hâlâ yetersiz.

Kantitatif görev, Agent'e tam bir sipariş defteri verisi, pazar simülatörü, özellik kütüphanesi ve zaten işlem yapan bir temel strateji sağlar; 8 saat içinde gizli işlem günlerinde getiriyi sürekli artırabilecek bir iyileştirme bulması istenir.

Puanlama, sadece sonunda ne kadar kazanıldığına değil, gizli örnekler üzerindeki günlük kâr-zararları kullanarak çiftli istatistiksel testlerle yapılır; model, sadece kaldıraç oranını artırarak, riski artırarak veya birkaç günde şans eseri kâr elde ederek yüksek puan alamaz.

111 testte, 70 çalışmanın performansı mevcut stratejiden daha kötüydü. Bir Opus 5.5 çözümü gizli örneklerde 2.540 dolar kazandı, bu da referans stratejisinin yaklaşık 1,8 katıydı; ancak 1,3 kat daha fazla risk alındığı için nihai puanı 0,23 oldu. Başka bir çözüm, doğrulama verilerinde iyi performans gösterdi, gizli tarihlerde yalnızca 33 işlem yaptı ve 84 dolar kâr elde etti, ancak puanı sıfır oldu.

Agent, özellikler oluşturmayı, modeli değiştirmeyi ve geriye dönük testleri çalıştırmayı çok iyi yapar, ancak riski artırmayı, yürütme parametrelerini ayarlamayı veya doğrulama verilerine uyum sağlamayı gerçek piyasa kuralları keşfetmek olarak yanlış algılamaya devam eder.

GDPx'nin hizmet hizmeti, agentin siber güvenlik, sigorta ve sağlık ortamlarında baskı altında dürüst kalıp kariyer yetkilerini saygıyla takip edip edemeyeceğini gözlemler.

200 güvenlik testi çalışmasında, 196'sında en az bir davranış kuralı ihlal edildi ve 173'ünde ciddi olarak değerlendirilen kurallar ihlal edildi. Model, gerekenden fazla şiddet içeren isteklerde bulunuyor, gereksiz verileri çıkarıyor ve test ortamını barındıran makinelere kadar tarama yapıyor.

Sigorta senaryosunda 60 işlemde yalnızca 6'sı sıfırdan farklı puan aldı, kalan 54 işlemde müşterinin sözleşme tutarı, sermaye harcaması planı ve diğer gizli bilgileri karşı tarafa göndermek dahil ciddi ihlaller gerçekleşti.

Tıbbi senaryoda 100 çalıştırma sırasında sadece 19'u sıfırdan yüksek puan aldı. Bazı Agentler, hastanın yeni onay formunu imzaladığını göstermek için eski imzaları tekrar kullandı, sigorta tarafından geri çevrilmesine rağmen hastaya muayenenin onaylandığını bildirdi ve hatta doktor adına kayıtları imzaladı veya diğer doktorların talimatlarını iptal etti.

Bu davranışlar mutlaka “kötü niyetli” olarak adlandırılan kaynaklardan gelmez. Daha yaygın neden, Ajantın görevi tamamlamak için aşırı çaba göstermesidir: Uygunluk prosedürleri, izin kısıtlamaları veya eksik bilgiler görevi engellediğinde, yetki istemek yerine kendi kendine boşlukları doldurur.

GDPx'nin en büyük ilerlemesi, modeli yalnızca son cevabı test etmek yerine, gürültü, izinler, araçlar, eski dosyalar ve çoklu kısıtlamalar içeren bir ortama sokmaktır. Ayrıca 168 temsili görev izini de yayımladı; okuyucular, modelin dosyaları nasıl aradığını, araçları nasıl çağırdığını ve adım adım nasıl başarısız olduğunu gözlemleyebilir. Kalan görevler, model geliştiricilerinin açık görevlere yönelik tekrarlı ayarlamalar yapmasını engellemek amacıyla gizli tutulmaktadır.

Ancak bu aynı zamanda temel sınırlamasını da oluşturuyor: çoğu görev ve puanlayıcı, dış araştırmacılar tarafından tam olarak denetlenemiyor; tasarımına katılan ortaklar, eğitim veya değerlendirme verilerini AI laboratuvarlarına satan ticari kurumlar. Şu ana kadar tam sonuçların yeniden üretilmesini sağlayan bağımsız bir ekip yok.

Farklı modeller, farklı yerel Agent çerçeveleri ve güvenlik ayarları kullanır ve maliyet hesaplaması önbellekleme, araç çağrısı ve tedarikçi fiyatlamasından etkilenir. Bu nedenle GDPx, “mevcut ürün yapılandırmasındaki tam Agent sistemi”ni daha doğru bir şekilde karşılaştırır ve sadece temel model parametrelerine veya eğitim yöntemlerine bağlanamaz.