İki ay önce, bağımsız değerlendirme kuruluşları trilyon dolarlık yapay zeka endüstrisinin nispeten sessiz köşelerindeydi. Şimdi ise “kurtarmaları” isteniyor.
Anthropic ve OpenAI, ileri modellerin güvenliğini korurken işlerini genişletme konusunda yoğun bir tartışma yaşarken, Model Evaluation and Threat Research (METR), Apollo Research ve Transluce gibi birkaç küçük üçüncü taraf kuruma destek arıyor.
Bu değerlendirme kuruluşlarının çoğu, sermayenin önceki hiç olmadığı kadar hızlı bir şekilde akış yaptığı ve yeni modellerin önceki hiç olmadığı kadar sık ortaya çıktığı bir sektörde hâlâ kendi konumlarını belirlemeye çalışıyor. Ana görevleri, AI modellerinin yeteneklerini ve risklerini değerlendirmek ve teknolojinin yanlış davranışlar sergilediği durumları belirtmektedir.
Federal düzeyde bir düzenlemeye yönelik ilerleme olmaması durumunda, bağımsız değerlendirme kuruluşlarının önemi artmaktadır. Anthropic CEO'su Dario Amodei, geçen ay şirketin içine bağımsız değerlendirme kuruluşları entegre edileceğini taahhüt etti ve OpenAI CEO'su Sam Altman hemen bu fikri destekledi. ABD Başkanı Donald Trump da bu fikri destekliyor ve birçok büyük ABD teknoloji şirketi de aynı şekilde. Ancak hâlâ cevaplanmamış sorular şunlar: bu üçüncü taraflar nasıl finanse edilecek, hangi düzeyde erişim haklarına sahip olacaklar ve nihai raporlama yapısı nasıl olacak?
Brown Üniversitesi Bilgisayar Bilimi Profesörü Suresh Venkatasubramanian, CNBC’ye verdiği röportajda: “Sorun, bir anlamda her zaman olduğu gibi hâlâ para. Bu şirketler için bu işi kim finanse edecek? Bu kurumları nasıl destekleyecekler? Bir ekosisteme, karlı bir iş modeline ihtiyacınız var.”
Şu anda Anthropic, OpenAI ve AI dalgasından kazanç elde eden altyapı ortakları kuralları belirliyor. Eleştirmenler, bunun en büyük bankaların finansal krizden bizi korumasına ya da ilaç şirketlerinin düzenleyici onay olmadan ilaçları piyasaya sürmesine benzediğini söylüyor.
Trump, AI yöneticilerinin "çok iyi kendi kendini düzenlemesini" övdü ve ekonomi ve hisse senedi piyasalarını büyüten bu sektörü engellemek istemediğini, sektörü işletmelere bırakmayı planladığını belirtti. Trump, Eylül sonunda sunduğu gönüllü bir anlaşmada, AI şirketlerine "bağımsız dış denetmenlerle veya değerlendirmecilerle iş birliği yapmalarını" teşvik etti.
Bu tartışma, Amodei'nin geçen ay yayınladığı ve geniş çapta paylaşılan bir makaleyle başladı. O makalede, araştırmacıların şirketleri terk ederek bu teknolojinin varoluşsal bir tehdit yaratabileceği konusunda endişelerini dile getirmesi nedeniyle ileri model geliştirme sürecinin yavaşlatılması çağrısında bulundu.
AI laboratuvarları değerlendirme kurumlarını dağıtmaya başladıkça sürtüşmeler ortaya çıktı.
OpenAI'den bir temsilci, şirketin geçen hafta üç çalışanı, "duyarlı şirket bilgilerine erişme ve işleme ilişkin politikalarımızı ihlal ettikleri" gerekçesiyle kovduğunu söyledi. Mikita Balesni ve Tomek Korbak adlı iki çalışan, kendilerinin üçüncü taraf değerlendirme kuruluşlarıyla iletişim kurma şekilleri nedeniyle kovulduklarını belirtti.
Balesni, Perşembe günü X'te yazdı: "Önceki meslektaşlarım, neye inanacaklarını şaşırdığını ve kişisel telefonlarının bizimle ve üçüncü taraflarla olan mesajlarımız nedeniyle aranma korkusu nedeniyle seslerini çıkarmaktan korktuklarını söyledi. Bu yaygın sessizlik korkusu ve üçüncü taraflarla temas konusundaki endişelerin, OpenAI'nin arka planda güvenlik konularında kıymet kaybına uğramasına neden olabileceğini endişe ediyorum."
OpenAI, bu iddiayı reddetti ve Cuma günü bir gönderide, şirketin "üçüncü taraf güvenlik değerlendirmecileriyle sözleşmeleri aktif olarak tamamlamakta olduğunu ve detayları gelecek birkaç hafta içinde duyuracağını" belirtti.
OpenAI, "Dış değerlendirme yetkililerini entegre etmeye ve bağımsız güvenlik kuruluşları ile yakın iş birliğini güvenlik çabalarımızın temel bir parçası olarak sürdürmeye devam ediyoruz." diye yazdı.
OpenAI'nin bir sözcüsü, e-posta açıklamasında şirketin yaklaşan değerlendirme çalışmalarının, METR ve Redwood Research dahil olmak üzere bağımsız güvenlik kuruluşlarıyla olan mevcut iş birliklerine dayandığını belirtti.
Anthropic, CNBC'nin yorum isteğine yanıt vermedi.
Bir sorunun bu kadar hızlı ilerlediğini hiç görmedim
AI değerlendirme kuruluşu ekosistemi, METR ve Apollo Research gibi küçük organizasyonlar ile Accenture gibi daha büyük muhasebe ve denetim şirketlerinden oluşmaktadır.
AI laboratuvarları, değerlendirme kuruluşları ile sınırlı bir şekilde iş birliği yapmaya devam etmektedir, ancak politika non-kâr amaçlı organizasyonu Fathom'un CEO'su Andrew Freedman, bu alanın hızla olgunlaştığını belirtmektedir.
Freedman, CNBC ile yaptığı röportajda, "20 yıl boyunca siyaset ve politika alanında çalıştım, böyle çok farklı bir siyasi spektrumda bir sorunun bu kadar hızlı ilerlediğini daha önce görmedim," dedi ve bu ekosisteme "büyük miktarda sermaye akışı" beklediğini belirtti.
Bağımsız değerlendirme kuruluşu Vals AI'nın CEO'su Rayan Krishnan, bu kar amaçlı girişimcinin, AI modellerinin endüstriye özel görevlerdeki performansını ölçmek için standartlar oluşturduğunu, çalışan sayısının bu yıl 8'den yaklaşık 30'a çıktığını ve Ağustos'ta 40 milyon dolarlık finansman tamamlandığını açıkladı.
Kâr amacı gütmeyen organizasyon METR, Ağustos'ta geçen altı ayda yaklaşık 71 milyon dolarlık taahhüt fonu topladığını duyurdu. Organizasyonun ABD Gelir Dairesi'ne sunduğu en son belgeler, bu rakamın 2024 yılı boyunca topladığı 13,6 milyon dolarlık bağış toplamını aştığını gösteriyor.
O ayın sonuna doğru METR'in bilinirliği daha da arttı. OpenAI, şirketin modelinin nasıl kontrolü aşarak açık internete eriştiğini ve açık kaynak geliştirici platformu Hugging Face'yi aşmasını ayrıntılı olarak açıklayan bir olay sonrası analiz raporu yazmak için bu kurumun iki çalışanını ve bir sözleşmeli çalışanını işe aldı. METR, bu değerlendirme için OpenAI'den herhangi bir ödeme almadığını belirtti.
Pennsylvania Üniversitesi Wharton Okulu Accountable AI Lab akademik müdürü Kevin Werbach, bu ekosistemin "şu anda yeterince sağlam olmadığını" söyledi. Örneğin, METR web sitesi, kurumun 50'den az tam zamanlı çalışanı olduğunu göstermektedir.
Yüzlerce milyar dolar finanse edilmiş ve binlerce çalışanı olan öncü laboratuvarlarla küçük değerlendirme kuruluşları arasındaki güç dengesizliği, potansiyel çıkar çatışmaları konusunda sorular uyandırıyor.
Venkatasubramanian, "Gerçek bir üçüncü taraf değerlendirmesi istiyorsanız, gerçek bir mali bağımsızlık ve diğer bağımsızlıklar gereklidir. Bu sadece para almamakla ilgili değil, aynı zamanda: Eğer ben bir denetçiyseniz ve bu şirketle ilgili olumsuz bir rapor yayınlarsam, bunun sonuçları olur mu? İşim bunun sonucunda tükenecek mi?" diyor.
Anthropic, geçen ay bir blog yazısında bu karmaşıklığı kabul etti. Şirket, Accenture’ün AI odaklı biriminden Faculty çalışanlarının şirket içine entegre edilerek güvenlik önlemlerinin test edilmesi ve modellerin insan değerlerine uygun davranıp davranmadığının değerlendirilmesi gerektiğini duyurdu. Anthropic, bu çalışmanın “önemliliği ve aciliyeti” nedeniyle Accenture’in ilgili katkılarını doğrudan finanse edeceğini belirtti.
Anthropic, "gömülü değerlendirme görevlilerinin hangi bilgilere erişmesi gerektiği ve bulguları nasıl raporlaması gerektiği konusunda henüz bir standart yok. Bağımsız değerlendirme için finansman düzenlemeleri de henüz belirlenmedi. Uzun vadede, finansmanın toplu kaynaklardan veya hükümet kaynaklarından sağlanması gerektiğini düşünüyoruz."
Anthropic, aynı zamanda, kendi fonlarını kullanarak "gömülü değerlendirme"nin bazı "unsurlarını" denemeyi planlayan METR ve diğer kar amacı gütmeyen değerlendirme kuruluşlarıyla görüşmeler yaptığını belirtti.
Hükümet müdahale edecek mi?
Geçen yıl Haziran'da Fathom, Bağımsız Doğrulama Organizasyonları (Independent Verification Organizations, IVOs) için bir pazar çerçevesi sundu. Bu kurumlar, hükümet onayı alacak ve AI şirketlerinin çeşitli güvenlik standartlarını karşılayıp karşılamadığını test etme yetkisine sahip olacak.
Freedman, hükümet denetiminin kritik olduğunu belirtti, aksi takdirde üçüncü taraf değerlendirme kuruluşları gelirlerinde büyük AI laboratuvarlarına bağımlı hale gelebilir ve ilişkileri korumak için “basitçe onay verme” eğilimine girebilir.
Bazı yasama üyeleri destek belirtti.
IVOs, Temsilciler Lori Trahan (Massachusetts, Demokrat) ve Jay Obernolte (California, Cumhuriyetçi) tarafından Temmuz ayında önerilen “Ön Çizgi Risk Denetimi, Ulusal Şeffaflık, Bağımsız Değerlendirme ve Raporlama” (FRONTIER) yasasının kilit bir maddesidir. Freedman, Fathom'un yasa metninin hazırlanmasında yardımcı olduğunu ve teknik destek sağladığını söyledi.
OpenAI'nin küresel işler müdürü Chris Lehane, Eylül'de bir gazeteciye, IVO maddesiyle ilgili desteğini iletmek için Kongre'de bu yasanın bir başlatıcısıyla bir araya geldiğini söyledi.
Lehane, “Onlar için bunu duymak ve bizim bunu söylememiz önemlidir; bunu çok net bir şekilde ifade etmek istiyoruz.” dedi.
Aynı zamanda, Kaliforniya, Connecticut ve Virginia'daki yasama organları IVO'ları ilerletmek için adımlar atmışken, Massachusetts gibi eyaletler bağımsız güvenlik değerlendirmelerini daha geniş çapta değerlendiriyor.
Kaliforniya Valisi Gavin Newsom, IVO'ları içeren iki yasa tasarısını imzaladı; bunlardan biri "ülkenin ilk çerçevesini" kuruyor, diğeri ise AI denetçileri için bir devlet kaydı oluşturuyor. Anthropic, bu iki yasa tasarısını Ağustos'ta destekledi, OpenAI ise geçen ay, Newsom'un bunları yasalaştırdığı aynı günde resmen bu yasaları destekledi.
Lehane, bir blog yazısında “Bir bağımsız teknik değerlendirme talep etmek için联邦 düzeyindeki eylemi tercih ederiz” dedi, ancak联邦 eylemi yoksa, “Kaliforniya kuralları belirlemeye yardımcı olabilir.”
Freedman, OpenAI ve Anthropic gibi şirketlerin bağımsız değerlendirme kuruluşları ile nasıl iş birliği yapacağını kendi başlarına keşfetmenin "çok zor olacağını" düşünüyor. Ancak hükümetin rolü hâlâ belirsizken, bu süreci geçiş döneminde geliştirmenin "değerli bir beceri olacağını" söylüyor.
Şu anda endüstride standart olarak kabul edilen en yakın şey, Trump'ın geçen ayın sonunda Beyaz Saray'da teknoloji liderleri için düzenlediği öğle yemeğinde söz konusu edilen "ahlaki bağlayıcılık" içeren bir anlaşmadır.
Bu bir sayfalık anlaşma, "Her şirket, kendi teknolojisini güvenli bir şekilde geliştirmek ve müşterilerin ve genel halkın güvenini kurabilecek şekilde ilerlemekle sorumludur." diye yazıyor. Anlaşma, imzalayanların "bağımsız dış denetçiler veya değerlendiricilerle iş birliği yaparak bağımsız değerlendirme gerçekleştirmeyi" teşvik ediyor.
Bu belge, Anthropic, Google, Meta, OpenAI, SpaceX ve Nvidia'nın üst düzey yöneticileri tarafından imzalandı ve AI risklerine yönelik görüşleri birbirinden farklı liderler arasında nadir bir birlik gösterisi oluşturdu. Ancak bu üst düzey yöneticiler, kendi ilerleme yollarını hâlâ belirlemek zorunda.
Venkatasubramanian, "Bu, aslında hiçbir şeyin gerçekleşmediği halde eylem göstermeye çalışan bir performans gibi. Yapmayı vaat ettikleri şeyleri zaten yapmalıydılar ve aslında geçmişte bunları sürekli yaptıklarını iddia ettiler."
Amodei, Eylül'de yazdığı makalede, Anthropic'un değerlendirmecilere masa, erişim kartı, şirket bilgisayarı ve dahili risk değerlendirme ekibiyle "temel olarak eşdeğer" erişim hakları sağlayacağını belirtti. Ayrıca, değerlendirmecilere "kritik bulguları yayınlama hakkı" veren sözleşme desteği sağlanacakken, Anthropic, güvenlik veya gizlilikle ilgili bazı bilgileri silme veya değiştirme konusunda "sınırlı bir yetkiye" sahip kalacak.
Amodei, "Bu, bir şirket için olağan dışı bir adım, ancak gömülü dış denetmen kavramını kanıtlamanın önemli olduğuna inanıyoruz." dedi.
Birkaç gün sonra OpenAI, kendi önerisini yayınladı ve değerlendirme görevlilerinin, "net bir şekilde tanımlanmış ve taraflarca kabul edilmiş bir değerlendirme iddiası" etrafında çalışmasını, yöntemleri ve standartları açıkça belirtmesini, ilgili teknik uzmanlığı kanıtlamasını ve çıkar çatışmalarını açıklamasını istedi.
Geçen ay, METR, AI Doğrulama ve Değerlendirme Enstitüsü (AVERI) ve diğer kurumlar dahil olmak üzere AI Değerlendirici Forumu, “Değerlendiricilerin En Az Gereksinimleri” başlıklı bir açık mektup yayınladı.
Mektupta, değerlendiricilerin şeffaf kalması, cezalandırılmadan korunması ve AI şirketlerinin "kendilerine yüksek ayrıcalıklar verilen çalışanları" ile aynı düzeyde erişime sahip olması gerektiği belirtilmiştir.
Mektupta ayrıca şunlar yazıyordu: "Gömülü değerlendirme, tüm denetim ihtiyaçlarını çözemez ve daha geniş çaplı çabaların yerini almak yerine, önde gelen Yapay Zeka şirketlerinin dış denetimini genişletmeyi amaçlayan bu çabaların tamamlayıcısı olarak görülmelidir."
Freedman, son aylarda OpenAI ve Anthropic'ın tutumlarında değişiklik gördüğünü belirtti; bunun ana nedeni, ileri sistemleri piyasaya sürmek için kamu güvenliğine ihtiyaç duymalarıdır.
Freedman, "Onların ani olarak cömertleştiğine inanmanıza gerek yok, ya da şirketin şirket gibi davranmasından başka bir şey yapmalarına inanmanıza gerek yok." diyor.
Werbach, bunun temel sorunu belki de vurguladığını söyledi. OpenAI ve Anthropic, öncelikle birbirleriyle rekabet ediyor, hem halka açılmaya doğru ilerlerken hem de 1 trilyon doların üzerinde bir değerlemeye ulaşmayı hedefliyor.
Werbach, "Bu iki şirket arasında büyük bir kişisel güvensizlik var. Ancak bu tür değerlendirmeleri yapma ihtiyacı konusunda büyük bir uzlaş da var."
İZLE: Bradley Tusk, Anthropic IPO hakkında: Güvenlik birincil önceliğinizse, halka açık piyasa baskısını neden ekliyorsunuz?