Dış medya yorumcuları, AI programlama ajantları etrafındaki tartışmaların, “verimlilik sağlayabilir mi” yerine “mühendislik kalitesini bozabilir mi” yönüne dönüştüğünü düşünüyor. İlk nesil iPhone jailbreak ve PlayStation 3’ü kıran hacker George Hotz, yakın zamanda yayınladığı bir yazıda, yazılım endüstrisinin bu tür araçları geniş çapta benimsemesinin, bu alanda çok yüksek maliyetli bir hata olabileceğini belirtti.
Altı aylık deneme sonrası olumsuz değerlendirme verildi
Hotz, dışarıdan eleştiri yapmadığını belirtti. Geçen altı ay boyunca,开源 derin öğrenme çerçevesi tinygrad'in bir kısmının geliştirilmesi ve bir USB-PCIe çip firmware'in tam tersine mühendisliği dahil olmak üzere gerçek projelerde AI ajantlarını sürekli olarak kullandı.
Sonucu olarak, bu tür araçların genellikle başlangıçta hızlı ilerleme sağladığı ancak ilerledikçe bitirilmesinin daha zor hale geldiği yönündedir. Görünüşte model çıktısı giderek daha iyi görünürken, gerçek sorunlar zamanında tespit edilmesi daha zor hale gelir. Onun sözlerine göre, geliştiriciler sonunda hala sonuçları sık sık elle düzeltmek zorundadır.
Verimlilikte değil, kimin sorumluluğunu üstleneceğinde fark var
Makale, gerçek riskin tek bir çıktıda hata yapma değil, organizasyonel kalite kontrolünün başarısız olup olmaması olduğuna dair. Hotz'un temel değerlendirmesi, yetenekli mühendislerin genellikle üretilen kodu okuyabildiğini, açıkları tespit edebildiğini ve aracın ne zaman güvenilir olduğuna karar verebildiğini; ancak yetenekli olmayan mühendislerin aynı denetim yeteneğine sahip olmayabileceğidir.
Eğer ikincisi, üretimi geçmişteki birkaç katına çıkarmak için ara birimlerden yararlanırsa, takımın görünür verimliliği artabilir ancak ortalama kod kalitesi daha hızlı bir şekilde düşer ve bu düşüş daha yüksek gönderim miktarları tarafından gizlenir. Hotz, bu duruma dayanarak sektörün, "çalışıyor gibi görünse de aslında sorunlarla dolu" birçok kodla dolacağını uyarıyor.
Karpathy ile karşılaştırıldığında belirgin bir fark oluşturuyor
Bu makale yayımlanmadan kısa bir süre önce, AI araştırmacısı Andrej Karpathy, Anthropic'in ön eğitim ekibine katıldı. Haberde, Karpathy'nin AI ajanlarına yönelik tutumunun bu yıl değiştiği ve yeni nesil modellerin yazılım geliştirme yöntemlerini açıkça değiştirdiği belirtildi.
Anthropic CEO Dario Amodei, önceki olarak şirketin bazı mühendislerinin kod yazma oranını azalttığını ve kod üretimi için modeli kullanıp insanlar tarafından denetlenmesine geçtiğini belirtti. Hotz ise tam tersi bir deneyim paylaştı: Benzer bir süreç denedi, ancak neredeyse her seferinde kendisinin düzeltme yapması gerekti.
Geçen yıl "vibe coding" hızla popüler hale gelirken, ana AI şirketleri ajans tabanlı programlamayı öncelikli yön olarak benimsemiştir. Microsoft, GitHub Copilot'u daha tam bir ajans sistemi haline getirmiş ve bu değişimi platform düzeyinde bir dönüşüm olarak tanımlamıştır.
Hotz, sorunun programcıların yerlerini alma endişesi olmadığını, ancak şirketlerin rekabet baskısı altında araçları quá hızlı yayıp yaymayacağını söyledi. Büyük şirketlerin tüm mühendislik ekiplerinde AI kodlama araçlarını tekil şekilde uygulamasının, gelecek iki yıl içinde yazılım kalitesini artırmayabileceğini belirtti.