NVIDIA, uzun süredir piyasada olan GeForce RTX 30 serisi (Ampere kod adı) grafik kartlarının hâlâ serbest bırakılmamış büyük bir hesaplama potansiyeline sahip olduğu görülüyor. GitHub kullanıcısı Zagitta, Ampere mimarisindeki bazı yapay performans sınırlamalarını kaldıran GPU Unlock adlı yeni bir açık kaynak projesi geliştirdi. Belirli yükler altında, tensör çekirdeklerinin hesaplama verimliliği neredeyse iki katına çıkıyor ve NVIDIA sürücülerinde herhangi bir değişiklik yapmadan ya da grafik kartının VBIOS’una kalıcı bir flash işlemi yapmadan mümkün oluyor.
IT之家, bu projenin FP32 birikimli FP16/BF16 tensor çekirdeği işlemlerinde tüketici düzeyi Ampere grafik kartlarının çalışma hızının profesyonel kartlara göre daha düşük olduğunu belirten bir komut gönderim hızı sınırına odaklandığını fark etti. Bu sınırın kaldırılması, aracın grafik kartının zaten sahip olduğu ekstra hesaplama performansını serbest bırakmasını sağlayacaktır.
İlginç olan şey, GPU Unlock'un, daha önce NVIDIA CMP kripto para madenciliği grafik kartları üzerine yapılan araştırmalara dayanmasıdır. Bu, CMP projesinin firmware kilidini açma teknolojisini ve bir dizi önceden başlatma senaryosunu birleştirir ve bir Linux çekirdek modülü aracılığıyla NVIDIA grafik sürücüsü yüklenmeden önce işlem yapar. Bu modül, ilgili donanım hız seçme kayıtlarını değiştirir, bir fonksiyonel seviye sıfırlaması (FLR) gerçekleştirir ve ardından orijinal sürücü grafik kartını normal şekilde başlatır.
Bu, kullanıcıların her sürücü güncellemesinde sürücüye yama uygulamalarına gerek kalmayacağını da anlamına gelir. Geliştiriciler şu anda GA102, GA103, GA104 ve GA106 model GPU'ları desteklediğini belirtmiştir; bu, RTX 30 serisinin büyük bir kısmını kapsar, ancak her bir grafik kartının uyumlu olduğu garanti edilmez ve tümü için performans artışı sağlanacağı da garanti edilmez.
Performans artışı oldukça önemli olabilir. Projenin GitHub deposunda paylaşılan performans testi verilerine göre, güç tüketimi sınırı 450 W olarak ayarlanmış bir RTX 3090 Ti, FP32 birikimli yoğun matris çarpımı (GEMM) testinde şu sonuçları vermiştir:
Bu iyileştirmeler yalnızca RTX 3090 Ti'de değil, RTX 3080 Ti sahipleri de 315W güç sınırı altında BF16 verimliliğinin 71,59 TFLOPS'ten 113,98 TFLOPS'a, TF32 performansının 35,65 TFLOPS'ten 65,28 TFLOPS'a çıktığını bildirdi. Ayrıca, RTX 3080 10GB için yapılan uyumluluk raporunda, kartın orijinal 320W güç limiti altında FP16/BF16 performansının yaklaşık 65 TFLOPS'ten 110–113 TFLOPS'a yükseldiği belirtildi. Bu test sonuçları X platformunda da geniş çapta tartışıldı.
Ancak pratik uygulamada nasıl performans gösteriyor? İyi ki topluluk kullanıcıları bu açılan özelliği gerçek AI yükleri altında test etmeye başladı; ilk sonuçlar umut verici.
Reddit'de bir RTX 3090 Ti kullanıcısı, ComfyUI'de bir performans testi gerçekleştirdi ve MOSS-Image SFT BF16 için verimlilikte %58,6, Qwen-Image 2.1 Turbo BF16 için %57,2, Z-Image Turbo BF16 için %56,1 artış sağlandı. INT8 hassasiyet modunda ise artış çok düşük oldu; MOSS-Image SFT INT8 sadece %0,3 artış gösterdi. Test eden, varsayılan durumda ve kilit açıldıktan sonra oluşturulan görüntülerin dekodlama sonuçlarının tamamen aynı olduğunu da belirtti.
Büyük dil modellerinin (LLM) çıkarım süreci de potansiyel olarak fayda sağlayabilecek bir senaryodur, ancak performans artışı yük türüne bağlıdır. Örneğin, bir RTX 3090 uyumluluk raporuna göre, vLLM'nin giriş metni işleme ve çıkarım verimliliği %33 artmıştır, ancak token üretimi hızında neredeyse hiçbir değişiklik gözlenmemiştir. Bu da oldukça anlaşılır; büyük dil modellerinin dekodlama aşamasındaki ana darboğaz, tensör çekirdeklerinin temel hesaplama verimliliği değil, video bellek bant genişliğidir.
Dikkat edilmesi gereken bir diğer gelişme, önceki Linux çekirdek modülünü kullanmayan ve UEFI tabanlı bir yaklaşım kullanan deneysel Windows uygulamasıdır. Geliştiriciler, RTX 3090 için başarılı bir vaka kaydetmiş ve BF16 hesaplama verimliliğinde yaklaşık %82,5 artış elde etmişlerdir. Ancak bu sürüm hâlâ deneysel niteliktedir, yalnızca belirli donanımlarla uyumludur ve genel kullanım için resmi bir Windows sürümü değildir.
Bu yöntem aynı zamanda açıkça sınırlılarla karşılaşıyor. GPU Unlock, video belleği bant genişliğini artırmaz, daha fazla CUDA çekirdeğini açmaz ve tüm yükleri otomatik olarak hızlandırmaz. En az bir RTX 3080 Ti 20GB kullanıcısından gelen geri bildirim,解锁 işleminin başarıyla tamamlandığını ancak BF16 performansında beklendiği gibi bir artış olmadığını gösteriyor, bu da etkinliğin genel geçerli olmadığını ortaya koyuyor.
Oyunlar açısından, NVIDIA'nın DLSS teknolojisi aynı şekilde tensör çekirdeklerini kullanır, ancak şu ana kadar GPU Unlock'un oyun çerçevesi hızını artırdığını veya DLSS çalışma süresini kısalttığını kanıtlayan güvenilir bir kanıt bulunmamaktadır. Sadece görevler, bu etkilenen komutları ve toplama modlarını çağırıyorsa, kazanç elde edilebilir. Bu nedenle, bu dikkat çekici hesaplama puanları, oyun çerçevesi hızının aynı oranda artacağı anlamına gelmez.
Bununla birlikte, RTX 30 serisi grafik kartı sahipleri için GPU Unlock, özellikle bu kartları yerel AI çıkarımı, görüntü üretimi ve diğer yüksek hesaplama yükü senaryolarında kullanan kullanıcılar için oldukça çekici bir yeni deneyimdir. Proje şu anda deneysel aşamada olsa da, mevcut grafik kartlarından kalıcı donanım değişikliği yapmadan önemli ölçüde ek performans elde etmek gerçekten çekicidir.