Google pada hari Senin mengumumkan dua sistem komputasi kecerdasan buatan, berusaha menantang NVIDIA dengan chip yang menonjolkan privasi dan memori besar.
Setelah TPU 8tx dan TPU 8i Max bergabung dalam lini produk Tensor Processing Unit generasi kedelapan Google, perusahaan akan mendapatkan empat konfigurasi untuk melatih dan menjalankan model AI. Google menyatakan bahwa pelanggannya telah mendekati 100 pelanggan TPU, mencakup lembaga seperti laboratorium AI hingga universitas.
Berbeda dengan GPU yang banyak digunakan oleh NVIDIA, TPU adalah akselerator yang dirancang khusus untuk AI. Google awalnya mengembangkan chip-chip ini untuk layanan mereka sendiri, tetapi kini semakin sering menjual lisensi penggunaannya kepada perusahaan eksternal, termasuk pelanggan yang melakukan pemasangan lokal.
Amin Vahdat, Chief Technology Officer dan Senior Vice President AI dan Infrastruktur Google, menulis dalam pengumuman Google: "Seiring komputasi berpindah dari skala manusia ke skala agen, perusahaan mencari akselerator yang mampu melakukan inferensi melintasi jendela konteks besar model AI."
Melindungi privasi informasi sensitif
TPU 8tx menangani masalah yang dihadapi banyak perusahaan serius yang mengadopsi AI: bagaimana melindungi informasi sensitif saat model menggunakan data.
Data dienkripsi selama penyimpanan dan transmisi, tetapi biasanya perlu didekripsi di memori saat diproses. Google menyatakan bahwa konfigurasi ini menggunakan komputasi rahasia tingkat perangkat keras, yang dapat mengisolasi data pelanggan dan parameter model propietaris bahkan selama proses berjalan.
Sistem ini menggabungkan chip TPU 8t dengan prosesor AMD EPYC generasi kelima dan jaringan Boardfly latensi rendah milik Google. Google menyatakan bahwa sistem ini dapat mengurangi latensi hingga setengahnya dibandingkan dengan TPU 8t, dengan hampir tidak ada penurunan kinerja akibat perlindungan tambahan.
Dengan kata lain, tugas yang memerlukan perlindungan privasi tidak akan mengorbankan kecepatan atau akurasi.
Perusahaan dapat melakukan fine-tuning dan menjalankan model di sistem yang sama tanpa harus memindahkan informasi sensitif di antara klaster. Namun, komputasi rahasia tidak dapat mencegah agen AI yang dirancang buruk menyalahgunakan data yang diizinkan untuk diaksesnya.
Menerobos batas memori AI
TPU 8i Max menangani batasan lain: memori. Agen otonom memerlukan akses yang jauh lebih cepat terhadap lebih banyak informasi saat menganalisis data, repositori kode, dokumen, atau video berjam-jam.
Google mengemas dua chip TPU 8i dalam satu modul, sehingga meningkatkan kemampuan komputasi, SRAM on-chip, dan throughput memori berkecepatan tinggi menjadi dua kali lipat dibandingkan TPU 8i. Desain ini memuat dua kali lebih banyak silikon dalam ruang rak yang sama.
Vahdat menulis: "Sistem keempat kami, TPU 8i Max, dirancang untuk mengatasi masalah lain: dinding memori."
Google juga melepaskan TPU Sync, sebuah perangkat lunak yang memindahkan memori kerja AI di antara chip, server, dan penyimpanan. Google menyatakan bahwa sistem ini dapat mengurangi latensi transmisi data dan waktu respons hingga lebih dari 90%.
Saat Google merilis pesan di atas, NVIDIA sedang menghadapi tekanan yang semakin besar dari Wall Street. Pada hari Kamis, saham NVIDIA turun 9,3%, dan lagi-lagi turun 5% pada perdagangan Senin, setelah CEO Jensen Huang mengakui hubungan di luar pernikahan dengan seorang wanita yang diduga oleh lembaga intelijen Amerika sedang melakukan spionase untuk Tiongkok. Dewan direksi NVIDIA telah meluncurkan penyelidikan independen, namun perusahaan menyatakan tidak ada bukti bahwa rahasia perusahaan telah bocor.
Skandal ini memperburuk kekhawatiran pihak luar terhadap prospek pertumbuhan NVIDIA, karena pesaing sedang menargetkan dominasi chip AI-nya. Dilaporkan bahwa OpenAI berencana membeli TPU dari Google untuk mengurangi ketergantungan pada NVIDIA. Saat ini, kabar ini belum dikonfirmasi, tetapi lini produk chip Google yang terus memperluas kemungkinan akan memberikan daya tawar lebih besar kepada pengembang AI dan mengancam pangsa pasar serta ekspektasi pertumbuhan masa depan NVIDIA.

Google tidak hanya bersaing dalam kecepatan chip, tetapi juga dalam perangkat keras dan perangkat lunak khusus. Proyek terbuka TorchTPU-nya juga memungkinkan pengembang menjalankan model PyTorch dan Hugging Face di TPU tanpa harus menulis ulang aplikasi.

