Amazon Web Services merilis TorchNeuron pada hari Senin untuk membantu startup AI memindahkan aplikasi ke chip Trainium milik Amazon. Alat ini menantang keunggulan perangkat lunak yang membantu menjadikan Nvidia pilihan perangkat keras default untuk aplikasi AI. Amazon mengatakan TorchNeuron memungkinkan aplikasi yang ditulis dengan PyTorch berjalan di Trainium dengan hanya mengubah satu baris konfigurasi, tanpa perlu menulis ulang kode.
PyTorch adalah toolkit gratis dan open-source untuk membangun, melatih, dan menjalankan model AI. Amazon menyatakan sekitar 85% aplikasi AI ditulis dengan PyTorch. Facebook awalnya mengembangkan PyTorch, yang telah menjadi bagian dari Linux Foundation sejak 2022. Linux Foundation memelihara proyek-proyek open-source. Nvidia telah menghabiskan bertahun-tahun memastikan bahwa CUDA, infrastruktur perangkat lunak untuk menjalankan aplikasi di perangkat keras Nvidia, mendukung aplikasi PyTorch secara mulus. Perangkat keras Nvidia akhirnya menjadi sangat tertanam dalam PyTorch, pada dasarnya secara default.
TorchNeuron diadaptasi dari PyTorch, sehingga pengembang yang sudah familiar dengan PyTorch sudah tahu cara menggunakannya. Pengguna PyTorch juga dapat memindahkan aplikasi ke GPU AMD atau chip Apple dengan perubahan konfigurasi sederhana. Namun, Amazon berargumen bahwa beralih ke Trainium juga memberi startup AI akses ke seluruh cloud Amazon. AWS mengklaim bahwa AWS adalah pilihan yang lebih baik bagi startup dibandingkan penyedia cloud khusus seperti Coreweave, Nebius, dan Firmus, yang terikat pada perangkat keras Nvidia.
Colin Brace adalah wakil presiden Teknologi Perangkat Lunak di AWS Annapurna Labs, unit yang memproduksi chip khusus Amazon. Brace mengatakan AWS sudah menyediakan infrastruktur yang dibutuhkan pendiri untuk beralih dari prototipe ke produksi dan memperluas operasi saat diperlukan. AWS menyatakan bahwa Trainium menangani baik pelatihan model maupun inferensi, ketika model yang selesai menjalankan tugas seperti menjawab pertanyaan pengguna. AWS berargumen bahwa penggunaan chip yang sama untuk kedua tugas tersebut, yang terintegrasi erat dengan infrastruktur cloud, akan menghemat biaya bagi startup bahkan tanpa harga per token termurah. Brace mengatakan Trainium meningkatkan efisiensi biaya secara menyeluruh melalui rasio harga-kinerja dan satu platform tunggal untuk pelatihan dan inferensi. Brace mengatakan Deepgram beralih ke Trainium dengan dukungan PyTorch asli dan memproses 70% lebih banyak audio per dolar dengan akurasi tingkat produksi. Deepgram menyediakan aplikasi suara AI dan bersaing dengan ElevenLabs.
Amazon mengatakan perusahaan juga sedang bekerja untuk mengurangi ketergantungan otomatis PyTorch pada Nvidia. Amazon mengatakan akan menyumbangkan kode ke proyek utama PyTorch untuk mendukung upaya tersebut. Pengumuman Amazon menyatakan bahwa perusahaan bekerja sama dengan komunitas PyTorch untuk menghapus kode yang mengikat kerangka kerja ke chip tertentu. Amazon mengatakan tujuannya adalah membuat PyTorch kurang bergantung pada perangkat keras tertentu bagi semua pengembang, bukan hanya pengguna Trainium.
Upaya ini menguntungkan penyedia perangkat keras dan cloud yang bersaing dengan Nvidia. Namun, PyTorch sebagian dimaksudkan untuk melindungi pengembang dari kesulitan menjalankan kode AI pada perangkat keras. Mengurangi ketergantungan PyTorch pada Nvidia dapat memberikan lebih banyak pilihan dan opsi yang lebih terjangkau, seperti yang dijanjikan Amazon, atau menciptakan lebih banyak kesulitan konfigurasi. Berhasil memisahkan PyTorch dari Nvidia dapat memiliki konsekuensi yang lebih besar bagi Nvidia daripada hanya persaingan dari produsen chip lainnya. Brace menggambarkan upaya ini sebagai menghilangkan pembatasan yang sebelumnya mencegah pengembang memiliki pilihan nyata.
Amazon Meluncurkan TorchNeuron untuk Menantang Dominasi Perangkat Lunak AI Nvidia
FLASH AIBagikan
Ringkasan
Amazon telah meluncurkan TorchNeuron, alat baru untuk pengembang AI agar dapat menjalankan aplikasi PyTorch pada chip AWS Trainium dengan perubahan kode minimal. Alat ini mengurangi ketergantungan PyTorch pada perangkat lunak CUDA milik Nvidia. AWS menyatakan bahwa pengembang dapat beralih ke Trainium dengan satu baris konfigurasi. Perusahaan juga akan menyumbangkan kode ke PyTorch agar menjadi kurang bergantung pada perangkat keras. Startup yang menggunakan Trainium untuk pelatihan dan inferensi dapat mengurangi biaya. Deepgram melaporkan peningkatan 70% dalam pemrosesan audio per dolar setelah beralih. Berita AI + kripto ini menyoroti upaya AWS dalam memasuki infrastruktur AI dan berita on-chain.
Sumber:Tampilkan versi asli
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini.
Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.