Amazon Web Services đã phát hành TorchNeuron vào thứ Hai để giúp các startup AI di chuyển các ứng dụng lên các chip Trainium của Amazon. Công cụ này thách thức lợi thế phần mềm đã giúp Nvidia trở thành lựa chọn phần cứng mặc định cho các ứng dụng AI. Amazon cho biết TorchNeuron cho phép các ứng dụng được viết bằng PyTorch chạy trên Trainium chỉ bằng cách thay đổi một dòng cấu hình, mà không cần viết lại mã.
PyTorch là một bộ công cụ miễn phí và mã nguồn mở để xây dựng, huấn luyện và chạy các mô hình AI. Amazon cho biết khoảng 85% các ứng dụng AI được viết bằng PyTorch. Facebook ban đầu phát triển PyTorch, kể từ năm 2022, dự án này đã trở thành một phần của Linux Foundation. Linux Foundation duy trì các dự án mã nguồn mở. Nvidia đã dành nhiều năm để đảm bảo rằng CUDA, hạ tầng phần mềm để chạy các ứng dụng trên phần cứng Nvidia, hỗ trợ liền mạch các ứng dụng PyTorch. Do đó, phần cứng Nvidia đã trở nên tích hợp sâu rộng vào PyTorch, về cơ bản là mặc định.
TorchNeuron được điều chỉnh từ PyTorch, nên các nhà phát triển quen thuộc với PyTorch đã biết cách sử dụng TorchNeuron. Người dùng PyTorch cũng có thể chuyển ứng dụng sang GPU của AMD hoặc chip của Apple chỉ với một thay đổi cấu hình đơn giản. Tuy nhiên, Amazon lập luận rằng việc chuyển sang Trainium còn giúp các startup AI tiếp cận toàn bộ đám mây của Amazon. AWS tuyên bố rằng AWS là lựa chọn tốt hơn cho các startup so với các nhà cung cấp đám mây chuyên biệt như Coreweave, Nebius và Firmus, những công ty này bị ràng buộc với phần cứng Nvidia.
Colin Brace là phó chủ tịch phần mềm công nghệ tại AWS Annapurna Labs, đơn vị sản xuất các con chip tùy chỉnh của Amazon. Brace cho biết AWS đã cung cấp hạ tầng cần thiết để các nhà sáng lập chuyển từ bản mẫu sang sản xuất và mở rộng hoạt động khi cần thiết. AWS cho biết Trainium xử lý cả việc huấn luyện mô hình và suy luận, khi các mô hình hoàn thiện thực hiện các nhiệm vụ như trả lời câu hỏi của người dùng. AWS lập luận rằng việc sử dụng cùng một chip cho cả hai nhiệm vụ, tích hợp chặt chẽ với hạ tầng đám mây, sẽ giúp các startup tiết kiệm chi phí ngay cả khi không phải là giá rẻ nhất tính theo từng token. Brace nói rằng Trainium cải thiện chi phí trên toàn bộ tải công việc thông qua hiệu suất giá cả và một nền tảng duy nhất cho huấn luyện và suy luận. Brace cho biết Deepgram đã chuyển sang Trainium nhờ hỗ trợ PyTorch bản địa và xử lý nhiều hơn 70% âm thanh trên mỗi đô la với độ chính xác cấp sản xuất. Deepgram cung cấp các ứng dụng giọng nói AI và cạnh tranh với ElevenLabs.
Amazon cho biết công ty cũng đang nỗ lực giảm sự phụ thuộc tự động của PyTorch vào Nvidia. Amazon cho biết sẽ đóng góp mã nguồn vào dự án PyTorch chính để hỗ trợ nỗ lực này. Thông báo của Amazon nêu rõ công ty đang hợp tác với cộng đồng PyTorch để loại bỏ các mã nguồn liên kết khung làm việc với các chip cụ thể. Amazon cho biết mục tiêu là làm cho PyTorch ít phụ thuộc hơn vào phần cứng cụ thể cho tất cả các nhà phát triển, không chỉ riêng người dùng Trainium.
Nỗ lực này mang lại lợi ích cho các nhà cung cấp phần cứng và điện toán đám mây cạnh tranh với Nvidia. Tuy nhiên, PyTorch một phần được thiết kế để bảo vệ các nhà phát triển khỏi những khó khăn khi chạy mã AI trên phần cứng. Việc giảm sự phụ thuộc của PyTorch vào Nvidia có thể mang lại nhiều lựa chọn hơn và các tùy chọn tiết kiệm chi phí hơn, như Amazon cam kết, hoặc tạo ra nhiều khó khăn hơn trong cấu hình. Việc tách rời PyTorch khỏi Nvidia thành công có thể có hậu quả lớn hơn đối với Nvidia so với chỉ sự cạnh tranh từ các nhà sản xuất chip khác. Brace mô tả nỗ lực này là gỡ bỏ các hạn chế từng ngăn cản các nhà phát triển có được sự lựa chọn thực sự.
Amazon ra mắt TorchNeuron để thách thức sự thống trị phần mềm AI của Nvidia
FLASH AIChia sẻ
Tóm tắt
Amazon đã ra mắt TorchNeuron, một công cụ mới giúp các nhà phát triển AI chạy các ứng dụng PyTorch trên các chip AWS Trainium với ít thay đổi mã nhất. Công cụ này giảm sự phụ thuộc của PyTorch vào phần mềm CUDA của Nvidia. AWS cho biết các nhà phát triển có thể chuyển sang Trainium chỉ với một dòng cấu hình. Công ty cũng sẽ đóng góp mã nguồn vào PyTorch để làm cho nó ít phụ thuộc vào phần cứng hơn. Các startup sử dụng Trainium để đào tạo và suy luận có thể giảm chi phí. Deepgram báo cáo tăng 70% xử lý âm thanh trên mỗi đô la sau khi chuyển đổi. Tin tức AI + crypto này nhấn mạnh nỗ lực của AWS trong việc mở rộng sang lĩnh vực tin tức trên chuỗi và hạ tầng AI.
Nguồn:Hiển thị bản gốc
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này.
Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụng và Tiết lộ rủi ro của chúng tôi.