Những điểm then chốt
- Tether đã giới thiệu một khung công tác cho phép đào tạo mô hình ngôn ngữ lớn trên điện thoại thông minh.
- Hệ thống sử dụng kiến trúc BitNet và tinh chỉnh LoRA để giảm nhu cầu tính toán.
- Các công ty tiền điện tử đã tăng chi tiêu cho cơ sở hạ tầng AI và máy tính hiệu năng cao.
Tether đã phát hành một khung đào tạo trí tuệ nhân tạo mới vào thứ Ba, cho phép các mô hình ngôn ngữ lớn chạy và tinh chỉnh trên phần cứng người dùng tiêu dùng. Hệ thống này là một phần của nền tảng QVAC của công ty và hỗ trợ điện thoại thông minh cùng nhiều bộ xử lý không phải Nvidia. Các kỹ sư đã thiết kế khung này để giảm yêu cầu bộ nhớ, từ đó hạ thấp rào cản chi phí trong việc xây dựng và kiểm thử các mô hình ngôn ngữ.
Việc ra mắt diễn ra khi các công ty cơ sở hạ tầng tiền điện tử đẩy mạnh phát triển trí tuệ nhân tạo và thị trường tính toán. Tether, nhà phát hành stablecoin lớn nhất về vốn hóa thị trường, mô tả việc ra mắt này như một nỗ lực phi tập trung hóa khả năng học máy. Công ty cho rằng việc cho phép huấn luyện mô hình trên phần cứng phổ biến có thể giảm sự phụ thuộc vào các nhà cung cấp đám mây tập trung.
Tether đã giới thiệu hệ thống đào tạo dựa trên BitNet
Thông báo của Tether mô tả khung này là một môi trường đào tạo được xây dựng trên kiến trúc BitNet của Microsoft. Thiết kế sử dụng các cấu trúc mạng nơ-ron một bit kết hợp với các phương pháp tinh chỉnh LoRA, cho phép các nhà phát triển điều chỉnh mô hình trong khi vẫn duy trì mức yêu cầu tính toán thấp.
Các kỹ sư công ty cho biết hệ thống đã huấn luyện các mô hình ngôn ngữ với lên đến một tỷ tham số trên điện thoại thông minh trong chưa đầy hai giờ. Các mô hình nhỏ hơn được báo cáo là hoàn thành huấn luyện trong vài phút khi được tối ưu hóa thông qua cùng phương pháp tiếp cận này. Công ty cũng cho biết nền tảng hỗ trợ các mô hình đạt tới mười ba tỷ tham số trên thiết bị di động.
Các kỹ sư đã xây dựng hệ thống để hoạt động trên nhiều hệ sinh thái phần cứng thay vì phụ thuộc vào chip Nvidia. Khung này hỗ trợ bộ xử lý AMD, kiến trúc Intel, hệ thống Apple Silicon và bộ xử lý đồ họa di động từ Qualcomm và Apple. Tính tương thích đó đã mở rộng khả năng tiếp cận các thí nghiệm học máy vượt ra ngoài các cụm máy tính hiệu năng cao truyền thống.
Thiết kế kỹ thuật cũng giảm nhu cầu bộ nhớ đồ họa so với các mô hình tiêu chuẩn. Kết quả nội bộ từ kỹ thuật cho thấy kiến trúc BitNet đã giảm việc sử dụng VRAM lên đến 77,8% so với các hệ thống 16-bit tương đương.
Tether Đẩy Máy Tính AI Vượt Qua Phần Cứng Nvidia
Tether cho biết kiến trúc này cho phép tinh chỉnh LoRA trên phần cứng ngoài hệ sinh thái Nvidia. Các nhà phát triển trước đây phụ thuộc vào bộ xử lý đồ họa Nvidia để thực hiện các công việc huấn luyện vì những chip này xử lý hiệu quả các phép tính tensor lớn. Các kỹ sư của Tether đã cố gắng loại bỏ hạn chế đó bằng cách cho phép các phương pháp huấn luyện độ phân giải thấp trên các bộ xử lý thay thế.
Công ty cho rằng kiến trúc này cũng cải thiện tốc độ suy luận cho các tác vụ di động. Các bài kiểm tra cho thấy các bộ xử lý đồ họa di động xử lý các mô hình BitNet nhanh hơn nhiều lần so với các bộ xử lý trung tâm tiêu chuẩn. Sự khác biệt này cho phép các mô hình chạy cục bộ trên các thiết bị cầm tay thay vì yêu cầu cơ sở hạ tầng đám mây từ xa.
Các nhà phát triển cũng đã khám phá các phương pháp học máy phân tán trong hệ thống. Tether mô tả các ứng dụng tiềm năng của các mô hình học liên kết cập nhật qua mạng các thiết bị độc lập. Dưới cấu trúc đó, các mô hình học từ dữ liệu cục bộ trong khi giữ thông tin trên từng thiết bị thay vì tải lên các máy chủ tập trung.
Công ty đề xuất rằng phương pháp này có thể hỗ trợ các môi trường đào tạo tập trung vào quyền riêng tư. Dữ liệu vẫn được lưu tại chỗ, trong khi chỉ các bản cập nhật mô hình được truyền qua các mạng. Kiến trúc đó phản ánh các xu hướng trong các hệ thống tính toán phi tập trung và các mạng mã hóa phân tán.
Sự mở rộng của Tether phản ánh nỗ lực AI trong ngành công nghiệp tiền điện tử
Hoạt động thị trường trong toàn bộ lĩnh vực tài sản kỹ thuật số cho thấy sự gia tăng đầu tư vào cơ sở hạ tầng trí tuệ nhân tạo. Các công ty tiền điện tử ngày càng tái sử dụng năng lực tính toán ban đầu được xây dựng cho các hoạt động blockchain nhằm phục vụ các công việc học máy.
Các tài liệu công khai cho thấy các công ty công nghệ đã thiết lập các đối tác để đảm bảo sức mạnh tính toán đáp ứng nhu cầu về trí tuệ nhân tạo. Một thỏa thuận được công bố vào tháng Chín đã trao cho Google một cổ phần thiểu số tại Cipher Mining như một phần của thỏa thuận 10 năm có giá trị 3 tỷ USD. Arrangement liên kết dung lượng trung tâm dữ liệu với nhu cầu xử lý trí tuệ nhân tạo.
Các thông báo doanh nghiệp sau đó cho biết các công ty khai thác bitcoin cũng chuyển vốn sang các dịch vụ học máy. Vào tháng 12, nhà khai thác IREN đã vạch ra kế hoạch huy động khoảng 3,6 tỷ đô la để mở rộng cơ sở hạ tầng cho các hoạt động trí tuệ nhân tạo.
Các báo cáo kết quả kinh doanh của doanh nghiệp đầu năm đã củng cố cùng xu hướng này. HIVE Digital Technologies báo cáo doanh thu 93,1 triệu USD sau khi mở rộng dịch vụ máy tính hiệu năng cao. Vào khoảng thời gian tương tự, Core Scientific đã giành được khoản vay 500 triệu USD từ Morgan Stanley để hỗ trợ tăng trưởng cơ sở hạ tầng máy tính của mình.
Các nhà phát triển cũng đã thử nghiệm các tác nhân trí tuệ nhân tạo tự trị tích hợp với hạ tầng blockchain. Coinbase đã ra mắt các công cụ ví cho phép các tác nhân phần mềm thực hiện giao dịch trực tiếp trên blockchain. Alchemy đã giới thiệu các dịch vụ cho phép các tác nhân truy cập dữ liệu blockchain trong khi thanh toán thông qua hạ tầng stablecoin.
Các mạng nhận dạng cũng đã khám phá mối liên hệ giữa các hệ thống trí tuệ nhân tạo và xác minh kỹ thuật số. World, mạng nhận dạng do Sam Altman, giám đốc điều hành của OpenAI, đồng sáng lập, đã ra mắt AgentKit vào đầu tuần này. Bộ công cụ này cho phép các tác nhân phần mềm xác minh kết nối của chúng với một danh tính con người duy nhất thông qua hệ thống World ID.
Khung làm việc mới nhất của Tether đã gia nhập cùng một lĩnh vực đang mở rộng nơi các tài nguyên máy tính, học máy và hệ thống blockchain giao nhau.
Công ty cho biết các nhà phát triển có thể tích hợp các công cụ đào tạo vào các ứng dụng phân tán và thiết bị cục bộ mà không cần phụ thuộc vào các máy chủ tập trung.
Phát triển tiếp theo cho khung trí tuệ nhân tạo của Tether’s sẽ phụ thuộc vào việc các nhà phát triển áp dụng và kiểm thử hiệu suất ở cấp độ thiết bị. Các kỹ sư có khả năng theo dõi cách nền tảng QVAC xử lý các mô hình lớn trên phần cứng người dùng phân tán trong các phiên bản sắp tới.
Bài viết Tether Ra Mắt Khung AI Cho Phép Huấn Luyện Mô Hình Trên Điện Thoại Thông Minh xuất hiện đầu tiên trên The Coin Republic.