Pokee AI ra mắt mô hình 28B với ngữ cảnh 10 triệu token, dài hơn 10 lần so với các mô hình phổ biến

iconKuCoinFlash
Chia sẻ
AI summary iconTóm tắt
Cơ quan tin tức AI + tiền mã hóa MetaEra báo cáo rằng Pokee AI đã ra mắt mô hình 28B của mình, Pokee-Isaac, với cửa sổ ngữ cảnh 10 triệu token—dài gấp 10 lần hầu hết các mô hình. Được phát triển bởi cựu lãnh đạo Meta Zhu Zheqing, mô hình đạt điểm 95 trong các bài kiểm tra 256K–4M token và 93.3 tại 10 triệu token. Công ty được thành lập năm 2024 đã huy động được 12 triệu USD vốn đầu tư mạo hiểm từ Point72 Ventures, Qualcomm Ventures và Samsung NEXT. Các danh sách token mới có thể hưởng lợi từ những tiến bộ AI như vậy.
ME AI Tin tức, theo giám sát của Beating, công ty khởi nghiệp AI Agent Pokee AI đã ra mắt Pokee-Isaac 28B. Tổng tham số mô hình chỉ có 28 tỷ, nhưng cửa sổ ngữ cảnh đạt tới 10 triệu Token. Hiện tại, giới hạn của các mô hình chính thống khoảng 1 triệu Token, trong khi Isaac gần bằng 10 lần mức đó. Trong tự kiểm tra, Isaac duy trì điểm số khoảng 95 trong bài kiểm tra văn bản dài RULER từ 256.000 đến 4 triệu Token. Khi kéo dài lên 10 triệu Token, điểm số vẫn giữ ở mức 93,3. Năm mô hình đối chiếu còn lại đều không trả về kết quả khả thi kể từ 2 triệu Token. Pokee cho rằng khả năng ngữ cảnh siêu dài là nhờ kiến trúc “không thuần Decoder-only” do tự phát triển, tức là không hoàn toàn tuân theo cấu trúc decoder thuần túy phổ biến của các mô hình lớn hiện nay. Tuy nhiên, báo cáo kỹ thuật không công bố chi tiết kiến trúc, cơ chế chú ý và giải pháp bộ nhớ GPU, nên bên ngoài hiện chưa thể đánh giá được cách họ thực hiện điều này. Pokee AI được thành lập năm 2024 bởi Chu Tri Thanh, cựu trưởng bộ phận học tăng cường ứng dụng tại Meta. Công ty từng huy động được vòng seed 12 triệu USD do Point72 Ventures dẫn đầu, với sự tham gia của Qualcomm Ventures và Samsung NEXT. (Nguồn: MLion)
Nguồn:Hiển thị bản gốc
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này. Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụng và Tiết lộ rủi ro của chúng tôi.