ChainThink thông báo, ngày 5 tháng 8, công ty khởi nghiệp AI Agent Pokee AI đã ra mắt Pokee-Isaac 28B với tổng tham số mô hình là 28 tỷ và cửa sổ ngữ cảnh đạt 10 triệu Token, gần gấp 10 lần giới hạn khoảng 1 triệu Token của các mô hình phổ biến.
Theo tự kiểm tra của Isaac, trong bài kiểm tra văn bản dài RULER, Isaac duy trì điểm số khoảng 95 trong khoảng từ 256.000 đến 4.000.000 Token; sau khi tăng lên 10.000.000 Token, điểm số vẫn là 93.3.
Năm mô hình so sánh còn lại đều không trả về kết quả khả dụng kể từ 2 triệu Token.
Pokee quy khả năng này cho kiến trúc “không chỉ là Decoder-only” tự phát triển, nhưng báo cáo kỹ thuật chưa công bố chi tiết kiến trúc, cơ chế chú ý và giải pháp bộ nhớ GPU, nên bên ngoài hiện chưa thể đánh giá cách thức thực hiện của nó.
Pokee AI được thành lập vào năm 2024 bởi Chu Zheqing, cựu trưởng bộ phận học tăng cường ứng dụng của Meta, từng huy động được 12 triệu USD trong vòng seed do Point72 Ventures dẫn đầu, với sự tham gia của Qualcomm Ventures và Samsung NEXT.