Hermes Agent เปิดตัวการควบคุมคอมพิวเตอร์ macOS พร้อมการลดการใช้งานโทเค็นลง 95%

ตามการตรวจสอบของ Beating ฮีร์เมสเอเจนต์ของ Nous Research ได้เปิดใช้งานฟีเจอร์การควบคุมคอมพิวเตอร์ macOS อย่างเป็นทางการ ฟีเจอร์นี้มีประสบการณ์การใช้งานที่ตรงกับ “การควบคุมพื้นหลัง” ของ OpenAI Codex โดยใช้ไดรเวอร์โอเพ่นซอร์ส cua-driver ที่เคยรายงานไว้ในช่องนี้ ซึ่งสามารถส่งคำสั่งปฏิบัติการโดยตรงไปยังกระบวนการเป้าหมายผ่านการรีเวิร์สอีนจิเนียร์ API แบบปิดของแอปเปิล หมายความว่าเมื่อเอเจนต์ทำงานพื้นหลังเพื่อค้นหาอีเมลหรือพิมพ์โค้ด แม้ว่าเมาส์จริงของผู้ใช้จะไม่กระโดดไปมา และโฟกัสหน้าต่างปัจจุบันจะไม่ถูกแย่งไป ทำให้ผู้ใช้และเอเจนต์สามารถทำงานร่วมกันบนคอมพิวเตอร์เครื่องเดียวกันได้อย่างไม่รบกวนกัน เนื่องจากการควบคุมคอมพิวเตอร์ขึ้นอยู่กับภาพหน้าจออย่างต่อเนื่อง ค่าใช้จ่ายโทเค็นจึงมักเพิ่มขึ้นอย่างรวดเร็ว Hermes จึงได้พัฒนา cơ chếบีบอัดบริบทสี่ชั้นในระดับเฟรมเวิร์ก: ตัดภาพที่ซ้ำซ้อนออกอย่างบังคับ ให้โมเดลจดจำเฉพาะภาพหน้าจอสามภาพล่าสุด และร่วมกับการล้างแคชเก่าจากเซิร์ฟเวอร์ การคำนวณอย่างเป็นทางการแสดงว่าเมื่อทำงานต่อเนื่อง 20 ขั้นตอนที่ความละเอียด 1568×900 ปริมาณโทเค็นที่ใช้จะลดลงจากประมาณ 600,000 โทเค็นเหลือประมาณ 30,000 โทเค็น