帖子
avatar

長時間運行的 AI 會將對話和操作歷史簡化後繼續處理。 ARCBench 會透過實際的工具操作,驗證這些摘要中是否仍保留禁止事項以確保安全。 在 pi 執行平台中建立歷史記錄,壓縮後給予違反規則的請求,並與未壓縮時的操作進行比較。 同時,也會檢測規則在摘要中是被保留、削弱,還是完全消失。 例如,若規則規定僅能發送郵件給公司內部人員,則呼叫發送給外部人員的工具即被判定為違規。 在使用 17 項任務的評估中,大多數壓縮後的違規行為中,規則本身仍得以保留。 但同時也出現了行動端的問題,例如將後續請求視為允許。 不能僅因規則出現在摘要中就視為合格,還必須檢驗是否會執行違反該規則的操作。

此內容僅供資訊及教育用途。內容可能包括第三方見解、贊助內容或推廣材料,而創作者可能因此獲得報酬。本資訊流中的任何內容均不構成投資建議或收益保證。您須自行對投資決策負全責。交易前,請務必自行研究並審慎行事。我們不保證第三方資訊的準確性,亦不會對因此產生的任何損失承擔責任。過往表現並不代表未來結果。詳情請參閱我們的 社群條款 及 風險披露聲明。

avatar發佈你的回覆

評論