Дописи
avatar

Довгі AI-системи скорочують діалоги та історію завдань, щоб продовжувати обробку. ARCBench перевіряє, чи залишаються заборони в цих скороченнях, шляхом реальних операцій з інструментами. Використовуючи виконавчу платформу pi, він створює історію, після стиснення надає запит, що порушує правила, і порівнює дії з випадком без стиснення. Одночасно він перевіряє, чи зберігся, ослабся чи зникло правило в скороченні. Наприклад, якщо правило передбачає надсилання електронних листів лише всередині компанії, виклик інструменту для надсилання листа зовнішньому отримувачу вважається порушенням. У оцінці з 17 завдань багато порушень після стиснення залишали правило на місці. Проте виникали й проблеми на стороні дій — наприклад, наступні запити неправильно вважалися дозволеними. Необхідно не лише перевіряти, чи правило присутнє в скороченні, а й перевіряти, чи не виконуються операції, що суперечать цьому правилу.

Цей контент призначений виключно для інформаційних та освітніх цілей. Він може містити думки третіх осіб, спонсорований контент або рекламні матеріали, за які автор може отримувати оплату. Жодна інформація в цій стрічці не є інвестиційною порадою чи гарантією прибутковості. Ви несете повну відповідальність за власні інвестиційні рішення. Перед початком торгівлі завжди проводьте власне дослідження та дотримуйтесь обережності. Ми не гарантуємо точність інформації від третіх осіб і не несемо відповідальності за будь-які збитки. Минулі результати не є показником майбутніх. Дивіться наші Умови спільноти та Заяву про ризики для отримання детальної інформації.

avatarОпублікуйте відповідь

Коментувати