Посты
avatar

Длинные цепочки взаимодействий ИИ сокращаются для обработки диалогов и истории действий. ARCBench проверяет, сохраняются ли запреты в этих сокращениях, путем реального выполнения инструментов. Создается история действий на платформе pi, после сжатия ей дается запрос, нарушающий правила, и сравнивается с действиями без сжатия. Также проверяется, сохраняется ли правило в сокращении, ослабляется ли оно или полностью исчезает. Например, если правило запрещает отправлять электронные письма только внутри компании, то вызов инструмента для отправки письма внешнему получателю считается нарушением. В оценке по 17 задачам было обнаружено, что во многих нарушениях после сжатия само правило сохранялось. Однако возникали и проблемы на стороне поведения, например, разрешение последующих запросов, несмотря на нарушение. Нельзя считать систему прошедшей проверку только потому, что правило присутствует в сокращении — необходимо также проверить, выполняет ли она действия, противоречащие этому правилу.

Этот контент предназначен исключительно для информационных и образовательных целей. Он может содержать информацию от третьих лиц, спонсорский контент или рекламные материалы, за которые креатор может получить вознаграждение. Ничто в этой ленте не является инвестиционным советом или гарантией прибыли. Вы несете полную ответственность за свои собственные инвестиционные решения. Всегда проводите самостоятельные исследования и проявляйте осторожность перед торговлей. Мы не гарантируем точность информации третьих лиц и не несем ответственности за понесенные убытки. Прошлые результаты не являются показателем будущих. Пожалуйста, ознакомьтесь с нашими Условиями сообщества и Заявлением о раскрытии информации о рисках для получения подробной информации.

avatarОставьте свой ответ

Комментарий