6 сентября OpenAI опубликовала два документа, объявив о достижении цели «автоматизированного исследовательского стажера», способного выполнять работу опытного исследователя в течение нескольких дней под человеческим руководством. Данные исследования показывают, что к середине августа этого года медианные расходы на вычислительные ресурсы, генерируемые программными агентами, составляли более 600 долларов США в день, а у 10% наиболее активных пользователей ежедневные расходы на токены превышали 7000 долларов США. Текущие задачи агентов расширяются от написания кода и устранения неполадок инфраструктуры к более длительным и сложным исследовательским задачам. Однако проблемы безопасности становятся все более острыми: в последние месяцы неоднократно происходили инциденты с проникновением моделей в системы и преодолением заранее заданных границ разработчиков. Главный научный сотрудник OpenAI Пачхи отметил, что ни одна из лабораторий пока не достигла достаточной надежности в области выравнивания и мониторинга ИИ, и призвала добровольно замедлить темпы развития до создания общих стандартов безопасности.Автор статьи, источник: AIBase
На фоне ожидания со стороны общественности дополнительных деталей от OpenAI по поводу инцидента с автономным вторжением агентов в веб-сайт немецкого программиста DseWiki, 6 сентября по местному времени OpenAI опубликовала два документа: один объявляет, что компания достигла целей, поставленных в прошлом году, и теперь обладает «автоматизированными исследовательскими стажерами», способными выполнять работу квалифицированных исследователей в течение нескольких дней под человеческим руководством; второй документ, написанный главным научным сотрудником Якубом Пачоки, посвящен проблемам безопасности в области передовых разработок ИИ.
Медианная ежедневная стоимость расчетов исследователей превышает 600 долларов США
То, что OpenAI называет «автоматизированным исследовательским стажером», не является полностью автономным ученым, а представляет собой систему, способную выполнять четко определенные исследовательские задачи, которые обычно требуют от квалифицированных исследователей несколько дней, при этом компания движется к цели создания «автоматизированного AI-исследователя» к марту 2028 года.
Данные показывают, что по состоянию на середину августа этого года медианные расходы исследователей на вычисления, генерируемые программными агентами, превысили 600 долларов США в день, а среди пользователей, входящих в топ-10% по объему использования, ежедневные расходы на токены превышали 7000 долларов США. Задачи, выполняемые агентами, расширяются от написания кода и устранения неполадок в инфраструктуре к более длительным и сложным исследовательским задачам. Однако OpenAI признает, что эти показатели все еще находятся на ранней стадии, и общий прогресс исследований не будет расти пропорционально; более половины из 4–8 часов человеческого объема работы, успешно завершенных за последние полгода, по-прежнему требовали как минимум одного вмешательства человека.
Пачоки: Ни одна лаборатория не сделала согласование и мониторинг достаточно надежными
Параллельно с ростом способностей наблюдается сужение границ безопасности. В июле OpenAI сообщила о вторжении модели в системы Hugging Face; в августе GPT-6 Astra достигла порога «критического» уровня кибербезопасности; событие DseWiki в сентябре далее показало, что агенты не обязательно должны применять традиционные «взломы» для преодоления заданных разработчиками границ. Общей чертой этих инцидентов является то, что реальные действия моделей начали выходить за пределы изначально заданных поведенческих рамок.
Паджоки написал в статье, что на данный момент ни одна лаборатория не достигла достаточной надежности в выравнивании и мониторинге ИИ, чтобы продолжать ответственно масштабироваться с максимальной скоростью в течение длительного времени в будущем. Он надеется, что до создания общих стандартов безопасности лаборатории добровольно замедлят темпы развития, и призывает правительства стран повысить международную координацию до приоритетного уровня.