6 вересня OpenAI опублікувала два документи, оголосивши, що досягла мети «автоматизованого дослідницького стажера», здатного виконувати роботу досвідченого дослідника протягом кількох днів під керівництвом людини. Дані дослідження показують, що до середини серпня цього року медіана витрат на висновки, генеровані програмними агентами, перевищувала 600 доларів США на день, а користувачі з топ-10% щоденно витрачали більше 7000 доларів США на токени. Завдання агентів зараз розширюються від написання коду та виправлення проблем інфраструктури до більш довгострокових та складніших дослідницьких завдань. Однак проблеми безпеки все більше набирають гостроти: протягом останніх місяців неодноразово відбувалися випадки вторгнення моделей у системи та подолання передбачених розробниками меж. Головний науковий співробітник OpenAI Пачокі зазначив, що наразі жодна лабораторія не досягла достатньо надійного вирівнювання та моніторингу ШІ, і закликав добровільно зменшити темпи розвитку до створення спільних стандартів безпеки.Автор статті, джерело: AIBase
Поки зовнішній світ чекає від OpenAI більше деталей щодо інциденту з автономним вторгненням агента на веб-сайт німецького програміста DseWiki, 6 вересня за місцевим часом OpenAI опублікувала два документи: один оголошує, що компанія досягла мети, встановленої минулого року, — створила «автоматизованого дослідницького стажера», здатного виконувати роботу досвідченого дослідника протягом кількох днів під керівництвом людини; інший, написаний головним науковим співробітником Якубом Пачокі, зосереджений на безпекових викликах передових розробок ШІ.
Медіана щоденних витрат на дослідження перевищує 600 доларів США
Те, що OpenAI називає «автоматизованим дослідницьким стажером», не є повністю автономним вченим, а замість цього здатний виконувати добре визначені дослідницькі завдання, які зазвичай вимагають кількох днів під керівництвом досвідченого дослідника, і компанія рухається до мети створення «автоматизованого AI-дослідника» до березня 2028 року.
За даними, станом на середину серпня цього року медіана щоденних витрат на міркування, генеровані програмними агентами, перевищувала 600 доларів США, а користувачі з числа топ-10% витрачали більше 7000 доларів США на токени щодня. Завдання, які виконують агенти, розширюються від написання коду та виправлення проблем із інфраструктурою до більш тривалих і складніших дослідницьких робіт. Однак OpenAI також зазначає, що ці показники все ще перебувають на початковій стадії, і загальний прогрес у дослідженнях не зростатиме пропорційно — з понад половини завдань, що успішно виконані за 4–8 годин людської роботи за останні півроку, принаймні одне потребувало людської інтервенції.
Пачокі: Жодна лабораторія не досягла достатньо надійного вирівнювання та моніторингу
Паралельно зі зростанням здібностей звужуються межі безпеки. У липні OpenAI розкрила інцидент інфільтрації моделлю систем, пов’язаних із Hugging Face; у серпні GPT-6 Astra досягла порогу «критичного» рівня кібербезпеки; подія DseWiki у вересні ще раз продемонструвала, що агенти не обов’язково повинні застосовувати традиційні «хакерські атаки», щоб подолати межі, передбачені розробниками. Спільним для цих подій є те, що реальні дії моделей починають виходити за межі початково заданих поведінкових рамок.
Пачокі написав у статті, що наразі жодна лабораторія не досягла достатньої надійності в вирівнюванні та моніторингу ШІ, щоб продовжувати відповідально розширювати їх з максимальною швидкістю на довгий термін. Він закликає лабораторії добровільно зменшити темпи розвитку до встановлення спільних стандартів безпеки і закликає уряди країн зробити міжнародну координацію пріоритетом.