Зі штучним інтелектом вчені здатні робити більше — гірше. Модель того, як проводиться дослідження, передбачає, що мовні моделі змусять вчених писати більше статей, але гіршої якості. Карл Бергстром з Університету Вашингтона та колеги розбили процес дослідження на етапи і запитали, які з них прискорюють LLM. Є ЕТАП ВІДКРИТТЯ, де ви генеруєте гіпотези та проводите достатньо попередніх робіт, щоб визначити, чи варто продовжувати проект. Потім ЕТАП РОЗРОБКИ у двох частинах: * обов’язкова робота — графіки та чернетки, без яких не можна публікувати; та * додаткова робота — додаткові експерименти та полірування У термінах програмування додаткова робота — це тестування та виправлення помилок перед релізом. LLM прискорюють відкриття та обов’язкову роботу — але не торкаються додаткової частини, бо вона визначається саме тим, що не є обов’язковою. Чи є багатоагентні зворотні зв’язки, чи ні — додаткова частина зазвичай є «людиною у циклі» — багато «ой, зачекайте, а що це взагалі робить?» реальність-сендвічі. Отже, економія часу йде на початок наступної статті, а не на покращення поточної, і це призводить до передбачення: більше виводу, менша частка з якого — якісна. Суть аргументу Бергстрома — у стимулах: вчених оцінюють за обсягом — тому інструмент, що підвищує обсяг, використовують саме для підвищення обсягу. Його запропоноване вирішення — оцінювати дослідників за їхнім найкращим внеском, а не підраховуючи статті та цитування. (Примітка: стаття Бергстрома була опублікована на arXiv 19 липня і ще не пройшла рецензування) #ScienceOfScience #AI #Research