Anthropic предупреждает, что ИИ может вскоре войти в фазу саморазгона

Beating AI Новости: В обновленном 11 ноября 2023 года проспекте IPO Anthropic предупреждает, что ИИ может вскоре преодолеть ключевой порог, связанный с рекурсивным самоулучшением (RSI), что значительно ускорит темпы разработки ИИ. Ранее уже случались случаи, когда значительное ускорение прогресса в разработке не было своевременно замечено, и его осознание наступило только после того, как ускорение уже произошло. В настоящее время Claude уже участвует в написании кода, проведении экспериментов и обработке обучающих данных, помогая разрабатывать более мощные модели следующего поколения. Эти новые модели, в свою очередь, способны ускорять последующую разработку, создавая цикл постоянного ускорения. Согласно политике безопасности Anthropic, достижение этого ключевого порога означает одно из двух: 1. ИИ способен выполнять всю работу исследовательской команды по ИИ с сопоставимыми затратами; 2. Или скорость технологического прогресса в области ИИ увеличивается как минимум вдвое, сокращая сроки достижения прогресса, который ранее требовал двух лет, до одного года. По мере того как ИИ все глубже вовлекается в собственную разработку, способности моделей могут расти быстрее, чем обновляются оценки безопасности, исследования по выравниванию и защитные меры. Anthropic пока не считает, что какие-либо существующие модели достигли этого уровня; данное предупреждение основано в основном на внутренних оценках и прогнозах относительно будущих моделей. В настоящее время рассматривается возможность пересмотра политики безопасности, чтобы обеспечить, чтобы ключевые этапы разработки оставались под наблюдением и контролем человека.