Сэм Альтман предупреждает, что развитие ИИ должно замедлиться для устранения рисков на переднем крае

Ключевые выводы:

• Предупреждение Сэма Альтмана смещает новости об ИИ в сторону более медленного развития и усиленной безопасности.
• OpenAI готовит случаи безопасности перед тренировками, которые, как ожидается, повысят возможности.
• Альтман предупреждает о потере человеческого контроля и чрезмерной власти ИИ, сосредоточенной у одного субъекта.

Новости об ИИ сместились в сторону безопасности передовых разработок после того, как генеральный директор OpenAI Сэм Альтман призвал к более медленному и тщательно контролируемому развитию моделей. Он предупредил, что человечество может потерять контроль, если возможности развиваются быстрее, чем системы согласования и мониторинга.

Альтман также выделил сильный централизованный контроль над мощными ИИ как отдельную угрозу. Его заявление от 14 сентября поддержало дальнейший прогресс, хотя разработчики должны принять дополнительные расходы на безопасность и более медленное развитие.

Альтман поддержал предложение генерального директора Anthropic Дарио Амодеи о замедлении разработки до тех пор, пока исследователи не укрепят меры безопасности.

Однако он пояснил, что регулирование не означает остановки технологического прогресса. Вместо этого лаборатории должны принимать более медленное развитие, когда проверки безопасности требуют больше времени. Эти меры сопряжены с высокими затратами, но Альтман описал эти затраты как необходимые.

Помимо новостей об ИИ, Альтман заявил, что конкурентное давление внутри США никогда не должно оправдывать безрассудную разработку. Он добавил, что возможности моделей не должны превышать возможности систем согласования и мониторинга.

Прогресс ускорился, что делает ответственное развитие еще более важным для каждой передовой лаборатории. Он сказал, что американские компании должны внушить обществу уверенность в том, что они будут развивать передовые системы ответственно.

Ранние рамки компаний в основном рассматривали завершенные модели перед их публичным развертыванием. К ним относились Ответственные политики масштабирования и рамки готовности, разработанные передовыми лабораториями.

Альтман заявил, что текущие условия разработки требуют новых инструментов и более ранних оценок безопасности. Следовательно, OpenAI перенесла часть работ по безопасности вперед по сравнению с крупными улучшениями возможностей.

OpenAI теперь формулирует явные случаи безопасности перед отобранными запусками передового усиления обучения. Компания применяет их, когда исследователи ожидают, что тренировочный запуск приведет к значительному росту возможностей.

OpenAI также продолжает проводить работу по обеспечению безопасности перед выпуском завершенных моделей. Этот подход, следовательно, предполагает оценку на этапах разработки и внедрения.

Альтман заявил, что компании должны делиться подходами и предлагать собственные процедуры безопасности. Он поддержал общие стандарты, охватывающие несоответствие модели, мониторинг и безопасность.

Эти стандарты могут помочь лабораториям в оценке все более мощных систем. Он также приветствовал независимых аудиторов как часть единой рамочной системы оценки рисков на передовой.

Последнее заявление по ИИ призвало к немедленным действиям от отрасли без ожидания законодательства. Альтман заявил, что компаниям не нужна анти垄断ная экспансия перед внедрением мер безопасности.

Он также поддержал федеральную рамочную структуру, устанавливающую единые требования для разработчиков передовых технологий. Однако он поручил правительствам более значительную роль в координации международных правил безопасности.

Альтман заявил, что лаборатории должны сначала внедрить меры защиты, доступные внутри своих собственных организаций. Затем правительства могут поддержать координацию между странами для разработки передовых моделей.

Его заявление не призывало прекращать исследования ИИ или улучшения их возможностей. Вместо этого оно предложило продолжить развитие с более строгим контролем и сознательным темпом.

Альтман описал два способа, при которых продвинутое развитие ИИ может привести к серьезно вредным последствиям. Во-первых, человечество может потерять контроль, если возможности превзойдут доступные средства защиты.

Во-вторых, одна компания, страна, лаборатория или отдельное лицо могут получить чрезмерный контроль над мощными системами. Такая концентрация может позволить одному субъекту навязать свою картину мира другим.

Предупреждение объединило технический контроль и институциональный контроль в рамках одной дискуссии о безопасности. Альтман заявил, что OpenAI остается приверженной обеспечению того, чтобы ИИ служил человечеству.

Согласно последним новостям об ИИ, генеральный директор OpenAI также подчеркнул, что каждая передовая лаборатория должна нести эту ответственность. В противном случае более мощные системы могут развиваться без достаточного контроля или общих стандартов.

Пост AI News: Сам Альтман говорит, что прогресс ИИ должен замедлиться, поскольку риски передовых технологий ускоряются появился первым на The Coin Republic.