Очень интересное интервью с Ронином об обеспечении безопасности ИИ. Я более пессимистично оцениваю риски и не согласен со всем этим, но мне нравится, как он формулирует свои мысли. Где я больше всего не согласен: исключать исследования по согласованности из данных предварительного обучения моделей, исходя из логики, что мы не должны передавать ИИ-системам полный набор инструкций о том, как мы планируем их контролировать. История показывает, что это проваливается. Мы уже проходили этот же спор в криптографии. Безопасность через скрытность не работает. Вам нужны открытые схемы, открытые стандарты, открытые исследования. По сути, принцип Керкхоффса: скрывайте ключи, а не алгоритмы. То же самое должно применяться и к согласованности. Обучайте модели нашим лучшим исследованиям в области безопасности, а не изолируйте их от них. Честный вопрос для людей, работающих над безопасностью: действительно ли наблюдается сдвиг в сторону исключения этих данных из предварительного обучения? Становится ли это консенсусом? Искренне любопытно.