Искусственный интеллект действительно выходит на массовый уровень не в зависимости от того, сколько контента он может генерировать, а от того, верит ли общество в сгенерированный им контент.

Автор статьи, источник: ME News



Кратко

• Центральное управление по делам интернета проводит второй этап специальной кампании «Чистый интернет: борьба с хаосом в применении ИИ», сосредоточившись на борьбе с фальшивой информацией, генерируемой ИИ, непристойным и насильственным контентом, подделкой личности и нарушением прав несовершеннолетних. На данный момент было удалено более 5,61 миллиона нарушительных сообщений, заблокировано более 49 000 аккаунтов и устранено более 2400 нарушительных веб-сайтов и приложений.
• Платформы ИИ, такие как Доубао, Юаньбао, Цяньвэнь и Вэньсинь Иянь, усиливают проверку обучающих данных, фильтрацию безопасности моделей и механизмы идентификации генерируемого контента; основная цель — не ограничить возможности ИИ, а снизить риск его неправомерного использования.
• Управление ИИ переходит от «удаления нарушительного контента» к «контролю процесса создания контента»: обучение моделей, источники данных, этапы генерации и цепочки распространения становятся приоритетами регулирования.
• Коммерческая конкуренция в области генеративного ИИ в будущем будет не только соревнованием параметров моделей и опыта продуктов, но и безопасности, соответствия требованиям и долгосрочного доверия.
• Искусственный интеллект действительно выходит на массовый уровень не в зависимости от того, сколько контента он может генерировать, а от того, верит ли общество в сгенерированный им контент.

Скорость развития искусственного интеллекта постоянно меняет общественное восприятие границ технологий.

Несколько лет назад люди обсуждали ИИ, уделяя больше внимания параметрам моделей, вычислительной мощности, качеству ответов и коммерческим сценариям. Кто обладал более крупными моделями и более сильными возможностями вывода, тот, казалось, мог выиграть будущее.

Но после перехода к масштабному применению генеративного ИИ постепенно возникает более реальная проблема: если ИИ может за несколько секунд сгенерировать текст, изображение, аудиофайл или даже целый набор информации, кажущейся реальной, кто гарантирует, что этот контент не станет новым инструментом для распространения слухов, манипулирования общественным мнением и нарушения прав?

Это не далекая проблема.

В рамках второго этапа специальной кампании «Чистая сеть. Борьба с хаосом в применении ИИ», недавно запущенной Управлением по делам интернет-пространства Китая, проводится регулирование именно этих реальных рисков. Основное внимание в этой кампании уделяется борьбе с использованием ИИ для создания и распространения ложной информации, распространения насильственного и непристойного контента, подделки и имитации других лиц, а также нарушения прав несовершеннолетних. На данный момент в рамках кампании было удалено более 5,61 миллиона нарушительных сообщений, заблокировано более 49 000 аккаунтов и устранено более 2400 нарушительных веб-сайтов и приложений.

За этими цифрами стоит не проблема с самой технологией ИИ, а управленческий вызов, с которым сталкивается быстро развивающаяся отрасль по мере перехода к зрелой стадии.

Любая технология, меняющая способы функционирования общества, не ограничивается только повышением эффективности.

Интернет принес свободный поток информации, а также распространение ложной информации; мобильные платежи изменили финансовый опыт и породили новые схемы мошенничества; короткие видео снизили барьеры для создания контента и создали среду конкуренции за трафик.

Искусственный интеллект — тоже самое.

Он может повысить производительность, но также может усилить незаконные действия с низкой стоимостью.

Раньше для создания фальшивой статьи или поддельного видео требовалось много ручного труда. Сегодня ИИ снизил барьеры для создания контента, дав обычным пользователям возможность генерировать материалы, сопоставимые по качеству с работами профессиональных команд. Без соответствующих механизмов управления технологические преимущества могут быть использованы немногими для создания хаоса.

Таким образом, управление ИИ — это не торможение инноваций, а добавление систем безопасности на пути быстрого развития.

Многие могут задаться вопросом: разве ИИ не должен быть максимально открытым? Почему сейчас все больше продуктов ИИ начинают ограничивать генерируемый контент?

Суть этого вопроса заключается в том, как понимать границы ответственности продуктов искусственного интеллекта.

Традиционное программное обеспечение обычно предоставляет лишь инструменты, но генеративный ИИ — это не просто инструмент. Он участвует в процессе создания контента и даже напрямую влияет на восприятие пользователей.

Когда пользователи задают вопросы ИИ, содержимое, генерируемое моделью, может повлиять на инвестиционные решения, медицинские решения, образовательный процесс и даже восприятие общественных событий. Поэтому платформы ИИ должны учитывать не только «можно ли генерировать», но и «что генерировать», «почему генерировать» и «какие последствия это вызовет».

Платформы Доубао, Юаньбао, Цяньвэнь, Вэньсинь Иянь и другие усиливают управление контентом, фактически создавая новую систему безопасности AI-продуктов. Согласно уведомлению управления по сетевой безопасности, соответствующие платформы строго проверяют исходные обучающие данные, усиливают фильтрацию нарушительного контента и ужесточают требования к маркировке сгенерированных и синтезированных AI-контентов, чтобы снизить риски создания и распространения незаконной и несоответствующей нормам информации на源头. (Государственная администрация по регулированию рынка)

Это означает, что управление ИИ больше не является просто «реагированием после события» эпохи традиционного интернета.

Раньше платформа в ответ на нарушения чаще всего действовала по принципу обнаружения, удаления и блокировки.

Но в эпоху ИИ всё иначе.

Если проблема возникает на этапе генерации, одного удаления распространённого контента недостаточно, поскольку ИИ может непрерывно генерировать новые варианты, и то же самое нарушение может появиться снова в другой формулировке.

Таким образом, управление должно быть сдвинуто вперед.

От тренировочных данных до управления возможностями модели и проверки пользовательского контента — создана полная цепочка.

Проще говоря, будущие отличные продукты ИИ будут не только точнее отвечать на вопросы, но и знать, на какие вопросы нельзя отвечать, какие контенты нельзя генерировать и в каких сценариях необходимо предупреждать пользователей о рисках.

Это также причина, почему возможности безопасности ИИ становятся частью конкурентных преимуществ продукта.

Однако управление ИИ — это не просто установка стены «запретить генерировать».

Если ограничения чрезмерны, AI-продукты могут потерять свою ценность.

Если лимиты недостаточны, это может создать риск.

Это долгосрочная игра о границах.

Например, пользователь хочет, чтобы ИИ помог написать роман, содержащий элементы войны, преступности, конфликтов и т. д. — является ли это нарушением?

Исследователь хочет, чтобы ИИ проанализировал уязвимости кибербезопасности, как отличить их от вредоносных атак?

Исторический энтузиаст хочет, чтобы ИИ адаптировал классические произведения — как отличить разумное творчество от низкопробного пародирования?

Эти вопросы показывают, что управление ИИ не может основываться на простой фильтрации по ключевым словам.

Эффективное управление требует понимания контекста.

Это также объясняет, почему платформа постоянно улучшает возможности многомодального распознавания, динамически расширяя базы данных лиц, голосовых отпечатков и образцов нарушений. Платформы, такие как Douyin, Kuaishou, Weibo, Tencent, Baidu, Bilibili, Xiaohongshu, Zhihu, Douban и Taobao, используют технологические средства для повышения способностей ИИ по распознаванию и обработке контента, а также выпустили в общей сложности 46 объявлений о соответствующих мерах по управлению. (Государственная администрация по регулированию рынка)

Будущая конкуренция в области безопасности ИИ, скорее всего, будет похожа на автономное вождение.

Современная система не запрещает движение автомобилей полностью, а помогает им безопасно передвигаться в сложных условиях.

Искусственный интеллект — тоже самое.

Зрелый ИИ — это не система, которая ничего не может делать, а система, находящая баланс между открытыми возможностями и контролем рисков.

Некоторые случаи, озвученные в рамках этой специальной кампании, также демонстрируют новые формы злоупотребления ИИ.

Одной из типичных проблем является использование ИИ для низкокачественной адаптации классических произведений.

Раньше, несмотря на низкое качество сетевого контента, его производство ограничивалось затратами.

После появления ИИ стало возможным массовое создание.

Некоторые аккаунты используют ИИ для «модификации» классических произведений, таких как «Троецарствие» и «Путешествие на Запад», изменяя характеры персонажей и создавая экзотические сюжеты для привлечения трафика. Хотя такие материалы кажутся лишь развлечением, их длительное и массовое распространение может повлиять на понимание публикой культурного контента, а также истощить экосистему качественного контента.

Еще одна проблема — это фальшивая информация, генерируемая ИИ.

Раньше для создания фальшивого изображения или фальшивого видео требовались высокие технические навыки.

Сейчас генеративный ИИ снизил барьеры для входа.

Ложные сцены катастроф, ложные социальные тренды и мошеннические маркетинговые схемы с использованием цифровых людей могут эксплуатировать информационный дисбаланс общества. Среди примеров, описанных в недавнем уведомлении управления по кибербезопасности, — использование ИИ для создания фальшивых изображений катастроф, вымышленных социальных новостей и ложной рекламы с помощью цифровых персонажей.

Более值得关注的是 AI 换脸换声。

Голос и внешность — важные критерии, по которым люди определяют личность.

Когда ИИ может имитировать голос, выражение лица и даже привычки поведения человека, система доверия к личности сталкивается с новыми вызовами.

This involves not only public figures but also ordinary users.

Сегодня фотография и аудиоматериалы человека могут стать источником данных, подвергающихся неправомерному использованию.

Таким образом, защита данных в эпоху ИИ — это не только предотвращение утечки информации, но и защита от цифрового копирования личной идентичности.

За последние несколько лет китайская индустрия ИИ быстро развивалась.

От разработки крупных моделей до интеллектуальных помощников, а также применений в офисной работе, образовании, электронной коммерции и поиске — ИИ переходит от этапа технологических демонстраций к этапу практического применения.

Но чем ближе к обычным пользователям, тем важнее вопросы безопасности.

Предприятие может принять, что модель иногда дает неверные ответы, но трудно принять, чтобы она постоянно создавала ложную информацию.

Пользователь может принять ограниченные возможности ИИ, но трудно принять, что ИИ помогает создавать мошенничество.

Таким образом, конкуренция в отрасли ИИ в будущем будет не только конкуренцией технологий.

Размер параметров, конечно, важен, способности алгоритма, конечно, важны, но доверие также важно.

Почему финансовая отрасль уделяет такое большое внимание соблюдению норм?

Финансовые продукты соединяют капитал.

Почему медицинская отрасль уделяет такое большое внимание безопасности?

Поскольку медицинские решения влияют на жизнь.

А ИИ постепенно соединяет знания, информацию и решения.

Оно также требует создания основы доверия.

С этой точки зрения, текущая кампания по регулированию от Управления по делам интернет-инфраструктуры направлена не против развития ИИ, а на содействие переходу ИИ-индустрии на более зрелую стадию развития. Четкое определение границ регулирования, повышение способностей платформ и улучшение осведомленности пользователей в конечном итоге сформируют более здоровую экосистему.

История технологического развития неоднократно доказывала, что отрасль действительно созревает не тогда, когда она способна создавать чудеса, а когда она способна решать множество проблем.

AI уже доказал свою креативность.

Он может помочь людям писать, программировать и учиться, а также способствовать повышению эффективности бизнеса.

Но на следующем этапе ИИ должен доказать еще один факт: заслуживает ли он доверия.

Платформы Доубао, Юаньбао, Цяньвэнь, Вэньсинь Иянь и другие усиливают ограничения на запрещенный контент, по сути, отвечая на ключевой вопрос:

Когда искусственный интеллект обладает все более сильными творческими способностями, обладает ли он ответственностью, соответствующей этим способностям?

Решение определяет не только направление развития нескольких продуктов ИИ, но и способен ли весь отрасль войти в долгосрочный стабильный цикл развития.

Будущее искусственного интеллекта принадлежит не системам, которые лишь создают больше контента, а тем, которые находят баланс между креативностью, безопасностью и социальной ценностью.

Великие технологии никогда не считаются таковыми из-за своей всесильности, а потому что они знают, чего делать нельзя, и почему.

1. Центральное управление по сетевой безопасности и информационной деятельности: «Центральное управление по сетевой безопасности активно проводит вторую фазу специальной кампании “Чистая сеть: борьба с хаосом в применении ИИ”», 2 сентября 2026 года.
2. Центральное управление по сетевой безопасности и информационной интеграции: «Центральное управление по сетевой безопасности организует специальную кампанию по очистке и устранению хаоса в применении ИИ», 30 апреля 2026 года.
3. «Временные методы управления услугами генеративного искусственного интеллекта», Государственное управление по делам интернета Китая и другие департаменты, 2023 год.
4. Методология идентификации содержания, созданного с использованием искусственного интеллекта, Управление по делам интернета Китая и другие ведомства, 2025 год.
5. Рассел, Стюарт и Норвиг, Питер.Искусственный интеллект: современный подход. Pearson.
6. Шнейдерман, Бен. Искусственный интеллект, ориентированный на человека. Oxford University Press.