L'adoption massive de l'IA ne dépend pas de la quantité de contenu qu'elle peut générer, mais de la confiance que la société accorde aux contenus qu'elle produit.

Auteur et source de l'article : ME News



TL;DR

• Le Bureau central des affaires internet a lancé la deuxième phase de la campagne « Clair et net : lutter contre les abus liés à l'IA », ciblant principalement la génération d'informations fausses par l'IA, les contenus pornographiques ou violents, l'usurpation d'identité et les atteintes aux droits des mineurs. À ce jour, plus de 5,61 millions d'informations illégales et non conformes ont été supprimées, plus de 49 000 comptes ont été sanctionnés, et plus de 2 400 sites web et applications illégales ont été traités.
• Les plateformes d'IA telles que Doubao, Yuanbao, Qianwen et Wenxin Yiyan renforcent la vérification des corpus d'entraînement, les filtres de sécurité des modèles et les mécanismes d'identification des contenus générés ; l'objectif principal n'est pas de limiter les capacités de l'IA, mais de réduire les risques d'abus technologique.
• La gouvernance de l'IA passe de la « suppression de contenu non conforme » à la « maîtrise du processus de génération de contenu » ; l'entraînement des modèles, les sources de données, les étapes de génération et les chaînes de diffusion deviennent des priorités réglementaires.
• La concurrence commerciale de l'IA générative s'appuiera à l'avenir non seulement sur les paramètres des modèles et l'expérience produit, mais aussi sur la sécurité, la conformité et la confiance à long terme.
• L'adoption massive de l'IA ne dépend pas de la quantité de contenu qu'elle peut générer, mais de la confiance que la société accorde aux contenus qu'elle produit.

La vitesse de développement de l'intelligence artificielle continue de repousser les limites perçues du public en matière de technologie.

Il y a quelques années, les gens discutaient de l'IA en se concentrant principalement sur les paramètres des modèles, la puissance de calcul, la qualité des réponses et les scénarios de commercialisation. Qui possédait le modèle le plus grand et la capacité d'inférence la plus puissante semblait être celui qui remporterait l'avenir.

Mais une fois entré dans la phase d'application à grande échelle de l'IA générative, une question plus réelle commence à émerger : si l'IA peut générer en quelques secondes un texte, une image, un son, voire un ensemble entier d'informations apparemment réelles, qui garantit que ces contenus ne deviendront pas de nouveaux outils pour propager des rumeurs, manipuler l'opinion publique ou violer des droits ?

Ce n'est pas un problème lointain.

Le Bureau central des affaires internet a récemment lancé la deuxième phase de la campagne « Clair et net : lutter contre le désordre des applications IA », visant à gérer ce risque réel. Cette campagne cible principalement la création et la diffusion d'informations fausses par l'IA, la propagation de contenus violents ou grossiers, l'usurpation d'identité et les atteintes aux droits des mineurs. À ce jour, la campagne a supprimé plus de 5,61 million d'informations illégales ou non conformes, suspendu plus de 49 000 comptes et traité plus de 2 400 sites web et applications illégales.

Les chiffres derrière cela ne reflètent pas un problème avec la technologie elle-même, mais un sujet de gouvernance que doit affronter une industrie en pleine croissance à mesure qu'elle entre dans une phase de maturité.

Aucune technologie qui modifie le fonctionnement de la société ne se limite pas à une amélioration de l'efficacité.

Internet a apporté la libre circulation de l'information, ainsi que la propagation de fausses informations ; les paiements mobiles ont transformé l'expérience financière et ont donné naissance à de nouveaux schémas de fraude ; les vidéos courtes ont abaissé les barrières à la production de contenu, tout en créant un environnement de concurrence axé sur le trafic.

L'IA est pareille.

Il peut améliorer l'efficacité de la production et également amplifier les comportements illégaux à faible coût.

Autrefois, créer un article falsifié ou une vidéo contrefaite exigeait un investissement humain considérable. Aujourd'hui, l'IA a abaissé les barrières à la production de contenu, permettant aux utilisateurs ordinaires d'accéder à des capacités de génération proches de celles d'équipes professionnelles. Sans mécanismes de gouvernance appropriés, les avantages technologiques pourraient être exploités par quelques-uns pour créer le chaos.

Ainsi, la gouvernance de l'IA ne freine pas l'innovation, mais ajoute des systèmes de sécurité sur la route à haute vitesse.

Beaucoup de personnes pourraient se demander : l’IA ne devrait-elle pas être aussi ouverte que possible ? Pourquoi de plus en plus de produits d’IA commencent-ils à limiter la génération de contenu ?

La question fondamentale est de comprendre les limites de responsabilité des produits d'intelligence artificielle.

Les logiciels traditionnels ne fournissent souvent que des outils, mais l'IA générative n'est pas un simple outil. Elle participe au processus de création de contenu et influence même directement la perception des utilisateurs.

Lorsqu'un utilisateur pose une question à l'IA, le contenu généré par le modèle peut influencer les décisions d'investissement, les choix en matière de santé, l'apprentissage éducatif, voire la perception des événements publics. Par conséquent, les plateformes d'IA ne doivent pas se concentrer uniquement sur « la capacité à générer », mais doivent également prendre en compte « ce qui est généré », « pourquoi il est généré » et « quelles sont les conséquences de cette génération ».

Les plateformes comme DouBao, YuanBao, Qianwen et Wenxin Yiyan renforcent la gouvernance des contenus, établissant en réalité un nouveau système de sécurité pour les produits IA. Selon les annonces du département des affaires numériques, les plateformes concernées effectuent une vérification stricte du contenu original, renforcent le filtrage des contenus illégaux et imposent des exigences plus strictes en matière d'identification des contenus synthétisés par l'IA, afin de réduire dès la source les risques de génération et de diffusion d'informations illégales ou non conformes. (Administration nationale de la réglementation du marché)

Cela signifie que la gouvernance de l'IA n'est plus seulement une « réaction postérieure » de l'ère d'Internet traditionnelle.

Par le passé, la plateforme répondait aux contenus en violation principalement en les détectant, les supprimant et les bannissant.

Mais l'ère de l'IA est différente.

Si le problème survient lors de la génération, supprimer simplement le contenu diffusé n'est pas suffisant. En effet, l'IA peut continuer à générer de nouvelles variantes, et le même type de contenu en infraction peut réapparaître sous une forme différente.

Ainsi, la gouvernance doit être anticipée.

De l'ensemble des données d'entraînement à la maîtrise des capacités du modèle, en passant par la modération des contenus générés par les utilisateurs, une chaîne complète est établie.

En résumé, les futurs produits IA excellents ne se limiteront pas à répondre plus précisément aux questions, mais surtout à savoir quelles questions ne peuvent pas être répondues, quels contenus ne peuvent pas être générés et dans quels scénarios il faut impérativement alerter les utilisateurs sur les risques.

C'est aussi pourquoi les capacités de sécurité IA deviennent une partie intégrante de la compétitivité des produits.

Cependant, la gouvernance de l'IA ne consiste pas simplement à ériger un mur « interdire la génération ».

Si les restrictions sont trop strictes, les produits IA pourraient perdre de leur valeur.

Si les limites sont insuffisantes, cela pourrait entraîner un risque.

C'est un jeu à long terme sur les limites.

Par exemple, un utilisateur souhaite que l’IA l’aide à écrire un roman impliquant des éléments tels que la guerre, le crime et les conflits : cela constitue-t-il un contenu non autorisé ?

Un chercheur souhaite que l'IA analyse les vulnérabilités de cybersécurité, comment distinguer cela des attaques malveillantes ?

Un amateur d'histoire souhaite que l'IA adapte des œuvres classiques : comment distinguer une création légitime d'une parodie grossière ?

Ces questions montrent toutes que la gouvernance de l'IA ne peut pas se fonder sur un simple filtrage par mots-clés.

Une gouvernance véritablement efficace nécessite de comprendre le contexte.

C’est pourquoi la plateforme renforce continuellement ses capacités de reconnaissance multimodale, élargissant dynamiquement ses bases de données de visages, de empreintes vocales et d’échantillons de violations. Des plateformes telles que Douyin, Kuaishou, Weibo, Tencent, Baidu, Bilibili, Xiaohongshu, Zhihu, Douban et Taobao améliorent leurs capacités de détection et de traitement des contenus AI par des moyens technologiques, et ont publié au total 46 avis de gestion associés. (Administration nationale de la régulation du marché)

La future compétition en matière de sécurité de l'IA ressemblera probablement à celle du domaine de la conduite autonome.

Un système véritablement avancé ne interdit pas complètement la circulation des véhicules, mais les aide à rouler en toute sécurité dans des environnements complexes.

L'IA en est de même.

Une IA mature n'est pas un système incapable de faire quoi que ce soit, mais un équilibre entre capacités ouvertes et contrôle des risques.

Certains cas révélés lors de cette campagne d'action illustrent les nouvelles formes d'abus de l'IA.

L'un des problèmes typiques consiste à utiliser l'IA pour réaliser des adaptations de mauvaise qualité d'œuvres classiques.

Autrefois, bien que la production de contenu en ligne souffrît de mauvaise qualité, les coûts de production limitaient encore l'échelle.

Après l'apparition de l'IA, la génération en masse est devenue possible.

Certains comptes utilisent l'IA pour modifier des œuvres classiques comme « Romance des Trois Royaumes » et « Journey to the West », en modifiant les personnages et en créant des intrigues excentriques pour attirer du trafic. Bien que ces contenus semblent être de simples divertissements, leur diffusion massive et prolongée peut influencer la compréhension du public concernant les contenus culturels et risque de consommer l'écosystème de contenus de qualité.

Un autre problème est la création de fausses informations par l'IA.

Autrefois, créer une fausse image ou une fausse vidéo nécessitait un niveau technique élevé.

Maintenant, l'IA générative abaisse les barrières à l'entrée.

Les scènes de catastrophes falsifiées, les sujets d'actualité sociale falsifiés et les arnaques de marketing par des avatars numériques IA peuvent exploiter l'asymétrie d'information du public pour créer un impact. Les cas mentionnés dans ce communiqué du département des affaires internet incluent l'utilisation de l'IA pour générer des images synthétiques de catastrophes falsifiées, la fabrication d'informations sur des sujets d'actualité sociale et la diffusion de fausses publicités via des avatars numériques.

Ce qui mérite davantage d'attention, c'est le deepfake vocal et facial.

La voix et le visage sont des critères importants pour l'identification humaine.

Lorsque l'IA peut simuler la voix, les expressions et même les habitudes comportementales d'une personne, le système de confiance identitaire fait face à de nouveaux défis.

Cela concerne non seulement des personnalités publiques, mais aussi des utilisateurs ordinaires.

Aujourd'hui, une photo ou des échantillons vocaux d'une personne peuvent devenir des sources de données exploitées de manière abusive.

Ainsi, la protection des données à l'ère de l'IA ne consiste pas seulement à empêcher les fuites d'informations, mais aussi à empêcher la réplication numérique de l'identité personnelle.

Au cours des dernières années, l'industrie chinoise de l'IA a connu un développement rapide.

De la recherche sur les grands modèles à l'assistant intelligent, puis aux applications dans le bureau, l'éducation, le commerce électronique, la recherche, etc., l'IA passe de la phase de démonstration technologique à la phase d'application pratique.

Mais plus on s'approche des utilisateurs ordinaires, plus la sécurité est importante.

Une entreprise peut accepter que le modèle réponde parfois incorrectement, mais il lui est difficile d'accepter que le modèle crée continuellement des informations fausses.

Un utilisateur peut accepter que les capacités de l'IA soient limitées, mais il lui est difficile d'accepter que l'IA aide à créer des arnaques.

Ainsi, la concurrence future dans l'industrie de l'IA ne sera pas seulement une concurrence technologique.

La taille des paramètres est bien sûr importante, les capacités algorithmiques sont bien sûr importantes, mais la confiance l'est tout autant.

Pourquoi le secteur financier accorde-t-il une grande importance à la conformité ?

Les produits financiers relient les fonds.

Pourquoi l'industrie de la santé accorde-t-elle une grande importance à la sécurité ?

Parce que les décisions médicales affectent la vie.

Et l'IA relie progressivement les connaissances, les informations et les décisions.

Il faut également établir une base de confiance.

De ce point de vue, cette campagne de régulation par le CAC ne vise pas à freiner le développement de l'IA, mais à encourager l'industrie de l'IA à entrer dans une phase de développement plus mature. Des limites clairement définies par les autorités, une amélioration des capacités des plateformes et une meilleure compréhension des utilisateurs contribueront finalement à former un écosystème plus sain.

L'histoire du développement technologique prouve à plusieurs reprises qu'une industrie n'est véritablement mature ni lorsqu'elle crée des miracles, mais lorsqu'elle parvient à résoudre un grand nombre de problèmes.

L'IA a démontré sa créativité.

Il peut aider les gens à écrire, programmer, apprendre, et stimuler les entreprises à améliorer leur efficacité.

Mais à la prochaine étape, l'IA doit prouver un autre point : si elle mérite confiance.

Les plateformes comme DouBao, YuanBao, QianWen et Wenxin Yiyan renforcent les restrictions sur les contenus illégaux, ce qui revient fondamentalement à répondre à une question clé :

Lorsque l'intelligence artificielle acquiert des capacités créatives de plus en plus puissantes, possède-t-elle également une conscience des responsabilités correspondantes ?

La décision détermine non seulement la direction de développement de quelques produits IA, mais aussi si l'ensemble du secteur peut entrer dans un cycle de développement à long terme et stable.

L'avenir de l'intelligence artificielle n'appartient pas aux systèmes qui ne font que produire davantage de contenu, mais à ceux qui parviennent à trouver un équilibre entre créativité, sécurité et valeur sociale.

La véritable grande technologie n'est jamais parce qu'elle peut tout faire, mais parce qu'elle sait ce qu'elle ne peut pas faire, et pourquoi elle ne peut pas le faire.

1. Bureau central de la cybersécurité et de l'information : « Le Bureau central de la cybersécurité et de l'information mène activement la deuxième phase de la campagne spéciale "Nettoyer et réguler les abus liés aux applications d'IA" », 2 septembre 2026.
2. Bureau central de la cybersécurité et de l'information : « Le Bureau central de la cybersécurité et de l'information lance une campagne spéciale “Nettoyage : Lutter contre les abus liés aux applications d’IA” », 30 avril 2026.
3. Méthode provisoire de gestion des services d'intelligence artificielle générative, Bureau national de l'information sur Internet et autres départements, 2023.
4. Méthode d'identification des contenus générés et synthétisés par l'intelligence artificielle, Bureau national de l'information sur Internet et autres départements, 2025.
5. Russell, Stuart & Norvig, Peter. Artificial Intelligence: A Modern Approach. Pearson.
6. Shneiderman, Ben. IA centrée sur l’humain. Oxford University Press.