AI no llega realmente a las masas según la cantidad de contenido que pueda generar, sino según si la sociedad confía en el contenido que genera.

Autor y fuente del artículo: ME News



TL;DR

• La Oficina Central de Asuntos de la Red lleva a cabo la segunda fase de la campaña especial "Limpieza: Regular el caos en las aplicaciones de IA", enfocándose en la regulación de problemas como la generación de información falsa por IA, contenido pornográfico o violento, el suplantación de identidad y la violación de los derechos de los menores. Hasta la fecha, se han eliminado más de 5,61 millones de mensajes ilegales e infractores, se han sancionado más de 49.000 cuentas y se han gestionado más de 2.400 sitios web y aplicaciones ilegales.
• Las plataformas de IA como Doubao, Yuanbao, Qwen y Wenxin Yiyan están fortaleciendo la revisión de datos de entrenamiento, los filtros de seguridad del modelo y los mecanismos de identificación de contenido generado; el objetivo principal no es limitar la capacidad de la IA, sino reducir el riesgo de uso indebido de la tecnología.
• La gobernanza de la IA está pasando de "eliminar contenido infractor" a "controlar el proceso de generación de contenido", y el entrenamiento del modelo, las fuentes de datos, los procesos de generación y las cadenas de difusión se han convertido en puntos clave de regulación.
• La competencia comercial en IA generativa no solo competirá en parámetros de modelos y experiencia del producto, sino también en capacidad de seguridad, cumplimiento y confianza a largo plazo.
• AI no llega realmente a las masas según la cantidad de contenido que pueda generar, sino según si la sociedad confía en el contenido que genera.

La velocidad del desarrollo de la inteligencia artificial está actualizando constantemente la percepción del público sobre los límites de la tecnología.

Hace unos años, la gente discutía sobre la IA, centrándose más en los parámetros del modelo, la escala de poder de cómputo, la calidad de las respuestas y los escenarios de comercialización. Quien tenía un modelo más grande y una capacidad de razonamiento más fuerte parecía estar más cerca de ganar el futuro.

Pero después de ingresar a la fase de aplicación a gran escala de la IA generativa, un problema más real ha ido surgiendo: si la IA puede generar en segundos un texto, una imagen, un sonido o incluso un conjunto completo de información que parece real, ¿quién garantiza que estos contenidos no se conviertan en nuevas herramientas para crear desinformación, manipular la opinión pública o violar derechos?

This is not a distant issue.

La Oficina Central de Asuntos de la Red recientemente inició la segunda fase de la campaña especial "Limpieza: Regular el caos en las aplicaciones de IA", dirigida a abordar este riesgo real. Esta campaña se centra en regular problemas graves como la creación y difusión de información falsa mediante IA, la propagación de contenido violento o inapropiado, la suplantación de identidad y la violación de los derechos de los menores. Hasta la fecha, la campaña ha eliminado más de 5,61 millones de mensajes ilegales e inapropiados, sancionado más de 49.000 cuentas y gestionado más de 2.400 sitios web y aplicaciones ilegales.

Lo que reflejan estos números no es un problema con la tecnología de IA en sí, sino un tema de gobernanza que toda industria en rápido crecimiento debe afrontar al entrar en una fase de madurez.

Cualquier tecnología que cambie la forma en que funciona la sociedad no solo mejora la eficiencia.

Internet trajo la libre circulación de información, así como la propagación de información falsa; los pagos móviles transformaron la experiencia financiera y dieron lugar a nuevos modelos de fraude; los videos cortos redujeron la barrera de entrada para la creación de contenido y generaron un entorno competitivo basado en el tráfico.

Lo mismo ocurre con la IA.

Puede mejorar la eficiencia productiva y también amplificar infracciones de bajo costo.

Antes, crear un artículo falso o un video manipulado requería una gran inversión de tiempo humano. Pero hoy, la IA ha reducido la barrera de entrada para la producción de contenido, permitiendo a usuarios comunes tener una capacidad de generación cercana a la de equipos profesionales. Sin mecanismos de gobernanza adecuados, los beneficios tecnológicos podrían ser aprovechados por unos pocos para generar caos.

Por lo tanto, la gobernanza de la IA no es frenar la innovación, sino añadir sistemas de seguridad en un camino de desarrollo acelerado.

Muchas personas podrían tener una pregunta: ¿No debería la IA ser lo más abierta posible? ¿Por qué cada vez más productos de IA están limitando la generación de contenido?

La esencia de esta pregunta es cómo comprender los límites de responsabilidad de los productos de inteligencia artificial.

El software tradicional a menudo solo proporciona herramientas, pero la IA generativa no es una simple herramienta. Participa en el proceso de producción de contenido e incluso influye directamente en la percepción del usuario.

Cuando los usuarios hacen preguntas a la IA, el contenido generado por el modelo puede influir en la toma de decisiones de inversión, decisiones de salud, aprendizaje educativo e incluso en la percepción de eventos públicos. Por lo tanto, las plataformas de IA no deben centrarse solo en “si pueden generar”, sino también en “qué generar”, “por qué generar” y “qué impacto tendrá la generación”.

Plataformas como Doubao, Yuanbao, Qwen y Wenxin Yiyan están fortaleciendo la gestión de contenido, lo que en realidad implica establecer un nuevo sistema de seguridad para productos de IA. Según el anuncio del Departamento de Asuntos de Internet, las plataformas relacionadas están sometiendo a estricta revisión el contenido original de los datos de entrenamiento, reforzando la filtración de contenido indebido y exigiendo una identificación más rigurosa de los contenidos generados y sintetizados por IA, con el fin de reducir desde la fuente el riesgo de generación y propagación de información ilegal o no autorizada. (Administración Estatal de Regulación del Mercado)

Esto significa que la gobernanza de IA ya no es solo un “tratamiento posterior” de la era de Internet tradicional.

Anteriormente, la plataforma abordaba el contenido incumplidor principalmente mediante la detección, eliminación y bloqueo.

Pero la era de la IA es diferente.

Si el problema ocurre durante la generación, simplemente eliminar el contenido difundido no es suficiente, ya que la IA puede generar continuamente nuevas variantes, y el mismo contenido infractor puede aparecer nuevamente con una expresión diferente.

Por lo tanto, la gobernanza debe adelantarse.

Desde los datos de entrenamiento hasta el control de las capacidades del modelo y la revisión del contenido generado por los usuarios, se forma una cadena completa.

En pocas palabras, los futuros productos de IA excelentes no solo responderán preguntas con mayor precisión, sino que también sabrán qué preguntas no pueden responder, qué contenidos no pueden generar y en qué escenarios deben advertir a los usuarios sobre los riesgos.

Por eso, las capacidades de seguridad de IA están convirtiéndose en parte de la competitividad del producto.

Sin embargo, la gobernanza de la IA no se trata simplemente de establecer un muro de "prohibir la generación".

Si las restricciones son excesivas, los productos de IA pueden perder su valor.

Si la restricción es insuficiente, podría generar riesgos.

Es un juego a largo plazo sobre los límites.

Por ejemplo, un usuario desea que la IA lo ayude a escribir una novela que incluya elementos como guerra, crimen y conflicto, ¿esto constituye contenido prohibido?

Un investigador desea que la IA analice cómo distinguir entre vulnerabilidades de ciberseguridad y ataques maliciosos.

Un entusiasta de la historia desea que la IA adapte obras clásicas; ¿cómo determinar si se trata de una creación legítima o una parodia vulgar?

Estas preguntas demuestran que la gobernanza de la IA no puede depender de filtros simples de palabras clave.

Una gobernanza verdaderamente efectiva requiere comprender el contexto.

Por eso, la plataforma continúa fortaleciendo sus capacidades de reconocimiento multimodal, ampliando dinámicamente las bases de datos de rostros, voces y muestras de infracciones. Plataformas como Douyin, Kuaishou, Weibo, Tencent, Baidu, Bilibili, Xiaohongshu, Zhihu, Douban y Taobao están mejorando mediante tecnologías su capacidad de identificación y gestión de contenido AI, y han publicado acumulativamente 46 avisos de gestión relacionados. (Administración Estatal de Regulación del Mercado)

La futura competencia en seguridad de IA probablemente será similar al campo de la conducción autónoma.

Un sistema verdaderamente avanzado no prohíbe completamente la circulación de automóviles, sino que ayuda a los automóviles a circular con seguridad en entornos complejos.

AI también.

Una IA madura no es un sistema incapaz de hacer nada, sino que encuentra un equilibrio entre la capacidad abierta y el control de riesgos.

Algunos de los casos revelados en esta campaña especial también muestran nuevas formas de abuso de la IA.

Uno de los problemas típicos es utilizar IA para realizar adaptaciones de baja calidad de obras clásicas.

En el pasado, aunque el contenido en línea era de baja calidad, su costo de producción limitaba la escala.

Después de la aparición de la IA, la generación en masa se volvió posible.

Algunas cuentas utilizan IA para modificar obras clásicas como "La historia de los Tres Reinos" y "Viaje al Oeste", alterando los personajes y creando tramas excéntricas para atraer tráfico. Aunque estos contenidos parecen ser solo entretenimiento, su propagación prolongada y masiva puede afectar la comprensión pública sobre el contenido cultural y también agotar el ecosistema de contenidos de calidad.

Otra pregunta es la generación de información falsa por IA.

Antes, crear una imagen falsa o un video falso requería un umbral técnico elevado.

Ahora, la IA generativa ha reducido la barrera de entrada.

Los escenarios falsos de desastres, los temas sociales falsos y las estafas de marketing con avatares digitales de IA pueden aprovechar la asimetría de información del público para generar impacto. Entre los casos informados por la autoridad de ciberespacio en esta ocasión se incluyen el uso de IA para generar imágenes falsas de desastres, fabricar información sobre temas sociales y realizar campañas falsas mediante avatares digitales.

Lo que merece más atención es la sustitución de rostros y voces mediante IA.

El sonido y el rostro son criterios importantes para que los humanos identifiquen la identidad.

Cuando la IA puede simular la voz, las expresiones e incluso los hábitos de comportamiento de una persona, el sistema de confianza de identidad enfrenta nuevos desafíos.

This involves not only public figures but also ordinary users.

Hoy, la foto y los materiales de audio de una persona pueden convertirse en fuentes de datos mal utilizadas.

Por lo tanto, la protección de datos en la era de la IA no solo implica prevenir la fuga de información, sino también evitar que la identidad personal sea replicada digitalmente.

En los últimos años, la industria china de IA ha crecido rápidamente.

Desde el desarrollo de modelos grandes hasta asistentes inteligentes, y luego hasta aplicaciones en oficina, educación, comercio electrónico y búsqueda, la IA está pasando de la fase de demostración técnica a la fase de aplicación práctica.

Pero cuanto más cerca esté del usuario común, más importante se vuelve la seguridad.

Una empresa puede aceptar que el modelo responda incorrectamente ocasionalmente, pero le resulta difícil aceptar que el modelo genere constantemente información falsa.

Un usuario puede aceptar que la IA tenga limitaciones, pero es difícil aceptar que la IA ayude a crear estafas.

Por lo tanto, la competencia en la industria de la IA en el futuro no será solo una competencia tecnológica.

El tamaño de los parámetros es importante, la capacidad algorítmica es importante, pero la confianza también lo es.

¿Por qué la industria financiera valora tanto el cumplimiento normativo?

Porque los productos financieros conectan fondos.

¿Por qué la industria médica valora tanto la seguridad?

Porque las decisiones médicas afectan la vida.

Y la IA está conectando gradualmente conocimiento, información y decisiones.

También necesita establecer una base de confianza.

Desde este punto de vista, la campaña de regulación de la CAC no está dirigida contra el desarrollo de la IA, sino que busca impulsar a la industria de la IA hacia una etapa más madura. Una regulación que defina claramente los límites, plataformas que mejoren sus capacidades y usuarios que aumenten su comprensión, conducirán finalmente a un ecosistema más saludable.

La historia del desarrollo tecnológico ha demostrado repetidamente que una industria realmente madura no lo hace cuando puede crear cuántos milagros, sino cuando puede resolver cuántos problemas.

AI ha demostrado su creatividad.

Puede ayudar a las personas a escribir, programar y aprender, y también puede impulsar a las empresas a aumentar su eficiencia.

Pero en la siguiente fase, la IA debe demostrar otra cosa: si merece confianza.

Las plataformas Doubao, Yuanbao, Qianwen, Wenxin Yiyan, entre otras, refuerzan las restricciones sobre contenido infractor, esencialmente para responder a una pregunta clave:

Cuando la inteligencia artificial posee una capacidad creativa cada vez más fuerte, ¿también posee una conciencia de responsabilidad proporcional a esa capacidad?

La decisión determina no solo la dirección de desarrollo de varios productos de IA, sino también si toda la industria puede entrar en un ciclo de desarrollo a largo plazo y estable.

El futuro de la inteligencia artificial no pertenece a los sistemas que solo generan más contenido, sino a aquellos que logran un equilibrio entre creatividad, seguridad y valor social.

La verdadera gran tecnología nunca es porque pueda hacerlo todo, sino porque sabe qué no puede hacer y por qué no puede hacerlo.

1. Oficina Central de Seguridad Cibernética e Información: “La Oficina Central de Ciberseguridad lleva a cabo activamente la segunda fase de la campaña especial ‘Limpieza: Regular el caos en las aplicaciones de IA’”, 2 de septiembre de 2026.
2. Oficina Central de Redes y Información de la Comisión de Seguridad Cibernética: “La Oficina Central de Redes y Información organiza la campaña especial 'Limpieza: Regular el caos en las aplicaciones de IA'”, 30 de abril de 2026.
3. 《Reglamento provisional sobre la gestión de servicios de inteligencia artificial generativa》，Oficina Nacional de Información de Internet y otros departamentos, 2023.
4. Método de identificación de contenidos generados y sintetizados por inteligencia artificial, Oficina Nacional de Información de Internet y otros departamentos, 2025.
5. Russell, Stuart & Norvig, Peter. Artificial Intelligence: A Modern Approach. Pearson.
6. Shneiderman, Ben. IA centrada en el ser humano. Oxford University Press.