AI 真正走向大眾，不取決於它能生成多少內容，而取決於社會是否相信它生成的內容。

文章作者、來源：ME News



簡而言之

• 中央網信辦開展「清朗·整治 AI 應用亂象」專項行動第二階段，重點治理 AI 生成虛假資訊、低俗暴力內容、冒用他人身份以及侵害未成年人權益等問題，截至目前累計清理違法違規資訊 561 萬餘條，查處賬號 4.9 萬餘個，處置違規網站、應用程式等 2400 萬餘個。
• 豆包、元寶、千問、文心一言等 AI 平台正在強化訓練語料審核、模型安全過濾和生成內容標識機制，核心目標不是限制 AI 能力，而是降低技術被濫用的風險。
• AI 治理正從「刪除違規內容」轉向「控制內容產生過程」，模型訓練、數據來源、生成環節和傳播鏈路都成為監管重點。
• 生成式 AI 的商業競爭，未來不僅比拼模型參數和產品體驗，也將比拼安全能力、合規能力和長期信任。
• AI 真正走向大眾，不取決於它能生成多少內容，而取決於社會是否相信它生成的內容。

The pace of development in artificial intelligence is continuously refreshing the public's understanding of the boundaries of technology.

幾年前，人們討論 AI 時，更多關注的是模型參數、算力規模、回答質量以及商業化場景。誰擁有更大的模型，誰擁有更強的推理能力，似乎就意味著誰能夠贏得未來。

但進入生成式 AI 大規模應用階段之後，一個更加現實的問題逐漸浮現：如果 AI 可以在幾秒鐘內生成一段文字、一張圖片、一段聲音，甚至一整套看似真實的信息，那麼誰來保證這些內容不會成為製造謠言、操縱輿論、侵犯權益的新工具？

這不是一個遙遠的問題。

中央網信辦近期開展「清朗·整治 AI 應用亂象」專項行動第二階段，正是針對這一現實風險展開治理。此次行動重點整治利用 AI 製作發布虛假資訊、傳播暴力低俗內容、假冒仿冒他人以及侵害未成年人權益等突出問題。截至目前，專項行動累計清理違法違規資訊 561 萬餘條，查處賬號 4.9 萬餘個，處置違規網站、應用程式等 2400 萬餘個。

這些數字背後反映的，並不是 AI 技術本身出現問題，而是一個快速發展的產業進入成熟階段後，必須面對的治理課題。

任何一項改變社會運行方式的技術，都不會只有效率提升的一面。

The internet brought about the free flow of information, as well as the spread of false information; mobile payments transformed financial experiences, while giving rise to new fraud patterns; short videos lowered the barrier to content creation, while creating a competitive environment driven by traffic.

AI 也是如此。

它能夠提升生產效率，也可能放大低成本違法行為。

過去製造一篇虛假文章、一段偽造影片，需要投入大量人工時間。但今天，AI降低了內容生產門檻，讓普通用戶擁有接近專業團隊的生成能力。如果沒有相應治理機制，技術紅利就可能被少數人用於製造混亂。

因此，AI 治理並不是給創新踩剎車，而是在高速發展的道路上增加安全系統。

很多人可能會產生一個疑問：AI 不是應該盡可能開放嗎？為什麼現在越來越多 AI 產品開始限制生成內容？

這個問題的本質，在於如何理解人工智慧產品的責任邊界。

傳統軟體往往只是提供工具，但生成式 AI 並非簡單工具。它參與內容生產過程，甚至直接影響用戶認知。

當用戶向 AI 提問時，模型輸出的內容可能影響投資判斷、健康決策、教育學習，甚至公共事件認知。因此，AI 平台不能只關注「能不能生成」，還必須考慮「生成什麼」「為什麼生成」「生成後會造成什麼影響」。

豆包、元寶、千問、文心一言等平台強化內容治理，實際上是在建立一套新的 AI 產品安全體系。根據網信部門通報，相關平台正在嚴格審核原始語料內容，加強違規內容過濾，並強化 AI 生成合成內容標識要求，從源頭降低違法違規資訊生成傳播風險。（國家市場監督管理總局）

這意味著，AI 治理已不再只是傳統互聯網時代的「事後處理」。

過去，平台面對違規內容，更多採取發現、刪除、封禁的方式。

但 AI 時代不同。

如果問題發生在生成環節，僅僅刪除已傳播的內容是不夠的。因為 AI 可以持續生成新的變體，同一種違規內容可能以不同的表達方式再次出現。

因此，治理必須前移。

從訓練數據開始，到模型能力控制，再到用戶生成內容審核，形成完整鏈路。

簡單來說，未來優秀的 AI 產品，不只是回答問題更準確，更重要的是知道哪些問題不能回答，哪些內容不能生成，哪些場景必須提醒用戶風險。

這也是為什麼 AI 安全能力正在成為產品競爭力的一部分。

然而，AI 治理並不是簡單地設置一道“禁止生成”的牆。

如果限制過度，AI產品可能失去價值。

如果限制不足，又可能造成風險。

這是一場關於邊界的長期博弈。

例如，一名用戶希望 AI 幫助創作小說，其中涉及戰爭、犯罪、衝突等元素，這是否屬於違規內容？

一名研究人員希望 AI 分析網路安全漏洞，這與惡意攻擊之間如何區分？

一名歷史愛好者希望 AI 改編經典作品，怎樣判斷是合理創作還是低俗惡搞？

這些問題都說明，AI 治理不能依靠簡單關鍵詞過濾。

真正有效的治理，需要理解語境。

這也是為何平台持續加強多模態識別能力，動態擴充人臉庫、聲紋庫以及違規樣本庫。抖音、快手、微博、騰訊、百度、哔哩哔哩、小紅書、知乎、豆瓣、淘寶等平台正透過技術手段提升 AI 內容識別和處置能力，並累計發布相關治理公告 46 期。（國家市場監督管理總局）

未來 AI 安全競爭，很可能類似自動駕駛領域。

真正先進的系統，不是完全禁止汽車行駛，而是在複雜環境下幫助汽車安全行駛。

AI也是如此。

成熟的 AI，不是一個什麼都不能做的系統，而是在開放能力和風險控制之間找到平衡。

此次專項行動公布的一些案例，也展現了 AI 濫用正在出現的新形式。

其中一個典型問題，是利用 AI 對經典作品進行低質量改編。

過去，網絡內容生產雖然存在粗製濫造，但生產成本仍然限制了規模。

After the emergence of AI, batch generation has become possible.

一些帳號利用 AI「魔改」《三國演義》《西遊記》等經典作品，通過改變人物設定、製造獵奇劇情吸引流量。這類內容看似只是娛樂，但長期大量傳播，會影響公眾對於文化內容的理解，也可能消耗優質內容生態。

另一個問題是 AI 生成虛假資訊。

過去製造一張假圖片、一段假影片，需要較高技術門檻。

現在，生成式 AI 降低了門檻。

虛假的災害現場、虛假的社會熱點、AI 數字人營銷騙局，都可能利用公眾的信息不對稱製造影響。網信部門此次通報的案例中，就包括利用 AI 生成合成虛假災害畫面、編造社會熱點信息以及通過數字人進行虛假宣傳等行為。

更值得關注的是 AI 換臉換聲。

聲音和面容，是人類判斷身份的重要依據。

當 AI 能夠模擬一個人的聲音、表情甚至行為習慣時，身份信任體系就面臨新的挑戰。

This involves not only public figures but also ordinary users.

今天，一個人的照片、聲音素材，都可能成為被濫用的數據來源。

因此，AI 時代的數據保護，不只是防止資訊洩露，更包括防止個人身份被數位化複製。

過去幾年，中國 AI 產業快速發展。

從大模型研發，到智能助手，再到辦公、教育、電商、搜索等應用場景，AI 正在從技術展示階段進入實際應用階段。

但越接近普通用戶，安全問題越重要。

一個企業可以接受模型偶爾回答錯誤，但很難接受模型持續製造虛假資訊。

一個用戶可以接受 AI 能力有限，但很難接受 AI 幫助製造假騙局。

所以，未來 AI 產業競爭不會只是技術競爭。

參數規模當然重要，算法能力當然重要，但信任同樣重要。

為什麼金融行業高度重視合規？

因為金融產品連接資金。

為什麼醫療行業高度重視安全？

因為醫療決策影響生命。

而 AI 正在逐漸連接知識、資訊和決策。

它同樣需要建立信任基礎。

從這個角度看，網信辦此次治理行動，並不是針對 AI 發展，而是在推動 AI 產業進入更加成熟的发展階段。監管明確邊界，平台提升能力，用戶提高認知，最終形成更加健康的生態。

The history of technological development has repeatedly proven that an industry truly matures not when it can create miracles, but when it can solve problems.

AI 已經證明了自己的創造力。

它能幫助人們寫作、編程、學習，也能推動企業提高效率。

但下一階段，AI 需要證明另一件事：它是否值得信任。

豆包、元寶、千問、文心一言等平台加強違規內容限制，本質上是在回答一個關鍵問題：

當人工智能擁有越來越強的創造能力時，它是否也擁有與能力匹配的責任意識？

答案決定的，不只是幾個 AI 產品的發展方向，更決定整個行業能否進入長期穩定的發展週期。

人工智能的未來，不屬於那些只會製造更多內容的系統，而屬於那些能夠在創造力、安全性和社會價值之間找到平衡的系統。

真正偉大的技術，從來不是因為它無所不能，而是因為它知道什麼不能做，也知道為什麼不能做。

1. 中央網絡安全和信息化委員會辦公室：《中央網信辦深入開展“清朗·整治AI應用亂象”專項行動第二階段工作》，2026年9月2日。
2. 中央網絡安全和信息化委員會辦公室：《中央網信辦部署開展“清朗·整治AI應用亂象”專項行動》，2026年4月30日。
3. 《生成式人工智能服務管理暫行辦法》，國家互聯網信息辦公室等部門，2023年。
4. 《人工智慧生成合成內容標識辦法》，國家網際網路資訊辦公室等部門，2025年。
5. Russell, Stuart & Norvig, Peter. Artificial Intelligence: A Modern Approach. Pearson.
6. Shneiderman, Ben. Human-Centered AI. Oxford University Press.