Bài báo năm 2020 của Timnit Gebru đã dự đoán các rủi ro lớn trong AI hiện đã trở thành hiện thực

Nếu quay ngược thời gian về năm 2020, đa số các chuyên gia AI vẫn đang thảo luận về việc GPT-3 mạnh đến mức nào.

Lúc đó, AI sinh thành chưa trở thành tâm điểm toàn cầu, ChatGPT vẫn còn hai năm nữa mới ra đời, và các mô hình lớn cũng chưa tạo nên làn sóng đầu tư rầm rộ như hiện nay. Nhưng ngay trong năm đó, một nhà nghiên cứu AI hàng đầu của Google đã xảy ra xung đột gay gắt với công ty vì một bài báo chưa được công bố và cuối cùng bị mất việc.

Lúc đó, nhiều người cho rằng đây chỉ là một lần tranh cãi khác của Thung lũng Silicon về quản lý nơi làm việc, xuất bản học thuật và văn hóa doanh nghiệp; nhưng giờ đây nhìn lại, người ta mới nhận ra rằng những cảnh báo trong bài báo đó gần như đều đã trở thành hiện thực.

Nhà nghiên cứu bị sa thải chính là một trong những nhân vật có ảnh hưởng nhất trong lĩnh vực đạo đức AI—Timnit Gebru.

Tháng 12 năm 2020, Timnit Gebru đăng tin trên mạng xã hội cho biết cô đã bị Google sa thải.

Tin tức nhanh chóng gây chấn động toàn bộ cộng đồng nghiên cứu AI. Bởi vì lúc đó, Gebru không phải là một nhà nghiên cứu bình thường, mà là đồng trưởng nhóm AI có đạo đức của Google (Ethical AI Team) và là một trong những học giả nổi tiếng toàn cầu trong lĩnh vực nghiên cứu về tính công bằng của AI và thiên lệch thuật toán.

Gebru, người sinh ra tại Ethiopia, đã lâu quan tâm đến các vấn đề về định kiến chủng tộc, phân biệt giới tính và công bằng xã hội trong lĩnh vực AI. Trước khi gia nhập Google, cô đã thực hiện nghiên cứu tại Đại học Stanford. Năm 2018, bài nghiên cứu về định kiến thuật toán mà cô tham gia công bố được nhiều người xem là bước ngoặt quan trọng trong nghiên cứu về tính công bằng của AI. Cùng năm đó, Google đã tuyển dụng cô và công khai nhấn mạnh sự chú trọng của công ty vào “AI có trách nhiệm (Responsible AI)”.

Tuy nhiên, chỉ hai năm sau, hai bên đã đi đến sự rạn nứt.

Lúc đó, Google công bố rằng Gebru đã tự nguyện nghỉ việc, nhưng Gebru lại đưa ra một phiên bản hoàn toàn khác: cô cho biết, trong lúc đang nghỉ phép, cô nhận được email từ công ty thông báo việc nghỉ việc của cô có hiệu lực ngay lập tức, đồng thời tất cả quyền truy cập vào các hệ thống nội bộ và tài khoản email đều bị vô hiệu hóa.

Theo cô ấy, đó là một cuộc sa thải không thể chối cãi.

Sau đó, hơn 4.000 nhân viên Google và các chuyên gia trong ngành đã ký vào thư công khai đặt câu hỏi về cách công ty xử lý vụ việc và yêu cầu tái bổ nhiệm Gebru—và tất cả những điều này đều bắt nguồn từ một bài báo học thuật chỉ dài 14 trang.

Bài viết này có tựa đề “On the Dangers of Stochastic Parrots” (“Nguy hiểm của những con vẹt ngẫu nhiên”), do Timnit Gebru, giáo sư ngôn ngữ học tại Đại học Washington Emily Bender và hai nhà nghiên cứu khác đồng tác giả, hiện đã được trích dẫn hơn 14.000 lần.

Sau đó, cái tên “chim vẹt ngẫu nhiên” cũng trở nên phổ biến. (Đường dẫn bài viết: https://s10251.pcdn.co/pdf/2021-bender-parrots.pdf)

Bài báo chỉ ra rằng các mô hình ngôn ngữ lớn về bản chất là tái tạo các mẫu ngôn ngữ dựa trên các quy luật thống kê: chúng có thể tạo ra văn bản trôi chảy, tự nhiên và thậm chí logic, nhưng không thực sự hiểu ý nghĩa của ngôn ngữ—giống như một con vẹt học cách bắt chước lời nói của con người, trông có vẻ thông minh nhưng thực chất chỉ là sự bắt chước dựa trên lượng lớn văn bản trên internet. Trong khi đó, internet đầy rẫy các nội dung thiên kiến, phân biệt đối xử và thù hận. Do đó, các mô hình lớn rất có khả năng học luôn những vấn đề này và tiếp tục khuếch đại chúng khi tạo ra nội dung.

Hãy nhớ rằng, đó là năm 2020, khi GPT-3 vừa ra mắt, ChatGPT chưa tồn tại và làn sóng mô hình lớn vẫn chưa bắt đầu, bài báo này đã tiên đoán trước một trong những vấn đề đau đầu nhất của ngành ngày nay.

Sau khi bài báo được nộp đến hội nghị đạo đức AI hàng đầu, ban quản lý Google lại yêu cầu rút lại bài báo hoặc gỡ tên các nhà nghiên cứu của Google. Tuy nhiên, Gebru từ chối và yêu cầu công ty nêu rõ lý do, đồng thời mong muốn hai bên có thể tiến hành thảo luận thêm.

Meanwhile, she also sent a strongly worded email to Google’s internal employee group.

Trong email, Gebru chỉ trích Google vì thiếu hành động thực tế trong việc thúc đẩy tuyển dụng nhóm thiểu số và giải quyết các vấn đề bất bình đẳng nội bộ. Bà viết: “Khi bạn bắt đầu lên tiếng vì các nhóm yếu thế, tình hình của bạn sẽ trở nên tồi tệ hơn. Bạn sẽ khiến các nhà lãnh đạo khác cảm thấy khó chịu.” Bà cũng cho biết: nếu công ty không bao giờ giải thích được lý do tại sao rút lại bài báo, bà sẽ chọn rời đi vào thời điểm thích hợp.

Sự việc diễn ra vượt xa sự mong đợi của cô ấy. Gebru cho biết, Google sau đó phản hồi rằng sẽ không đáp ứng các yêu cầu của cô và trực tiếp chấp nhận “đơn từ chức” của cô, ngay lập tức hủy tất cả quyền truy cập của cô.

At the time, the incident quickly became one of the most controversial topics in the global AI community.

Điều khiến sự kiện này tiếp tục được thảo luận cho đến nay không phải là việc sa thải, mà là nội dung trong bài luận – bởi vì khi nhìn lại hôm nay, hầu như mọi mối lo ngại được đưa ra trong đó đều đã trở thành những vấn đề thực tế mà ngành AI đang đối mặt.

(1) Cảnh báo đầu tiên: Mô hình sẽ “nói bậy”

Năm 2020, GPT-3 vừa được ra mắt. Lúc đó, mọi người kinh ngạc trước khả năng tạo văn bản của mô hình, nhưng rất ít người nghiêm túc thảo luận về độ tin cậy của nó.

Gebru và Bender chỉ ra: Khi quy mô mô hình ngày càng lớn, con người sẽ càng dễ nhầm lẫn sự lưu loát trong cách diễn đạt với sự hiểu biết thực sự. Các mô hình trông giống như đang suy nghĩ, nhưng thực chất chỉ đang dự đoán từ tiếp theo có khả năng xuất hiện cao nhất, do đó, chúng sớm muộn gì cũng sẽ tạo ra thông tin trông có vẻ hợp lý nhưng hoàn toàn sai lệch.

Và hôm nay, vấn đề này đã có một cái tên mà tất cả mọi người đều quen thuộc: ảo giác AI (Hallucination). Dù là ChatGPT, Gemini, Claude hay các mô hình tiên tiến khác, vấn đề ảo giác vẫn chưa được giải quyết triệt để.

The paper accurately anticipated it before "hallucination" became an industry buzzword.

(2) Cảnh báo thứ hai: Định kiến sẽ không biến mất, mà sẽ được khuếch đại

Bài báo cũng chỉ ra rằng chính internet không phải là nguồn dữ liệu trung lập, và dữ liệu huấn luyện tự nhiên chứa đầy các định kiến về chủng tộc, giới tính, văn hóa và khu vực. Mô hình không chỉ học các định kiến này mà còn có thể củng cố chúng thêm do các cơ chế tối ưu hóa.

Sau đó, nhiều vấn đề thực tế đã xác nhận mối lo ngại này:

Amazon từng thử sử dụng AI để lọc hồ sơ ứng tuyển, nhưng hệ thống đã tự động giảm điểm các hồ sơ chứa các từ khóa như “women” (phụ nữ).

Hệ thống đánh giá rủi ro y tế được sử dụng tại nhiều bệnh viện lớn ở Hoa Kỳ đã được phát hiện là đã đánh giá thấp nhu cầu y tế của bệnh nhân da đen trong thời gian dài.

Thẻ tín dụng Apple cũng từng gây sự chú ý của cơ quan quản lý do hạn mức tín dụng dành cho phụ nữ thấp hơn nhiều so với nam giới.

Các ví dụ này đều cho thấy thuật toán không tự động đảm bảo sự công bằng, mà ngược lại, có thể củng cố bất bình đẳng trong thế giới thực theo những cách tinh vi hơn.

(3) Cảnh báo thứ ba: Lượng năng lượng tiêu thụ của AI sẽ trở thành vấn đề mới

Năm 2020, chi phí tính toán chưa được quan tâm nhiều như ngày nay, nhưng bài báo cáo đó đã bắt đầu thảo luận về tác động môi trường do việc huấn luyện các mô hình siêu lớn gây ra. Theo tính toán của các nhà nghiên cứu, lượng khí thải carbon sinh ra khi huấn luyện một mô hình ngôn ngữ lớn tương đương với tổng lượng khí thải trong suốt vòng đời của năm chiếc ô tô — lúc đó, quan điểm này bị nhiều người cho là quá bi quan.

Tuy nhiên, khi cơ sở hạ tầng AI bước vào giai đoạn chạy đua vũ trang, các vấn đề nhanh chóng xuất hiện: theo dữ liệu công khai của Google, lượng khí thải nhà kính của công ty năm 2024 tăng 48% so với năm 2019; Microsoft trong cùng giai đoạn cũng tăng khoảng 29%. Cả hai công ty đều khẳng định rõ ràng rằng các trung tâm dữ liệu AI và cơ sở hạ tầng tính toán là một trong những nguyên nhân quan trọng.

Thật讽刺 khi những gã khổng lồ công nghệ này vài năm trước còn tung hô các mục tiêu trung hòa carbon.

(4) Cảnh báo thứ tư: Không ai thực sự biết dữ liệu huấn luyện chứa những gì

Đối với nhiều người, dữ liệu huấn luyện dường như chỉ là một vấn đề kỹ thuật. Nhưng Gebru cho rằng, khi quy mô dữ liệu ngày càng lớn, việc kiểm toán toàn bộ dữ liệu huấn luyện sẽ trở nên gần như không thể.

Quan điểm của cô ấy lại được chứng minh: Năm 2023, các nhà nghiên cứu phát hiện ra rằng tập dữ liệu LAION-5B, được sử dụng rộng rãi để huấn luyện các mô hình tạo hình ảnh, chứa một lượng lớn hình ảnh lạm dụng trẻ em, và nhiều mô hình phổ biến như Stable Diffusion từng sử dụng tập dữ liệu này.

Điều này không gây bất ngờ, vì nhiều nhà phát triển trước đây không biết đến sự tồn tại của những nội dung này. Nói cách khác, ngay cả chính những nhà phát triển mô hình cũng chưa chắc thực sự hiểu rõ mô hình “tiêu thụ” cái gì—đây chính là một trong những vấn đề đầu tiên được bài báo nêu ra.

(5) Cảnh báo thứ năm: Internet sẽ dần bị nội dung AI chiếm lĩnh

Theo Google, đây có thể là phần nhạy cảm nhất của toàn bộ bài luận. Gebru và Bender cho rằng sự phát triển của các mô hình lớn cuối cùng sẽ tập trung quyền lực ngôn ngữ và văn hóa vào tay một vài tập đoàn công nghệ lớn. Lý do rất đơn giản: đào tạo các mô hình siêu lớn đòi hỏi nguồn vốn, sức mạnh tính toán và tài nguyên dữ liệu khổng lồ, và những công ty thực sự có khả năng tham gia cuộc cạnh tranh này là rất ít ỏi.

Lâu dần, tiếng nói chính thống trên internet sẽ dần trở thành giá trị trung bình thống kê do một số ít công ty huấn luyện, sau đó lan truyền toàn cầu với tư cách là “trợ lý trung lập”. Trong khi đó, những ngôn ngữ và văn hóa có tỷ lệ thấp trong dữ liệu huấn luyện sẽ ngày càng bị đẩy ra rìa.

Nghiêm trọng hơn, khi nội dung do AI tạo ra quay lại internet và trở thành dữ liệu huấn luyện cho vòng tiếp theo, vấn đề sẽ liên tục tự củng cố—đây chính xác là điều các nhà nghiên cứu hiện nay gọi là: “sự sụp đổ mô hình (Model Collapse)”.

Một nghiên cứu năm 2024 đã phát hiện rằng khoảng 57% nội dung mới được thêm vào internet bằng tiếng Anh đã được tạo ra hoặc hỗ trợ tạo bởi AI; trong khi các nghiên cứu về ngôn ngữ ít tài nguyên cho thấy, do dữ liệu huấn luyện ngày càng được lấy từ nội dung do AI tạo ra, chất lượng dịch của một số ngôn ngữ đã rõ ràng bị suy giảm.

Nói cách khác, bài báo này không chỉ dự đoán được hiện tượng “sụp đổ mô hình”, mà còn chỉ ra cơ chế hình thành của nó ngay trước khi khái niệm này chính thức ra đời.

Sau sự kiện xảy ra, nhiều người sau này mô tả Gebru là “người phản đối AI”. Thực tế không phải vậy, cô chưa bao giờ chủ trương dừng phát triển AI. Từ đầu đến cuối, cô đặt câu hỏi về một điều khác:

Ai là người quyết định hướng phát triển của AI?

Theo cô, các nhà nghiên cứu và quản lý thúc đẩy sự phát triển của các mô hình lớn thường có nền tảng tương tự, phục vụ các mục tiêu kinh doanh tương tự và bị thúc đẩy bởi cùng những áp lực cạnh tranh. Trong cơ chế động lực này, việc ra mắt sản phẩm nhanh hơn, mở rộng quy mô người dùng nhanh hơn và giành lợi thế cạnh tranh nhanh hơn thường được ưu tiên cao hơn các vấn đề về an toàn, công bằng và đạo đức.

Và mọi người cố gắng làm chậm quá trình này đều có thể bị coi là kẻ cản trở. Một cách đầy tính hài hước, Gebru chính là người đưa ra quan điểm này trong nội bộ Google, và chính Google đã thông qua việc sa thải cô để mang đến cho quan điểm này một minh chứng thực tế đầy kịch tính.

Điều đáng tiếc hơn là ngay sau sự việc, Margaret Mitchell, đồng trưởng nhóm AI đạo đức, cũng bị sa thải—chỉ trong 90 ngày, đội ngũ AI đạo đức từng khiến Google tự hào cơ bản đã bị giải tán.

Sau khi rời Google, năm 2021 Gebru đã thành lập Viện Nghiên cứu AI Phân tán (DAIR). Khác với các công ty công nghệ lớn, tổ chức này mong muốn thực hiện nghiên cứu AI ngoài lợi ích thương mại, với mục tiêu rõ ràng: nghiên cứu những vấn đề mà các đế chế công nghệ có thể không muốn đối mặt. Trong vài năm qua, DAIR liên tục tập trung vào các chủ đề như nguồn dữ liệu, tính công bằng của thuật toán, đa dạng ngôn ngữ và sự tập trung quyền lực trong ngành AI.

Và cùng với sự phát triển bùng nổ của AI sinh thành, ngày càng nhiều nhà nghiên cứu bắt đầu quan tâm trở lại bài viết “Nguy hiểm của vẹt ngẫu nhiên”: bởi họ phát hiện ra rằng những vấn đề từng bị coi là lo lắng quá mức trong bài báo năm ấy, nay đã trở thành thực tế hàng ngày mà ngành công nghiệp đang thảo luận.

Sau sáu năm, về những tranh cãi xung quanh Timnit Gebru và Google, bên ngoài có lẽ sẽ không bao giờ có được một câu trả lời mà tất cả đều đồng ý.

Google cho rằng đó là một sự kiện đánh giá học thuật và nghỉ việc bình thường; Gebru lại cho rằng mình bị đàn áp vì kiên trì công bố nghiên cứu. Nhưng có một điểm ngày càng khó phủ nhận:

Bài báo khiến cô ấy rời Google vẫn giữ nguyên ý nghĩa dù tranh cãi đã kết thúc.

Ngược lại, những vấn đề như ảo tưởng, thiên kiến, ô nhiễm dữ liệu, chi phí môi trường, sự sụp đổ của mô hình và sự tập trung quyền lực mà nó đề cập đến hiện nay đã trở thành những chủ đề không thể tránh khỏi trong toàn bộ ngành công nghiệp AI.

Đôi khi, lịch sử sẽ đưa ra đánh giá theo một cách bất ngờ.

Năm 2020, nhiều người cho rằng Timnit Gebru quá bi quan;

Năm 2026, mọi người bắt đầu nhận ra rằng cô ấy có lẽ chỉ là người nhìn thấy vấn đề sớm hơn những người khác.

Liên kết tham khảo: https://www.tumblr.com/dreaminginthedeepsouth/817865966907228160/darren-oconnor-timnit-gebru-was-fired-from

Bài viết này đến từ tài khoản chính thức WeChat "CSDN", biên tập: Zheng Liyuan