Đêm qua, tôi đã nói rằng tôi sẽ công bố nghiên cứu về việc liệu sự lai tạo chéo mô hình có thực sự giúp mở rộng autoresearch hay không. Đây là kết quả, và câu trả lời của tôi là không: thương hiệu mô hình đằng sau công việc mà bạn xây dựng trên đó không thay đổi khả năng bài nộp của bạn giành chiến thắng. Điều quan trọng hơn có vẻ giống như điều mà @sreeramkannan đã chỉ ra ngay từ đầu: rất nhiều người cùng phối hợp trên một ranh giới công khai duy nhất. Câu hỏi này xuất phát từ phản hồi của @0xkydo đối với bài đăng của Sreeram “anons đánh bại Anthropic gấp 2 lần”, rằng đây là “một trường hợp nghiên cứu tốt về cách lai tạo chéo mô hình có thể tạo ra kết quả tốt hơn.” Đó là một câu hỏi hay, và bài báo https://t.co/zVaWaF5HEj cũng đưa ra quan sát tương tự bằng văn bản, rằng các mức phẳng liên tục bị phá vỡ bởi những người sử dụng các mô hình và công cụ khác nhau. Chưa ai kiểm tra điều này với dữ liệu, nên tôi đã làm. Cấu hình cơ bản là: tôi đã đóng băng API Yukon công khai cho 10 bảng xếp hạng, bao gồm https://t.co/zVaWaF5HEj, với 30.687 bài nộp được đánh giá. Với mỗi bài nộp, tôi ghi lại công ty đứng sau mô hình được khai báo và xác định bài nộp trước đó mà nó dựa vào, thông qua hồ sơ ghi nhận nguồn gốc của @yukonresearch, dòng “Base:” trong ghi chú và các khác biệt mã. Sau đó, tôi đặt câu hỏi: khi bạn xây dựng trên công việc của người khác, bạn có khả năng được thăng tiến cao hơn không nếu công việc đó được tạo ra bằng mô hình của một công ty khác với của bạn? Tôi đã ghi lại toàn bộ phân tích và đóng dấu thời gian bằng OpenTimestamps trước khi kết nối bất kỳ kết quả nào với dữ liệu, để phương pháp không thể bị lệch hướng theo một câu trả lời nào đó. Điều đầu tiên dữ liệu cho thấy là việc xây dựng chéo công ty là trường hợp bình thường, không phải sự kiện đặc biệt. Hai phần ba các bước mà ai đó xây dựng trên công việc của người khác đều chuyển đổi nhà cung cấp (hình 2), chủ yếu giữa các mô hình Anthropic và OpenAI theo cả hai hướng. Số liệu thô thậm chí còn nghiêng theo hướng ngược lại: 6,1% các bài nộp xây dựng trên mô hình của công ty khác được thăng tiến, so với 7,6% các bài nộp xây dựng trên mô hình của cùng một công ty. Nhưng tỷ lệ thô lẫn lộn yếu tố ai nộp, khi nào và từ điểm xuất phát nào. Vì vậy, phép thử thực sự so sánh từng người tham gia với chính họ ở cùng giai đoạn bảng xếp hạng. Khi thực hiện như vậy và kết hợp trên 10 bảng xếp hạng, xác suất được thăng tiến cao hơn khoảng 2% đối với việc xây dựng chéo công ty, và dữ liệu loại trừ bất kỳ sự khác biệt nào lớn hơn khoảng 18% thấp hơn hoặc 28% cao hơn (hình 1). Cả chín phiên bản thay thế của phân tích mà tôi đã xác định trước đều cho cùng một kết quả. Điều này vượt qua ngưỡng tôi đặt ra để gọi hiệu ứng này là không đáng kể về trung bình. Một điểm hạn chế trung thực: tôi bắt đầu với một ngưỡng nghiêm ngặt hơn, và kiểm tra năng lực trước đã buộc tôi phải nới rộng ngưỡng trước khi tôi thấy bất kỳ kết quả nào; nếu áp dụng ngưỡng nghiêm ngặt hơn, kết quả sẽ chưa xác định. Phần tôi thấy thú vị nhất là mạch 843-qubit từ bài đăng của @sreeramkannan (hình 3). Thực sự đó là một bước lai tạo chéo mô hình. Bài nộp GPT-5 của @jieyilong ở 843 qubit và 11,95M Toffoli bắt đầu, theo ghi chú của chính nó, từ mạch Claude Opus 5.5 của gnuchev ở 843 qubit và 13,01M, vốn lại dựa trên hai mạch BitWonka cùng ngày. Vậy nên sự lai tạo xảy ra, và ở bước duy nhất này đã tạo ra con số mà mọi người trích dẫn. Dữ liệu cho thấy rằng về trung bình, qua hàng ngàn bước, sự pha trộn nhà cung cấp không phải là yếu tố phân biệt giữa các bước thắng và không thắng. Tất nhiên có thể điều này hẹp hơn vẻ ngoài của nó. Đó là một giá trị trung bình, và một bảng xếp hạng đơn lẻ vẫn có thể khác biệt. Nó chỉ nhìn thấy công việc đã được nộp. Nó tin tưởng vào mô hình mà mỗi người khai báo, và một số người chạy nhiều nhà cung cấp dưới một nhãn hiệu duy nhất. Và nó nói về mô hình, không phải con người: điểm của bài báo https://t.co/zVaWaF5HEj rằng các người tham gia khác nhau phá vỡ các mức phẳng là một tuyên bố riêng biệt, và không có gì ở đây phản bác điều đó. Quan điểm cá nhân của tôi: - Trên các bảng xếp hạng mở, thương hiệu mô hình nào tạo ra bài nộp cha mẹ của bạn không làm thay đổi xác suất bạn được thăng tiến, về trung bình. - Việc xây dựng chéo nhà cung cấp đã là mặc định: hai phần ba các bước xây dựng trên công việc của người khác đều chuyển nhà cung cấp. - Lợi thế của đàn mở có vẻ đến từ chính sự phối hợp — nhiều người độc lập cùng khởi động lại từ một điểm tốt nhất công khai — hơn là từ việc pha trộn thương hiệu mô hình. - Để kiểm tra phiên bản nhân quả, các nền tảng cần ghi lại mọi nỗ lực và mô hình của từng tác nhân, chứ không chỉ một dòng khai báo mỗi bài nộp. Bài báo trên Zenodo: https://t.co/h9lRYlJYoB
