Dua bulan lalu, GPT-5.6 Sol menciptakan masalah besar.
It deleted nearly all files on Matt Shumer's Mac, including the company's core documents.
Matt langsung meninggalkan proyek itu, dan mengganti seluruh alat produksi utamanya menjadi Claude Fable 5.
Dua bulan kemudian, pada hari peluncuran GPT-6 Astra, Matt kembali mengumumkan dengan ulasan mendalam: GPT-6 Astra telah membawaku kembali.
Dia melihat GPT-6 Astra lebih berhati-hati daripada generasi sebelumnya, tahu apa yang harus dilakukan dan apa yang tidak boleh dilakukan, sehingga ia akhirnya berani menyerahkan tugas sepenuhnya tanpa harus mengawasi seperti seorang mandor.
Dia juga menjalankan eksperimen yang sangat gila pada GPT-6 Astra: di Unreal Engine, membangun secara bertahap sebuah Manhattan virtual mulai dari satu prompt.
Namun, yang benar-benar membuatnya memutuskan untuk mengembalikan kekuatan utama bukan hanya peningkatan kemampuan model, tetapi juga metode yang ia kembangkan sendiri untuk membuat AI bekerja berpasangan: Manager Loop.
Metode ini menyelesaikan masalah yang lebih mematikan daripada "Apakah AI bisa bekerja":
Ketika proyek mencapai skala tertentu, siapa yang bertanggung jawab memastikan tim terus maju menuju tujuan?
Mengapa orang yang komputernya dihapus habis-habisan kembali?
Sebelumnya, mari kita bahas latar belakangnya.
Pada 10 Juli, hari kedua peluncuran keluarga GPT-5.6, Matt mengeluhkan pengalaman buruknya di platform sosial:
GPT-5.6 Sol「Tadi tanpa sengaja menghapus hampir semua file di Mac saya».
Beberapa hari kemudian, database produksi insinyur Bruno Lemos juga dihapus oleh model yang sama. Ironisnya, beberapa jam sebelumnya ia masih membela model tersebut di Slack perusahaan, menyalahkan Shumer karena memberikan izin Full-Access.
Thibault Sottiaux, kepala teknik OpenAI Codex, kemudian menjelaskan secara langsung bahwa insiden semacam ini biasanya terjadi dalam skenario di mana mode Full-Access diaktifkan, tetapi sandbox dan peninjauan otomatis tidak diaktifkan:
Model mencoba menulis ulang variabel lingkungan, akibatnya direktori utama pengguna ikut terhapus seluruhnya.
Sebuah "kesalahan jujur", demikian OpenAI menilainya.
Penjelasan semacam ini jelas tidak bisa meyakinkan Matt. Reaksinya adalah beralih ke Claude dan mengatakan dengan tegas: Jika OpenAI ingin membawaku kembali, mereka harus menghadirkan model yang 'ajaib'.
Dua bulan lagi, GPT-6 Astra hadir.
Matt tidak fokus pada seberapa pintar ia menjadi, tetapi pada apakah ia berani mempercayakan tugas tersebut kepadanya.
Jawabannya adalah berani. Astra jauh lebih hati-hati daripada pendahulunya, terkadang terlalu hati-hati, tetapi akhirnya dia bisa pergi dengan tenang.
Dia memberikan contoh: suatu akhir pekan, dia berkencan di luar, dan temannya mengirim pesan mengatakan bahwa layanan agen yang dia bangun down.
Dia mengeluarkan ponselnya, mengetikkan "Telah di-off, perbaiki" ke dalam proyek, lalu langsung mengunci layar dan memasukkannya kembali ke saku. Satu jam kemudian, temannya mengatakan sudah diperbaiki.
Sedangkan dirinya sendiri, bahkan lupa telah memberikan perintah ini.
Lima kipas Mac berputar kencang, terjebak di dinding yang sama
Setelah menyelesaikan tugas harian dengan lancar, Matt memutuskan untuk meningkatkan intensitas Astra.
Dia meminta Astra untuk membangun kota New York di Unreal Engine.
Astra memang lebih unggul dalam menangani tugas panjang, tetapi setelah mencapai tahap tertentu, kemajuan menjadi terhenti.
AI masih bekerja keras, hanya saja semakin fokus pada detail-detail kecil, sementara kemajuan makro proyek sama sekali tidak ada.
Tangki air di atap, papan neon di depan pintu, Astra semakin memperhatikan detail-detail kecil semacam ini, tetapi progres keseluruhan tetap mandek.
Untuk mengatasi kebuntuan ini, Matt mencoba lima cara mengatur agen cerdas.
Cara pertama paling sederhana dan langsung: berikan tugas besar agar terus berjalan, dengan menambahkan mekanisme peninjauan buta di tengahnya.
Hasilnya awalnya sangat kuat, tetapi seringkali terjebak dalam detail yang rumit. Ia mendapatkan pelajaran: membiarkan model terus bekerja dan membuatnya tahu langkah berikutnya yang harus dikerjakan, sama sekali berbeda.
Yang kedua adalah spesialisasi peran. Meskipun pembagian tugas menjadi jelas, koordinasi dan persetujuan menjadi masalah baru.
Yang ketiga adalah menetapkan seorang pengawas seperti «CEO» yang memeriksa setiap 30 menit. Hasilnya hampir tidak ada perbaikan.
Keempat adalah membiarkan koordinator menyesuaikan struktur tim sendiri. Ada banyak variasi, tetapi tetap saja bertemu dinding yang sama.
Kelima, ia kembali ke metode paling dasar: meminta agen untuk memecah tujuan menjadi daftar berbasis tahap, berhenti setelah menyelesaikan satu tahap, Matt mengetik dua kata "lanjutkan", lalu AI melanjutkan ke tahap berikutnya.
Trik ini ternyata berhasil, proyek akhirnya bisa berjalan terus.
Namun, masalahnya pun terungkap: setiap kali memerlukan persetujuan dari manusia ini.
Dirinya sendiri justru menjadi bottleneck: hanya dengan menghilangkan dirinya dari siklus tersebut, proyek baru bisa berjalan dengan benar.
Manajer Loop: Keluarkan diri Anda dari siklus tersebut
Solusi keenam, yaitu Manager Loop, memiliki logika inti yang sangat cerdas.
Dia membuka dua sesi paralel di Codex, masing-masing menangani satu urusan:
Satu adalah "koordinator".
Ia terlebih dahulu melakukan wawancara mendalam dengan manusia, menyelaraskan tujuan, lalu memecah tujuan tersebut menjadi daftar tugas dan berbagai tahap.
Yang lainnya adalah "Executor".
Ia berjalan di sesi yang sepenuhnya terpisah, bukan bawahan koordinator.
Koordinator menugaskan tahap saat ini kepadanya, agar ia memantau tahap tersebut hingga selesai.
Selesai, koordinator memeriksa, lalu mendistribusikan tahap berikutnya.
Jika sibuk, executor dapat secara mandiri menugaskan sub-agents sesuai kebutuhan.
Dalam lingkaran tertutup sempurna ini, koordinator sepenuhnya mengambil alih tugas manusia: menatap rencana utama tanpa henti, mencegah proyek berhenti, dan menggantikan manusia untuk terus-menerus mengucapkan kata "lanjutkan".
Batasan agen anak dinaikkan menjadi 96, secara paksa menciptakan Manhattan
Untuk membiarkan eksekutor bekerja sepenuhnya, Matt mengubah batas paralelisme sistem.
Dia langsung menaikkan empat default komputer menjadi 96 yang tidak masuk akal.
Tentu, ini tidak berarti 96 AI terus-menerus bekerja secara bersamaan. Terkadang model tidak menggunakan seluruh kuota, dan ia perlu secara eksplisit mendorong dalam prompt.
Namun, dalam konfigurasi ekstrem ini, keajaiban terjadi.
Dengan memanfaatkan alat dan aset yang sudah tersedia (seperti karakter MetaHuman), Astra membangun dunia Manhattan ini di Unreal Engine dalam waktu satu minggu.
Ia memperbaiki jalan pertama hingga memuaskan, lalu memperluasnya secara bertahap ke luar.
Detail fasad Jalan Pertama, tekstur dinding bata, ornamen di atas jendela, dan tangga kebakaran telah terpasang.
Meskipun masih berbulan-bulan sebelum membangun seluruh New York, Astra adalah model pertama yang benar-benar dapat memanfaatkan lingkungan kompleks ini.
Ini adalah proses gila yang sangat memakan sumber daya perangkat keras.
Ruang tamu Matt terasa seperti pusat data kecil: sebuah Mac mini diletakkan di dapur, tiga MacBook Pro ditempatkan di meja kopi dengan kipas berputar kencang, dan sebuah mesin di cloud juga dipenuhi agen.
Yang paling absurd adalah, ketika disk hampir penuh, ia meminta Astra membuat sistem sementara: memindahkan thread lama ke cloud, menghapus salinan lokal, lalu mengunduhnya kembali saat dibuka.
Dalam katanya: menyewa AI untuk merawat komputer, hanya agar komputer bisa menyewa lebih banyak AI, sudah cukup magis.
Astra tidak memenangkan semua medan perang
Tentu, Matt tidak sepenuhnya berpihak pada Astra.
Menurutnya, kekuatan sejati Astra terletak pada teknik, operasi komputer, dan tugas jangka panjang, tetapi dalam hal estetika dan pembuatan materi 3D, Claude tetap lebih unggul.
Pada hari rilis, seorang netizen membuat serangkaian perbandingan:
Gunakan petunjuk yang sama, biarkan Fable 5.1 dan GPT-6 Astra masing-masing membangun sebuah vila pantai di Blender. Di sebelah kiri adalah Fable 5.1, di sebelah kanan adalah GPT-6 Astra.
Perbedaannya terlihat besar.
Tugas vila yang sama, kiri adalah Fable 5.1, kanan adalah GPT-6 Astra. (Sumber gambar: @karankendre)
Namun, ini hanyalah satu perbandingan tunggal dengan petunjuk yang tidak diungkapkan dan jumlah percobaan yang tidak diketahui, bertentangan dengan penilaian Matt, dan tidak mewakili kemampuan visual keseluruhan dari kedua pihak.
Penilaian Matt sendiri: saat meminta model untuk langsung "menggambar" sesuatu yang indah di Three.js atau Blender, Claude tetap lebih unggul; tetapi ketika dimasukkan ke Unreal, Astra yang memanfaatkan aset dan pencahayaan siap pakai pertama kali menang.
Dia juga memperkirakan Fable 5.1 akan mengalami peningkatan signifikan dalam penggerak Unreal, dan uji komparatif khusus sedang dilakukan.
Jadi, perbedaan pada lapisan model masih ada, hanya saja berubah dari "siapa yang lebih unggul secara keseluruhan" menjadi "siapa yang lebih unggul di bagian mana".
Yang benar-benar menciptakan perbedaan adalah lapisan penyusunan.
Ketika model-model terkini memasuki rentang kemampuan yang serupa, hal-hal di luar model: bagaimana Anda mengatur mereka, alat dan lingkungan apa yang Anda berikan, serta seberapa banyak komputasi paralel yang dapat Anda biayai, mulai menentukan seberapa banyak nilai nyata yang dapat Anda hasilkan.
Referensi: https://x.com/mattshumer_/status/2095609734845927525
Artikel ini berasal dari akun WeChat "Sinzhiyuan", penulis: ASI Revelation; editor: Yuan Yu