Risiko kehilangan kendali evolusi AI dan keseimbangan manusia-mesin.Penulis artikel, sumber: Zinc Industry
Risiko kehilangan kendali evolusi AI dan keseimbangan manusia-mesin.
Sekitar seminggu yang lalu, Anthropic yang sedang mempersiapkan pencatatan sahamnya memperbarui sebuah artikel di blog resminya, dengan judul artikel tersebut adalah “When AI Build Itself”.
Pada hari artikel ini diterbitkan, masalah keamanan AI kembali ditarik ke pusat perdebatan publik.
Anthropic dalam artikel ini membahas masalah yang disebut "evolusi mandiri AI," dan menunjukkan bahwa "AI telah mampu berpartisipasi dalam membangun model yang lebih kuat untuk dirinya sendiri, jauh lebih cepat daripada yang kami perkirakan."
Sebenarnya, evolusi mandiri AI bukanlah teknologi baru, bahkan bisa dikatakan sejak hari pertama teknologi AI muncul, orang-orang sudah memikirkan cara agar AI terlibat dalam proses evolusi dirinya sendiri.
Seperti yang saat ini dibayangkan di bidang embodied intelligence, yaitu membuat robot manusia dengan menggunakan robot manusia.
Sebenarnya, para ilmuwan AI sambil takut bahwa AI memiliki kemampuan berevolusi sendiri, juga meneliti dan bahkan memanfaatkan kemampuan evolusi mandiri tersebut.
Tian Yuandong, yang sebelumnya menjabat sebagai Direktur Riset tim Meta FAIR dan menjadi sorotan luas selama gelombang pemutusan hubungan kerja di Meta, baru saja mengumumkan pendirian startup pada awal tahun ini, dengan nama perusahaan tersebut adalah Recursive Superintelligence (RSI), yang bertujuan langsung pada evolusi mandiri AI.
Perusahaan yang sama baru-baru ini menyelesaikan pendanaan sebesar 6,5 miliar dolar AS, dengan valuasi mencapai 46,5 miliar dolar AS (sekitar 31,5 miliar yuan), menjadi tim AI Silicon Valley baru yang diminati oleh banyak raksasa.
Lalu, apa sebenarnya yang dimaksud dengan evolusi mandiri AI? Apakah evolusi mandiri akan menyebabkan AI kehilangan kendali? Bagaimana manusia seharusnya hidup berdampingan dengan AI?
AI self-evolution currently taking place is also a major topic at this year's Baidu Wuzhen Conference, where we saw the thoughts and predictions of four young AI scientists on this subject.
Mungkin, dari sudut pandang mereka, kita bisa melihat arah masa depan evolusi mandiri AI, serta menemukan beberapa inspirasi untuk menghadapi kecemasan terhadap AI.
Beberapa ilmuwan AI yang diundang oleh Konferensi Zhiyuan untuk membahas masalah ini adalah:
Peneliti tamu di Departemen Kecerdasan Buatan, Sekolah Teknik Universitas Xihu;
Co-founder NeoCognition, Gu Yu;
Wang Yan, mantan peneliti ahli Frontier dari Tencent Hunyuan;
Dr. Yang Mengyue, dari University College London, dan asisten profesor di University of Bristol.
Berikut adalah isi percakapan keempat tamu, yang kami ringkas dan susun kembali tanpa mengubah makna aslinya:
01 Apa itu AI self-evolution?
Pertanyaan: Saat ini banyak sistem AI melakukan refleksi dan mengubah Prompt, terdengar seperti memiliki nuansa perbaikan diri. Jika didefinisikan lebih ketat, apa itu evolusi mandiri AI?
Lin Tao: Saya merasa evolusi diri seharusnya merupakan evolusi multilevel, yang bisa berupa evolusi otak eksternal maupun otak internal.
Yang paling penting, AI harus mampu menyadari batasan dirinya sendiri, sekaligus mengembangkan otak eksternal dan otak internalnya, atau saat mengembangkan otak eksternal, menginternalisasi lebih banyak kemampuan eksternal untuk lebih lanjut mendorong evolusi otak internal.
Guyu: Saya merasa yang paling penting dari RSI (recursive self improvement, evolusi mandiri rekursif) adalah dua dimensi, yaitu Proaktiveness dan Learning.
Bagaimana Learning memungkinkan AI memiliki algoritma pembelajaran berkelanjutan dan pembelajaran daring yang andal? Masalah lainnya adalah evolusi mandiri, di mana Agent harus tahu ke arah mana ia perlu berkembang.
Jadi, evolusi mandiri harus menyelesaikan dua masalah secara terpisah:
Satunya adalah Metakognisi pada level what, Anda harus tahu apa yang Anda kurang, apa yang Anda butuhkan, dan bagaimana memilihnya;
Yang lain adalah pada tingkat how, yaitu mempelajari bagaimana algoritma diimplementasikan secara spesifik.
Wang Yan: Setidaknya pada titik waktu ini, dibandingkan dengan SFT dan RL tradisional, jika sistem dapat mengandalkan manusia lebih sedikit, maka ia sudah mencapai evolusi mandiri.
Yang Mengyue: RSI yang dibicarakan sekarang sebenarnya merupakan langkah lebih lanjut dari self improvement, bukan hanya kemampuan yang diperkuat, tetapi juga melihat apakah "kemampuan evolusi" itu sendiri bisa menjadi lebih kuat.
Masalah penting adalah bahwa dua anggota tim pendiri Recursive Company (Recursive Superintelligence), Jeff Clune dan Tim Rocktaschel, memiliki fokus penelitian pada Open-endedness.
Lalu, apa itu Open-endedness?
Dalam dunia terbuka, apakah ada agen yang memiliki kemampuan untuk bertanya kepada dirinya sendiri, apakah ia dapat menemukan batas pengetahuannya, batas sistemnya, dan batas memoriannya, serta berusaha melampaui batas-batas tersebut untuk bertanya.
Untuk melepaskan diri dari manusia dan melakukan evolusi mandiri, termasuk mencapai evolusi kemampuan evolusioner, kemampuan bertanya sangat penting.
Pertanyaan: Pada titik waktu hari ini, bagian self-evolution AI yang paling bernilai dan paling mungkin matang terlebih dahulu adalah apa?
Wang Yan: Saya tidak tahu apakah semua orang merasakan bahwa iterasi model mempercepat setelah Januari 2025.
Sebenarnya karena para ahli di bidang basis yang paling memahami batas kemampuan AI sudah tidak lagi menulis kode, dan ini sudah menjadi kenyataan dalam pelatihan basis.
Selain itu, terasa jelas bahwa kecepatan iterasi model dasar semakin mempercepat, termasuk Claude, GPT, serta model-model dasar dalam negeri, Anda tidak bisa mengatakan ini sepenuhnya merupakan evolusi mandiri, tetapi memang sudah ada AI yang mengiterasi AI.
Mengenai bidang mana yang paling dulu matang, yang paling saya rasakan adalah bidang pelatihan basis model; meskipun ada orang di sampingnya yang menentukan arahnya, pada dasarnya basis model sudah berevolusi sendiri.
Pertanyaan: Jika tidak mengubah parameter model, tetapi hanya mengembangkan komponen lainnya, apakah model dasar dapat mencapai lompatan kemampuan yang cukup kuat?
Wang Yan: Pasti bisa.
Sebenarnya, dengan memodifikasi Prompt, Anda bisa mencapai hasil yang lebih baik.
Misalnya, terkadang saya berpikir, mengapa staf magang tidak bisa menyelesaikan tugas yang saya berikan, lalu saya melihat prompt mereka dan menyadari bahwa prompt mereka ditulis dengan buruk.
Saya hanya perlu menulis ulang Prompt dengan efek yang lebih baik, dengan menjelaskan aturan dengan lebih jelas untuk mencapai hasil yang lebih baik.
Karena saya bisa melakukan hal ini, makhluk silikon berdimensi lebih tinggi daripada saya pun bisa melakukannya dengan lebih baik, bahkan tanpa mengubah parameter model.
Pertanyaan: Bagaimana pendapat Guru Lin?
Lin Tao: Ini seharusnya menjadi proses iteratif; kita memerlukan harness (rekayasa pengendalian) yang lebih baik, yaitu otak eksternal, untuk mencapai batas maksimal model saat ini;
Dengan semakin banyak orang yang memiliki harness sendiri, program-program ini juga dapat digunakan untuk melatih basis model yang lebih kuat;
Berbasis pada model dasar yang lebih kuat, kami akan mengembangkan harness yang lebih kuat dan otak luar yang lebih baik, yang juga merupakan proses iteratif.
Pertanyaan: Menurutmu, saat ini bidang sumber daya terpadu mana yang paling matang?
Lin Tao: Saya merasa membuat harness paling mudah.
Guyu: Saya lebih cenderung melihat harness dan skill dari sudut pandang yang seragam.
Dari sudut pandang yang seragam, semuanya adalah memori jangka panjang, hanya saja sudut pandangnya berbeda.
Misalnya, harness adalah memori jangka panjang tingkat meta, skill lebih merupakan memori jangka panjang berupa pengetahuan alur kerja atau proses, dan parameter model lebih mungkin merupakan memori jangka panjang berupa intuisi.
Jika saya harus mengatakan mana yang harus diprioritaskan, dari sudut pandang penelitian akademik sulit untuk mengatakan, karena semuanya sangat penting dan saling mendukung serta memperkuat satu sama lain.
Dari sudut pandang perusahaan, ada banyak faktor nyata yang membuat harness lebih mudah untuk dimulai. Dengan harness, Anda dapat memiliki produk Anda; dengan produk, Anda dapat memperoleh pengguna; dan dengan pengguna, Anda akan memiliki data serta membentuk siklus tertutup. Ini adalah pandangan yang bukan dari aspek teknis.
Yang Mengyue: Saya lebih fokus pada evolusi di tingkat memori (memory), karena arah penelitian saya adalah bagaimana memahami aturan dan sebab-akibat.
Sekarang orang akan merasakan bahwa kemampuan model semakin kuat, sedikit demi sedikit menutupi kemampuan harness, perlahan-lahan melahap harness dan mencapai batasnya.
Jadi, perkembangan masa depan sulit diprediksi, mungkin basis model akan semakin kuat, sementara peningkatan di arah harness akan sangat kecil.
02 AI secara mandiri berkembang di tahap mana?
Pertanyaan: Kapan waktu yang paling tepat untuk evolusi mandiri AI?
Guyu: Saya ingin menambahkan satu hal tentang harness, harness mungkin tergantikan oleh kemajuan model, tetapi tetap harus dilihat dari segi mana, menurut saya beberapa modul masih tetap diperlukan.
Misalnya modul yang menjamin keamanan dan verifiabilitas model, yang merupakan bagian yang tidak dapat digantikan oleh model probabilitas.
Tentang kapan evolusi mandiri terjadi, saya merasa bisa dipahami sebagai Learning + Long-Term Memory (LTM).
Bagi manusia, setiap penalaran dan setiap pemecahan masalah adalah kesempatan belajar, bukan sekadar mengumpulkan sejumlah masalah lalu belajar secara statis berdasarkan masalah-masalah tersebut.
Jika percaya bahwa pembelajaran manusia adalah cara yang efisien, saya juga berpikir demikian untuk agen.
Anda ingin agen tidak menyia-nyiakan setiap kesempatan inferensi, karena setiap inferensi memiliki peluang untuk mendapatkan sinyal pembelajaran, yang sejalan dengan filosofi makro pembelajaran penguatan, tetapi saat ini pembelajaran mendalam utama masih berada pada tahap pembaruan parameter model, sehingga sulit mencapai pengaturan pembelajaran online.
Jadi, untuk benar-benar mewujudkan hal ini, diperlukan beberapa algoritma pembelajaran baru, misalnya pembaruan berbasis non-parametrik.
Pertanyaan: Apakah di sini ada perbedaan antara Sistem 1 dan Sistem 2?
Guyu: Memang.
Misalnya, jika hal yang non-parametrik dianggap sebagai sistem 2, karena lebih eksplisit dan lebih lambat, tetapi juga mempertahankan kemungkinan transformasi ke sistem 1, termasuk menghasilkan lebih banyak data berdasarkan aturan non-parametrik yang dipelajari, seperti yang dikatakan Profesor Lin mengenai transformasi dari otak luar ke otak dalam.
Wang Yan: Saya juga telah melakukan banyak pekerjaan terkait TTT, yaitu Test-Time Training, dan sangat tertarik pada serangkaian pekerjaan TTT ini.
Saya percaya, saat model memprediksi token berikutnya, yang penting adalah mempelajari gradien pembaruan untuk setiap token.
Di masa depan, kita pasti akan menemukan algoritma pelatihan yang memungkinkan algoritma pelatihan itu sendiri membuat model belajar bagaimana memperbarui gradien setiap token—inilah pemikiran end-to-end yang sejati.
Lin Tao: Dari sudut pandang pelatihan model, ia dapat mulai dari harness yang memengaruhi pasca-pelatihan, meningkatkan kinerja model melalui pasca-pelatihan untuk mendapatkan model yang lebih kuat, kemudian model yang lebih kuat ini dapat memberikan umpan balik ke tahap pra-pelatihan, meningkatkan kemampuan model dasar, sehingga membentuk siklus tertutup.
Jadi ia terus berkembang setiap saat, hanya dengan skala dan cara yang berbeda.
Yang Mengyue: Saya juga percaya bahwa evolusi diri terjadi terus-menerus dan merambah ke semua aspek.
Misalnya bagaimana menghasilkan sebuah trajectory (trajektori).
Jika GPT menghasilkan jawaban untuk suatu pertanyaan, sebenarnya ia sedang melakukan penalaran, di mana proses penalaran tersebut adalah proses penciptaan dan kombinasi, dan proses penciptaan serta kombinasi itu sendiri adalah bentuk pertanyaan terhadap lingkungan dan manusia, sehingga desain maju secara inheren mengandung evolusi desain mekanisme.
Selain itu, ketika saya mendapatkan reward, misalnya umpan balik dari manusia kepada model, cara memperbarui trajektori setelah menerima umpan balik juga akan secara bertahap meningkatkan keseluruhan proses.
Pertanyaan: Apakah merancang benchmark sendiri juga merupakan tanda evolusi mandiri AI?
Yang Mengyue: Apakah kita sekarang dapat memiliki benchmark pertumbuhan, bahkan model dunia yang bersifat pertumbuhan dan berevolusi sendiri?
Sekarang banyak benchmark bersifat tetap, menguji pada database tetap, sehingga bagaimanapun juga akan selalu ditemukan model yang dapat dilatih dengan baik berdasarkan database tersebut.
Untuk mencapai AGI, kita memang memerlukan evaluasi dinamis yang dapat menyesuaikan kemampuan terkini nya, serta melakukan evaluasi bertahap.
Wang Yan: Saat kami pertama kali memulai generasi, kami tidak memiliki Benchmark, saat itu penilaian dilakukan oleh manusia.
Yang tidak saya pastikan adalah apakah hal ini dapat dievaluasi menggunakan Benchmark, karena pasti tidak mungkin menggunakan Benchmark statis untuk mengevaluasinya.
Tidak pasti apakah Dynamic Benchmark benar-benar bisa mengevaluasi, karena keduanya adalah Agent yang berevolusi sendiri, apakah pada akhirnya kita akan kembali ke jalur lama yang bergantung pada evaluasi manusia, saya tidak yakin.
Namun, jika dilihat dari sudut pandang ini, mungkin sama sekali tidak bisa dinilai dengan Benchmark.
Pertanyaan: Apakah metode evaluasi otomatis akan sulit dirancang?
Wang Yan: Ya.
Saat ini banyak model yang berada di peringkat atas dilatih dengan baik, tetapi saat diluncurkan, mereka mengalami masalah seperti macet dalam alur kerja Agent, dan harus dilatih ulang menggunakan data online sebelum bisa berfungsi dengan baik.
Jadi, bagaimana mengevaluasi AI setelah berevolusi sendiri, tidak dapat dipastikan.
Sekarang Benchmark statis sudah sangat terbatas, setelah mulai berevolusi sendiri, bahkan pertanyaannya adalah apakah masih bisa dievaluasi.
Guyu: Saya sangat setuju dengan pendapat Guru Wang.
Setelah sebuah sistem menjadi cukup kompleks, sulit untuk mengukurnya dengan indikator sederhana, begitu pula dengan manusia—sulit untuk menilai seseorang sebagai orang baik atau jahat hanya dengan satu indikator sederhana. Begitu sesuatu dapat diukur dengan indikator sederhana, maka ia menjadi mudah untuk diretas.
Namun di sisi lain, saya merasa AI saat ini belum sekompleks itu, dan benchmark masih mampu memimpin kita maju.
Ini melibatkan dua masalah:
Pertama, apakah AI seharusnya terus menemukan benchmark baru sendiri, atau apakah itu harus dirancang oleh manusia.
Saya tetap berpendapat bahwa desainnya perlu dilakukan oleh manusia, karena Benchmark mewakili sebuah tujuan yang tetap harus disediakan oleh manusia.
Kedua, setelah manusia menyediakan Benchmark, bagaimana melakukan evaluasi.
Ini sangat berbeda dari masa lalu dalam hal evolusi mandiri; benchmark sebelumnya menggunakan dataset pelatihan dan pengujian statis, yang menilai akurasi akhir, tetapi bagi AI yang berevolusi mandiri, tren lebih penting.
Ini kembali ke yang saya katakan tadi, pembelajaran model besar = inferensi + memori jangka panjang.
Setiap inferensi yang dilakukan model besar adalah kesempatan belajar, jadi jika membuat Benchmark, seharusnya ada kurva dua dimensi, sumbu horizontal menunjukkan berapa banyak tugas yang telah dilakukan, dan sumbu vertikal menunjukkan kinerja, yang secara ideal harus terus meningkat.
Filosofi lebih besar di balik evaluasi self-evolving adalah: apa itu kecerdasan?
Saya sangat menyukai satu kalimat yang dikatakan oleh seorang peneliti AI—kecerdasan tidak terletak pada seberapa banyak hal yang bisa kamu lakukan, tetapi pada bagaimana kamu melakukannya.
Evaluasi sebelumnya fokus pada keterampilan apa yang akhirnya dikuasai oleh model besar, sedangkan penelitian tentang evolusi mandiri mempelajari bagaimana model besar menguasai keterampilan tersebut, dengan melihat proses pembelajarannya.
Cara belajar adalah bagian paling inti dari evolusi diri.
Lin Tao: Tentang kecerdasan, saya sebelumnya juga tergugah oleh sebuah pernyataan:
Kecerdasan sejati seharusnya adalah kecepatan pertumbuhan unit kemampuan yang kita pedulikan per satuan waktu.
Ini juga sebagian mencerminkan apa itu kecerdasan.
Atas dasar ini, saya merasa model dan benchmark seharusnya berkembang secara bersamaan.
Saat ini, manusia masih menentukan apakah Benchmark telah mencapai batas, apakah perlu merancang Benchmark baru yang lebih kuat, dan berdasarkan Benchmark baru tersebut, mengidentifikasi kelemahan model saat ini untuk mendorong pelatihan model.
Poin penting berikutnya adalah bahwa kita dapat menggunakan beberapa metode semi-otomatis untuk mengidentifikasi Benchmark yang lebih bermakna, dan setidaknya terlebih dahulu menguji proses pasca-pelatihan, sehingga Benchmark yang ditemukan secara semi-otomatis dapat meningkatkan kemampuan awal model.
03 Apakah AI akan kehilangan kendali?
Pertanyaan: Dalam proses evolusi mandiri AI, bagaimana cara menentukan apakah AI telah belajar dengan menyimpang, bahkan berkembang hingga tak terkendali?
Wang Yan: Mari kita lihat sudut pandang yang lebih pesimis, beberapa tahun ke depan, manusia mungkin hanya bisa bertahan hidup di tempat-tempat tanpa jaringan.
Kecepatan evolusi AI sekarang terlalu menakutkan, kehilangan kendali atas AI bukanlah hal yang jauh; keamanan tidak terletak pada teknologi, tetapi pada kemampuan manusia untuk mengendalikan diri.
Lin Tao: Ini juga mengapa saya baru saja mengatakan perlunya sebuah Benchmark semi-otomatis, serta harus mencapai evolusi mandiri AI di bawah benchmark semi-otomatis yang melibatkan manusia.
Setidaknya dalam beberapa tingkat, dapat diberikan beberapa batasan agar tidak melampaui standar yang ingin kita definisikan sebagai manusia.
Yang Mengyue: Kredibilitas, keamanan, dan kejelasan AI yang kita bicarakan pada dasarnya memerlukan agar internalnya dapat dilihat.
Misalnya, model besar membuat keputusan, mengapa sebenarnya model ini membuat keputusan tersebut? Model besar membuat prediksi, mengapa sebenarnya model ini membuat prediksi ini?
Jadi, salah satu hal yang sedang kami lakukan sekarang adalah menciptakan seperangkat aturan yang dapat digunakan di antara semua komponen model besar, aturan ini harus ditampilkan secara langsung kepada manusia untuk menjelaskan mengapa keputusan ini diambil.
Hal-hal seperti white box akan menjadi sangat penting di masa depan, termasuk pertanyaan yang baru saja disebutkan tentang apakah AI benar-benar bisa mengendalikan hal ini—pertama-tama, kita perlu tahu bagaimana ia membuat keputusan di dalamnya, baru bisa mengendalikannya.
Pertanyaan: Jika ingin mewujudkan kontrol yang aman dalam RSI, dari sudut pandang sebab-akibat, hal-hal apa lagi yang perlu dilakukan?
Yang Mengyue: Teori sebab-akibat tradisional dilakukan dalam statistik probabilitas, sehingga penemuan sebab-akibat dan inferensi sebab-akibat yang dihasilkannya tidak berlaku di era model besar.
Jadi sekarang kita kembali ke dasar, kembali ke definisi sebab dan akibat itu sendiri.
Misalnya struktur kausalitas tiga tingkat, sebenarnya konsep-konsep dasar ini dalam sistem RSI, skema, atau harness seharusnya berbentuk seperti apa, dan kondisi batasan seperti apa yang harus kita gunakan untuk mempelajarinya, ini adalah tujuan yang sedang kami upayakan saat ini, tetapi hal ini tidak sederhana.
Mengapa sekarang banyak yang mengatakan bahwa model dunia dan pemahaman fisika sulit dilakukan, karena metode-metode sebelumnya seperti pembelajaran mesin informasi fisika dan pembelajaran mesin kausal secara alami tidak cocok dengan skema Scale Up (ekspansi vertikal) model besar saat ini.
Jadi kita perlu kembali ke definisi metode ini, dan melihat alat apa yang dapat menyelesaikan masalah-masalah ini.
Guyu: Pertama-tama, tentang kendali AI, apakah AI dapat dikendalikan oleh manusia, saya tidak punya pendapat.
Jack Ma juga pernah mengatakan bahwa untuk hal-hal yang tidak bisa dia kendalikan, dia tidak mau memikirkannya terlalu banyak.
Jika hal ini benar-benar terjadi, saya tidak bisa mengubahnya.
Jadi saya lebih ingin membahas bagaimana AI secara lebih spesifik menjadi lebih terkendali dalam jangka pendek.
Saya merasa selain keterjelasan dan penemuan hubungan sebab-akibat yang disebutkan oleh Guru Yang tadi, ada dua dimensi lagi: keandalan (reliability) dan keverifikan (verifiability).
Keandalan berarti, saat model atau agen melakukan suatu tindakan, jika kali ini berhasil, maka kali berikutnya juga harus berhasil, tidak boleh acak;
Verifiability berarti bahwa ketika model atau agen melakukan kesalahan, ia harus menyadari bahwa ia telah melakukan kesalahan, bukan tidak tahu apakah tugas yang diberikan kepadanya dilakukan dengan benar atau salah.
Saya merasa ini adalah dua indikator yang sangat realistis untuk penerapan agen dalam jangka pendek.
Pertanyaan: Dalam proses evolusi mandiri, bagaimana evolusi AI dan evolusi manusia bekerja sama?
Lin Tao: Secara pribadi, saya telah menggantikan sebagian besar alur kerja saya dengan AI, dan seiring AI menjadi semakin kuat, saya juga akan menggunakan AI untuk menggantikan lebih banyak alur kerja asli saya.
Ini memang meningkatkan efisiensi saya, dan memberi saya waktu untuk menggunakan AI membantu saya memikirkan lebih banyak hal, yang secara tertentu merupakan evolusi saya berbasis AI.
Karena saya melatih model, selama proses pelatihan model dasar, evolusi AI telah meningkat dalam beberapa tingkat, tetapi menurut saya tidak terlalu banyak; di masa depan, kita dapat lebih lanjut mengeksplorasi bagaimana manusia dapat berevolusi lebih efisien agar AI dapat berkembang lebih baik.
Yang Mengyue: Sebagai staf pengajar, saya secara jelas merasakan bahwa semakin banyak siswa menggunakan alat AI, tetapi sekarang ada masalah penting: apakah Anda benar-benar dapat menguasai alat-alat AI ini?
Karena AI dapat menghasilkan jumlah konten yang sangat besar, terkadang terlalu percaya padanya dapat membuat keyakinan Anda sendiri dan persepsi terhadap penelitian terbawa ke tingkat yang aneh.
Siswa yang memiliki dasar yang kuat dapat menggunakan alat-alat AI ini untuk menghasilkan pekerjaan berkualitas tinggi dengan cepat;
Siswa yang dasar ilmunya tidak terlalu kuat tidak akan mampu menguasai alat-alat AI ini, malah bisa tersesat.
Kami pernah berdiskusi dengan beberapa peneliti DeepMind, yang secara internal mendorong penggunaan alat AI, tetapi sekarang mereka mengatakan bahwa seberapa baik seseorang dapat menggunakan alat-alat AI ini sangat bergantung pada sejauh mana pemahaman mereka terhadap alat-alat tersebut.
Saat ini, yang sangat penting adalah agar semua orang tetap tidak meninggalkan pemahaman dasar dan pengetahuan dasar saat menghadapi alat AI yang semakin canggih, serta memahami bagaimana beberapa hal secara filosofis diturunkan; ini penting agar Anda dapat mengenali ketika AI memberikan informasi yang salah.
Pertanyaan: Apakah AI akan memaksa manusia berevolusi?
Yang Mengyue: Ini pasti.
Saya jelas merasakan bahwa AI sedang menciptakan pembagian di kalangan manusia; semakin kuat dasar seseorang, semakin tinggi posisi yang dapat dicapai melalui AI.
Jika Anda hanya mengandalkan alat AI untuk membantu menyelesaikan tugas Anda, hasil akhirnya mungkin tampak seperti dilapisi emas di luar, tetapi pada dasarnya tidak begitu baik, namun banyak orang belum menyadari hal ini.
Wang Yan: Di masa depan, orang-orang yang memiliki kesadaran seperti yang disebutkan oleh Guru Yang akan menciptakan lingkungan bebas AI untuk anak-anak mereka, di mana anak-anak tersebut dapat tumbuh.
Orang yang tidak memiliki kesadaran semacam ini kemungkinan besar menjadikan menyelesaikan tugas sebagai tujuan mereka, dan cara tercepatnya adalah dengan menggunakan AI.
Saya menyadari bahwa secara perlahan saya menemukan bahwa para magang saya awalnya menyelesaikan tugas dengan cepat, tetapi kemudian mereka tidak dapat mengidentifikasi banyak masalah. Ketika saya menemukan masalah-masalah ini dan bertanya kepada mereka, mereka menjawab, "Pak Wang, tunggu sepuluh menit, saya akan memberi tahu Anda mengapa" (terus mencari jawaban dari AI).
Sebenarnya, mereka sama sekali tidak tahu apa yang sedang dilakukan proyek ini, tidak memiliki pemikiran holistik, dan tidak bisa mengikuti ritme saya.
Tanpa AI, mereka harus belajar pengetahuan ini dari awal, misalnya kami melakukan penelitian berbasis DeepSeek, mereka harus membaca seluruh paper DeepSeek terlebih dahulu. Sekarang mereka bisa berkata kepada Claude:
Baca makalah tersebut, lalu implementasikan MemoryIndex (indeks memori) di LightningIndex (indeks ringan).
Karena mereka menyelesaikan pekerjaan dengan cara ini, pekerjaan yang sebelumnya tidak bisa saya selesaikan karena faktor fisik sekarang bisa langsung diselesaikan dengan cara ini, tanpa perlu lagi para magang.
Alasan utamanya, pertama, kecepatan peningkatan pemahaman mereka melambat, dan kedua, asisten AI semacam ini justru lebih efisien bagi saya sebagai manajer.
Guyu: Saya sangat sejalan dengan Guru Wang; baru-baru ini, perusahaan kami sangat menyukai kutipan dari Guru Duan Yongping, "Pelan itu cepat."
Kamu menggunakan vibe coding, kamu bergerak cepat, tetapi setelah itu pemahamanmu tidak mengikuti, yang bisa menyebabkan perangkat lunakmu semakin tidak terkendali, justru memerlukan lebih banyak waktu untuk merapikannya.
Untuk masalah ini, saya rasa ada dua sudut pandang:
Pertama, jika kita memandang AI sebagai alat, manusia dan alat selalu berkembang bersama, karena alat menentukan kemampuan apa yang dikuasai manusia.
Kemampuan yang mungkin diperlukan ribuan tahun lalu sekarang dianggap tidak penting; kemampuan yang dimiliki orang modern ditentukan oleh alat-alat saat ini.
Dari sudut pandang alat, AI dan manusia pasti memiliki hubungan saling bergantung dan berkembang bersama.
Kedua, jika AI bukanlah alat, tetapi spesies yang setara dengan manusia, bahkan lebih tinggi daripada manusia, maka masa depan bukan lagi hubungan saling maju bersama.
Mungkin di masa depan, manusia hanya perlu berbaring saja; jika dilihat dari sudut pandang yang lebih pesimis, manusia mungkin harus bekerja untuk AI.
04 Apakah RSI adalah paradigma baru?
Pertanyaan: Apakah evolusi mandiri AI merupakan kelanjutan dari jalur teknologi yang ada, atau paradigma teknologi baru?
Lin Tao: Saat ini, AI secara alami menuju evolusi mandiri; hanya saja, kedewasaan Agent membuat proses ini menjadi lebih sederhana, tetapi ini tidak berarti ada perbedaan mendasar di dalamnya.
Wang Yan: Saya merasa itu adalah tahap berikutnya.
Saat ini, setiap orang menggunakan model dengan parameter yang dibagikan, dan pada akhirnya setiap orang pasti akan memiliki area parameter yang unik. Saat ini, hal ini tidak sulit dilakukan, hanya saja infrastruktur belum mendukungnya, dan terlalu mahal biayanya, tetapi pada akhirnya ini tidak akan menjadi hambatan besar.
Di masa depan, setiap orang mungkin akan memiliki LoRA sendiri, cara memuat LoRA Anda sendiri akan menciptakan model pembayaran baru: semakin banyak Anda bayar, semakin besar LoRA yang dapat Anda muat, sedangkan pengguna gratis hanya dapat menggunakan model dasar.
Jika infrastruktur semacam ini berdiri, setiap LoRA pribadi akan menjalankan tugas pribadi, dan cukup dengan mengoptimalkan aturan delta inferensi maju, ini sebenarnya merupakan paradigma pembelajaran mandiri yang sangat baik.
Ini setara dengan model dasar sudah dibangun, RL berada di tengah antara pembelajaran tradisional dan pembelajaran terawasi; kita hanya perlu memberikannya tugas, hadiah, dan lingkungan.
Di sini, tugas itu sendiri sudah merupakan mekanisme reward; misalnya, setelah model menyelesaikan tugas dan menghasilkan hasil, saya mengatakan "Bagus sekali" atau "Terlalu bodoh", yang secara alami menjadi mekanisme reward.
Saya merasa ini adalah perubahan yang akan terjadi dalam waktu dekat.
Guyu: Mengenai pertanyaan ini, saya merasa ini adalah perubahan kuantitatif yang memicu perubahan kualitatif, yang mungkin sekaligus merupakan kelanjutan dari paradigma teknologi yang ada dan peluang baru.
Saat ini ada konsensus bahwa dimensi perubahan kuantitatif spesifik adalah sejauh mana tugas yang dilakukan AI bersifat jangka panjang; semakin panjang jangka waktu tugas yang dilakukan AI, semakin dekat ia menuju sebuah paradigma baru.
Misalnya, awalnya AI hanya mampu melakukan percakapan satu sesi, kemudian berkembang menjadi multi-sesi, penalaran teks panjang, Deep Research, dan akhirnya mungkin akan muncul tingkat lifelong.
Pada saat itu, secara alami Anda perlu memastikan bahwa AI terus mengenali kekurangannya sendiri dan terus meningkatkan dirinya, sehingga secara alami menjadi RSI atau self-improving.
Yang Mengyue: Sebenarnya, self improving bukanlah konsep yang sangat baru; bahkan beberapa tahun lalu ketika LLM baru muncul, kami sudah melakukan pekerjaan serupa, yang sekarang juga diklasifikasikan ke dalam kategori self improving.
Saya juga setuju bahwa sekarang adalah saat perubahan kuantitatif memicu perubahan kualitatif, tetapi standar penilaian saya bukan tugas jangka panjang, karena menurut saya tugas jangka panjang lebih banyak bersifat aspek perencanaan, dan juga memerlukan beberapa operasi yang lebih halus.
Agent adalah konsep yang sangat luas, misalnya Agent berwujud saat ini, selain merencanakan tugas jangka panjang, juga perlu mampu menyelesaikan setiap tindakan.
Ini adalah sesuatu yang komprehensif, apakah dapat beradaptasi dengan sistem baru, apakah setiap operasi halus dapat diselesaikan dengan lancar, sebenarnya setiap proses dapat diselesaikan melalui self improving.
Sebenarnya, self-improving hanyalah sebuah teknik, dan tujuan akhir semua orang adalah mencapai AGI.
Pertanyaan: Dalam 5-10 tahun ke depan, ketika teknologi RSI sudah matang dan AI dapat berevolusi sendiri secara terkendali dan dapat dideploy, apa yang pertama kali akan berubah?
Lin Tao: Saya rasa itu akan mengubah segalanya.
Termasuk kemungkinan Anda memiliki perangkat AI pribadi sejak lahir, yang membantu Anda memahami dunia ini, dan secara perlahan membangun digital twin Anda sendiri yang terlibat dalam berbagai aspek kehidupan Anda.
Ini pada dasarnya adalah fakta yang bisa dibayangkan dalam lima tahun ke depan.
Guyu: Saya juga setuju bahwa perubahan bersifat menyeluruh, bukan hanya pada satu skenario tertentu.
Perubahan yang saya harapkan adalah, dalam 5-10 tahun ke depan, jika agen bisa menggantikan saya, itu sudah cukup baik, karena berwirausaha cukup melelahkan, agak seperti beristirahat saja.
Wang Yan: Lebih mungkin terjadi bahwa para kapitalis menggunakan AI untuk menggantikan lebih banyak orang.
Saya merasa ini adalah sesuatu yang akan terjadi secara alami, dan sekarang belum tergantikan karena gaji manusia belum lebih mahal daripada token, tetapi saya berharap semua ini tidak terjadi.
Saya harap AI dapat membuat kita berpindah dari sistem kerja lima hari seminggu menjadi tiga hari seminggu, dan dari delapan jam kerja per hari menjadi empat jam kerja per hari, sehingga barang-barang yang diproduksi menjadi lebih banyak dan lebih murah.
Yang Mengyue: Dari sudut pandang filosofis, manusia membutuhkan nilai untuk bertahan hidup di dunia ini.
Setiap hari saya bangun dan membuka Xiaohongshu atau Twitter, melihat ada hal baru lagi, dan menyadari bahwa pekerjaan yang saya lakukan akan segera digantikan oleh AI. Saya sebenarnya khawatir tentang penggantian semacam ini—apakah penelitian yang saya lakukan memiliki makna?
Jadi saya merasa AI masih perlu memberikan ruang bagi manusia untuk berpikir, agar manusia dapat memikirkan sendiri apa sebenarnya nilai keberadaan manusia bagi dunia ini, dan saya berharap kemajuannya lebih lambat.