Startup AI di Silicon Valley Berubah Seiring Perkembangan Model Pengeluaran dan Manajemen Token

Insinyur AI dari Silicon Valley, Ma Peiyuan, berdasarkan pengamatan industri selama lebih dari empat tahun, mengidentifikasi sepuluh perubahan signifikan saat ini: rekrutmen talenta berpindah dari spesialis ke generalis, kemampuan menggunakan alat AI dapat melampaui tingkat pengalaman; struktur organisasi cenderung datar, manajer perlu memiliki kemampuan teknis, peran people manager sedang menghilang; penggunaan Token berpindah dari pengejaran kuantitas semata menjadi fokus pada efisiensi, perusahaan besar mulai menghitung ulang; pemujaan terhadap model dihapuskan, Silicon Valley kini sedang populer dengan menggabungkan dan mengoordinasikan beberapa model murah dan unggul; infrastruktur AI baru sedang muncul, agen AI vertikal tetap memiliki nilai investasi karena mampu menyelesaikan masalah nyata yang “tidak dapat dilatih”. Ma Peiyuan menekankan bahwa dalam bidang AI, satu tahun adalah periode yang sangat panjang, dan sebagian besar penilaian mungkin sudah dibantah dalam waktu satu bulan.

Penulis artikel, sumber: 36kr

Semua konsensus segera kedaluwarsa

Semua orang mencoba membentuk penilaian tentang AI, tetapi semua konsensus cepat menjadi usang.

Wawancara | Ba Rui, Angin Laut

Oleh | Hai Feng, Liu Sijie

Diedit | Liu Sijie

Sumber gambar sampul | Dijepret oleh narasumber

Tahap pertumbuhan liar telah berlalu.

Ini adalah perasaan paling mendalam yang baru-baru ini dirasakan oleh Ma Peiyuan yang berada di garis depan startup AI di Silicon Valley.

Pada Desember 2021, setelah lulus sarjana, ia bergabung dengan Quora, yang disebut sebagai "Quora versi Amerika", kemudian pindah ke platform agregasi chatbot AI Poe, sebagai Senior AI Engineer. Dua bulan lalu, ia bergabung dengan perusahaan startup AI Agent paling populer di Silicon Valley, Cognition.

Pada Mei 2026, perusahaan yang berdiri kurang dari tiga tahun ini mengumumkan telah menyelesaikan pendanaan lebih dari 1 miliar dolar AS, dengan valuasi naik menjadi 26 miliar dolar AS. Delapan bulan lalu, valuasinya masih 10,2 miliar dolar AS.

Selain sebagai insinyur, Ma Peiyuan juga memiliki identitas lain—venture scout. Ia mencari proyek startup AI yang layak untuk diinvestasikan bagi lembaga investasi, dengan anggaran investasi tahunan sebesar 500.000 dolar AS.

Dalam lebih dari empat tahun setelah lulus, ia tampaknya selalu bertindak lebih awal daripada konsensus industri AI. Sebelum kata “agent” didefinisikan dengan jelas oleh siapa pun, timnya telah diam-diam meluncurkan proyek tersebut. Saat Anthropic masih belum dikenal, mereka sudah menjadi pengguna mendalam pertama Claude. Ia adalah insinyur bersertifikat AI pertama di tim, insinyur AI agent pertama, dan kemudian berhasil “mengubah pola pikir” seluruh tim teknik menjadi tim AI Native yang menggunakan AI untuk pemrograman.

Pembuktian paling menarik atas kesadaran dan tindakan yang maju ini terjadi dua minggu lalu, ketika ia secara spontan mengatakan “people manager sedang punah” selama wawancara dengan “Laboratorium Manusia Masa Depan”, dan tak lama kemudian berita tentang Tencent dan ByteDance yang menghapus posisi menengah membenarkan pernyataannya.

Perubahan terjadi terlalu cepat, di Silicon Valley, Anda harus selalu hidup berdampingan dengan perubahan.

Dalam jeda dua minggu antara dua wawancara dalam artikel ini, Ma Peiyuan menyadari bahwa logika yang pernah ia sampaikan sebelumnya tentang “mengikuti model paling mahal dan paling mutakhir” di Silicon Valley mulai kehilangan dasarnya. Saat ini, praktik yang populer di Silicon Valley adalah menggabungkan dan mengoordinasikan beberapa model murah dengan model unggulan.

Saya berbicara dengan Ma Peiyuan selama hampir lima jam, dan kami menyadari bahwa hampir sepanjang waktu ia terus menyangkal dirinya sendiri dari kemarin, begitu pula di Silicon Valley. "Saya tidak bisa mengatakan semuanya, tetapi mungkin lebih dari 60%, sebulan kemudian mungkin justru berlawanan."

Dalam beberapa tahun terakhir, AI hampir menulis ulang semua aturan baku di Silicon Valley: orang seperti apa yang lebih mudah menonjol, organisasi seperti apa yang lebih kompetitif, dan uang seperti apa yang dihabiskan dengan tepat.

Tentu, penilaian terhadap apa yang disebut "jawaban benar" juga cepat menjadi tidak berlaku. Di bidang AI, satu tahun sudah merupakan periode yang panjang, dan banyak penilaian mungkin sudah dibantah dalam waktu satu bulan.

Berikut adalah 10 pengamatan AI di Silicon Valley yang sangat relevan menurut Ma Peiyuan:

Ma Peiyuan

Gambar profesional Ma Peiyuan sangat sesuai dengan profil karyawan yang paling disukai oleh perusahaan AI di Silicon Valley. Ia bukan latar belakang komputer tradisional, tidak memenangkan medali emas kompetisi, tidak memiliki aura dari universitas top, bahkan pernah sama sekali tidak tertarik pada komputer. Namun, dalam empat tahun terakhir, ia berpindah dari tim iklan Quora hingga menjadi insinyur AI di Cognition, dan riwayat karirnya menyentuh setiap kata kunci yang saat ini paling diinginkan oleh perusahaan AI di Silicon Valley. Pengalamannya bukan hanya sejarah pertumbuhan pribadi, tetapi juga contoh perubahan standar rekrutmen industri.

Observasi 1: Generalis mengalahkan spesialis

Gambaran talenta paling dicari di Silicon Valley saat ini bukanlah pakar yang paling mendalam di satu bidang, melainkan orang yang "semuanya cukup baik, tanpa kelemahan jelas"—dalam industri ini disebut polyglot talent, atau lebih sederhananya, "pejuang enam sisi".

Pada tahun 2024, Poe secara internal meluncurkan proyek "agent" yang pada saat itu belum ada yang bisa menjelaskan definisinya dengan jelas. Alasan tim memilih saya, seorang baru, sangat langsung: "Saya pernah bekerja di AI, juga pengembangan full-stack dan iOS." Pada saat itu, kebanyakan anggota tim lainnya berasal dari latar belakang machine learning tradisional, pencarian, periklanan, dan rekomendasi; mereka tidak memahami kode frontend, sementara agent justru membutuhkan kemampuan menulis antarmuka frontend. Setelah orang yang sebelumnya bertanggung jawab atas rekayasa prompt AI di perusahaan tersebut mengundurkan diri, tidak ada lagi orang di tim yang bisa mengisi kekosongan ini. Untungnya, saya belajar cepat—jadi saya mengerjakan rekayasa prompt untuk agent ini sekaligus menulis kode frontend-nya.

Kombinasi kemampuan "sedikit-sedikit tahu semua" ini kemudian menjadi modal paling berharga saya saat mencari pekerjaan. Jika Anda memberi saya bidang baru apa pun, saya bisa mempelajarinya hampir sepenuhnya dalam dua minggu. Dan inilah jenis orang yang dibutuhkan perusahaan rintisan awal.

Observasi 2: Keterampilan native AI dapat mengalahkan pengalaman bertahun-tahun dalam waktu singkat

Kemampuan menggunakan alat AI secara langsung dapat mengalahkan kualifikasi yang dibangun hanya berdasarkan tahun pengalaman.

Saat saya berpindah dari tim iklan Quora ke tim iOS, alasan saya adalah "ingin keluar dari zona nyaman," tetapi pada saat itu saya sama sekali tidak mengerti iOS, benar-benar "berpengalaman 0 tahun." Saya tidak memilih untuk perlahan-lahan belajar, melainkan menjadikan GPT-4 sebagai rekan kerja saya. Orang-orang di sekitar saya adalah insinyur iOS yang sangat berpengalaman, dan mungkin mereka tidak percaya pada AI. Saya tidak bisa menulis kode iOS, tidak bisa menulis kode Swift, jadi saya terus-menerus meminta AI untuk membantu menulis kode.

Hasilnya, saya yang baru masuk industri selama tiga hingga empat bulan mampu menghasilkan output secepat bahkan lebih cepat daripada insinyur senior yang sudah lama bekerja di sekitar saya, dan dalam dua tahun sudah mencapai posisi senior. Ini adalah kecepatan yang hampir tidak mungkin dalam sistem promosi tradisional. Sebelumnya, di Facebook, Anda setidaknya memerlukan 4 hingga 6 tahun untuk menjadi insinyur senior. Di Google, beberapa orang mungkin tidak pernah naik ke posisi insinyur senior seumur hidup mereka.

Saya pernah bertemu seorang pewawancara berusia 19 tahun di Cognition. Awalnya saya sedikit kecewa, seorang pria berusia 26 tahun di“tanya-tanya” oleh seseorang yang berusia 19 tahun, dan banyak pertanyaan yang tidak bisa saya jawab. Namun kemudian saya menyadari bahwa ini justru merupakan tanda bahwa perusahaan ini benar-benar mampu merekrut bakat tanpa memandang latar belakang, dan usia bukan lagi standar penilaian bakat di Silicon Valley.

Observasi 3: Kriteria rekrutmen ditulis ulang sepenuhnya, perusahaan AI tidak menggunakan template yang sama untuk wawancara

Sebelum saya meninggalkan Quora, saya secara serius mewawancarai hampir 20 perusahaan, dan jika termasuk yang pernah saya hubungi melalui telepon, ada sekitar 30 hingga 40 perusahaan. Pada puncaknya, saya didekati oleh lebih dari 30 perekrut dalam satu minggu.

Setelah mewawancarai banyak perusahaan, saya menyadari bahwa perusahaan AI saat ini tidak memiliki template wawancara yang seragam.

Namun, ada beberapa perubahan yang jelas, pentingnya soal algoritma gaya LeetCode sedang menurun, dan jawaban terbaik tentang desain sistem AI berubah setiap bulan.

Struktur wawancara juga berubah. Ujian tertulis daring ditambah work trial menjadi kombinasi baru. Work trial adalah masa percobaan wawancara yang sangat singkat. Ada yang 3 jam, ada yang 5 jam, paling lama hanya satu atau dua hari. Dalam satu wawancara yang saya alami, saya langsung diberikan repositori kode, dan diminta menggunakan alat apa pun, termasuk AI, untuk menyelesaikan masalah nyata. Setelah selesai, saya harus mempresentasikan pendekatan dan hasilnya. Seluruh proses ini sudah sangat mirip dengan pekerjaan nyata.

Yang lebih menarik, penilaian penggunaan AI sendiri dibagi menjadi dua mode. Beberapa sesi mengharuskan penggunaan AI, melihat bagaimana Anda “by code”; namun ada juga sesi yang secara jelas melarang penggunaan AI, seperti debug, yang menguji apakah Anda dapat menemukan kesalahan tanpa bantuan AI, pada dasarnya menguji seberapa tinggi tingkat dan selera teknik perangkat lunak pribadi Anda.

Wawancara itu sendiri juga sangat beragam. Misalnya, beberapa perusahaan meminta saya untuk melakukan analisis bisnis, menilai industri mana yang sebaiknya mereka akuisisi.

Sesi wawancara perilaku juga berubah. Ini bukan lagi pertanyaan tradisional seperti "kelemahan dan kelebihan terbesar Anda" atau "bagaimana menyelesaikan konflik dengan rekan kerja", tetapi memperluas garis waktu untuk melihat jejak pertumbuhan seseorang, dari SMA hingga kuliah, dari magang hingga bekerja, terus ditelusuri untuk melihat "gradien hidup" Anda, dan menilai apakah Anda adalah orang yang mampu tumbuh secara eksponensial.

Salah satu manfaat tak terduga dari tidak adanya jawaban standar adalah: tidak ada yang bisa mendapatkan tawaran kerja hanya dengan menghafal soal. Bahkan rekan saya di Cognition langsung mengatakan: “Jangan persiapkan apa-apa, menurutku tidak ada yang perlu dipersiapkan.”

Di Silicon Valley, orang-orang terbaik tidak pernah menjadi milik perusahaan tertentu, tetapi hanya milik "perusahaan terbaik di era tersebut". Dua puluh tahun lalu adalah Google, sepuluh tahun lalu adalah Uber dan Robinhood, lima tahun lalu adalah Coinbase, sekarang adalah perusahaan AI. Silicon Valley adalah "piring perak yang mengalir, tentara yang tak tergoyahkan." Orang-orang berbakat yang terpilih oleh standar baru ini akan tetap bertahan karena misi, bukan karena "tunjangan." Organisasi-organisasi yang berkumpulnya orang-orang terbaik ini juga mengalami perubahan besar akibat重塑 AI.

Observation 4: Terlalu bersemangat terhadap "AI-native"

Perusahaan-perusahaan di Silicon Valley memiliki permintaan yang jauh lebih besar terhadap AI native daripada yang saya bayangkan. Perusahaan yang saya wawancarai sebagian besar berada di putaran A dan B, serta beberapa di putaran seed. Pertanyaan yang sangat sering diajukan adalah: "Alat AI apa yang kamu gunakan?" Saya biasanya langsung memberikan blog yang saya tulis, dan hampir selalu membuat mereka terkesiap.

Mereka akan mengatakan, tidak hanya ingin saya mengembangkan aplikasi AI, tetapi juga mendorong transformasi AI di dalam perusahaan, sehingga tim menjadi lebih native terhadap AI. Banyak perusahaan sebenarnya sudah mengembangkan produk AI, tetapi karyawan belum membangun alur kerja AI mereka sendiri. Selain itu, mereka juga sangat membutuhkan seseorang yang setiap hari menghabiskan waktu lama di Twitter, serta secara cepat membagikan temuan AI baru atau trik peningkatan efisiensi.

Hal ini agak tidak intuitif bagi saya. Beberapa "hobi" saya di masa lalu, seperti mencoba alat-alat baru setiap hari seperti Claude Code dan berbagi penggunaan AI di Slack, justru berubah menjadi peran organisasi baru.

Sebelumnya di Quora, saya berhasil membuat seluruh tim teknik menggunakan Claude Code. Setiap kali bertemu seorang insinyur di kantor, saya selalu bertanya, "Apakah kamu menggunakan AI untuk pemrograman?" Saya ingat ada seorang insinyur keamanan siber yang awalnya sangat menolak, merasa menggunakan AI untuk menulis kode terlalu berisiko. Saya kemudian memintanya untuk mengubah perspektifnya: jangan menulis kode, tapi gunakan AI hanya untuk membaca kode, memahami basis kode, dan melakukan analisis data. Akhirnya, dia benar-benar mulai menggunakannya.

Observasi 5: "Menggunakan AI dengan lebih baik" pada dasarnya adalah masalah transformasi organisasi

Saat bekerja dengan AI di Cognition, saya semakin menyadari satu fakta: menggunakan AI dengan lebih baik mungkin sudah bukan lagi masalah teknis semata, melainkan masalah transformasi struktur organisasi.

Sebagai contoh, di perusahaan internet dengan struktur organisasi tradisional, sebuah bug dari penemuan hingga perbaikan seringkali harus melewati beberapa tahap, seperti evaluasi kebutuhan, penjadwalan teknis, pengembangan, pengujian, dan peluncuran. Namun, dengan menggunakan AI untuk menulis kode secara langsung, prosesnya mungkin hanya membutuhkan dua hingga tiga jam, tetapi seluruh proses ini seringkali memakan waktu sebulan.

Dulu, proses semacam ini masuk akal. Karena memperbaiki satu bug, seorang insinyur mungkin membutuhkan waktu tiga hingga lima hari, dan nilai proses ini terletak pada koordinasi antar tim serta alokasi sumber daya. Namun, AI telah memperpendek waktu tersebut.

Sekarang, dengan produk insinyur perangkat lunak AI seperti Devin yang diperkenalkan oleh Cognition, kita dapat menyelesaikan pekerjaan yang dulu memakan waktu beberapa hari dalam hanya dua atau tiga jam. Di Cognition, kami bahkan dapat menggunakan Devin untuk mengidentifikasi orang yang bertanggung jawab atas bug ini, lalu meminta Devin membantu orang tersebut menyelesaikan perbaikan—banyak langkah koordinasi dan transisi antar tim dapat dihilangkan tanpa ada redundansi. Sebenarnya, AI sedang mendorong transformasi keseluruhan struktur organisasi.

Observasi 6: Manajer orang sedang punah, manajer harus bisa menulis kode sendiri

Yang dimaksud dengan people manager adalah engineering manager. Dalam beberapa tahun terakhir di Amerika Serikat, muncul pandangan populer bahwa sebagai seorang manajer, Anda harus fokus pada manajemen—lebih banyak bertanggung jawab atas koordinasi tim, komunikasi organisasi, perhatian terhadap emosi karyawan, dan dukungan pengembangan, tanpa perlu memiliki kemampuan teknis yang sangat kuat.

Namun, ketika masuk ke Cognition, saya menemukan seluruh struktur organisasinya sangat datar. Misalnya, atasan langsung saya bahkan adalah CPO, salah satu pendiri bersama. Ia tidak akan memperhatikan perkembangan pribadi Anda secara mendetail, perannya lebih seperti menentukan arah besar. Bahkan bisa dikatakan, di tim teknik Cognition yang kini berjumlah lebih dari 60 orang, hanya ada satu orang yang benar-benar menjabat sebagai people manager; yang lainnya, termasuk CPO, semuanya “mengelola orang sekaligus menulis kode”. Ini sangat berbeda dengan pengalaman saya sebelumnya di Quora. Saat itu, seorang manager mungkin harus mengelola lima hingga enam insinyur.

Tim Cognition memakai pakaian merah secara kolektif untuk merayakan ulang tahun rekan yang biasa memakai pakaian merah.

Saya rasa ini mungkin perubahan struktur organisasi yang dibawa oleh AI. Saya mengamati bahwa setiap perusahaan rintisan AI yang penuh semangat sebenarnya begitu—hampir tidak ada manajer yang hanya bertanggung jawab mengelola orang—jika ia mengelola orang, ia pasti juga sangat ahli secara teknis.

Penilaian ini tidak hanya terjadi di Silicon Valley; dalam dua wawancara yang berjarak dua minggu, perusahaan besar domestik Tencent dan ByteDance juga secara berturut-turut mengumumkan penghapusan jabatan menengah.

Perubahan yang diamati Ma Peiyuan tidak hanya berhenti pada tingkat organisasi. Penilaian industri yang lebih makro: "Di dalam perusahaan AI di Silicon Valley, pengeluaran Token seperti apa yang dianggap wajar, dan model seperti apa yang disebut model yang baik?" juga sedang dihapus dengan kecepatan yang terlihat jelas. Kali ini, bahkan penilaian yang pernah ia sampaikan dalam wawancara pertamanya pun tidak bertahan lebih dari dua minggu.

Industri AI di Silicon Valley sendiri juga terus saling menggantikan dalam hitungan bulan bahkan hari, tidak ada penilaian yang bisa tetap segar terlalu lama.

Observation 7: Token Maxxing mengalami diferensiasi, perusahaan besar mulai kembali memperhatikan efisiensi

Awal tahun ini, "Token-Maxxing" sempat populer di Silicon Valley. Perusahaan seperti Meta bahkan pernah membuat peringkat penggunaan Token. Siapa yang paling banyak menggunakannya, dialah yang dianggap sebagai perwakilan "AI-natif". Saya merasa hal ini pertama-tama sangat bodoh—jumlah penggunaan token AI tidak bisa disamakan dengan efisiensi insinyur.

Teman-teman dari Google dan Meta juga memberi tahu saya bahwa pada saat itu mereka semua sedang melakukan "Lompatan Besar AI". Perusahaan secara khusus mengadakan "Minggu AI", di mana semua orang harus menghentikan pekerjaan mereka dan menulis Keterampilan AI, serta memperindah keterampilan mereka sendiri seolah-olah itu luar biasa.

Pada awalnya, hampir semua perusahaan mengikuti pendekatan ini: pertama-tama, dorong sebanyak mungkin orang untuk menggunakan AI, dan lihat sejauh mana AI bisa dimanfaatkan.

Namun, sekali menjadi peringkat publik, perilaku manusia akan terdistorsi. Insinyur akan menggunakan sesuatu hanya demi “penggunaan tinggi”, bahkan muncul situasi yang sangat absurd, seperti memerintahkan AI untuk berjalan acak setiap malam atau menjalankan tugas-tugas tanpa makna hanya untuk meningkatkan jumlah penggunaan. Ini sebenarnya sama seperti menggunakan GPA untuk mengukur kemampuan siswa—indikator tunggal mudah menjadi tidak akurat.

Kemudian, banyak para eksekutif tingkat tinggi juga mulai menyadari masalah ini. Lebih spesifik lagi, mereka terkejut dengan tagihan. Misalnya, Uber, anggaran khusus AI untuk seluruh tahun 2026, hampir habis dalam empat bulan pertama. Banyak perusahaan besar mulai membatasi kembali penggunaan token. Dewan direksi dan CEO akan mulai bertanya, apakah penggunaan token ini benar-benar sepadan? Apakah benar-benar dapat meningkatkan efisiensi kami sebanyak ini? Apakah pengeluaran satu miliar dolar AS benar-benar menghasilkan output senilai satu miliar dolar AS?

Kekhawatiran ini dengan cepat diubah oleh Cognition menjadi jawaban bisnis yang dapat dinilai secara jelas. Pada 4 Juni, Cognition meluncurkan "Jaminan Produktivitas AI"—jika klien perusahaan menggunakan Devin (produk insinyur perangkat lunak AI yang diperkenalkan oleh Cognition) tetapi peningkatan efisiensi tidak mencapai tingkat yang dijanjikan, kompensasi maksimal mencapai 10 juta dolar AS. Peneliti yang melakukan studi ini adalah rekan saya yang pernah memenangkan tiga medali emas di Olimpiade Informatika Internasional; ia meneliti 233 kasus klien nyata, mengambil secara acak percakapan antara klien dan Devin, lalu bertanya kepada klien, "Jika tidak menggunakan Devin, berapa lama waktu yang dibutuhkan untuk menyelesaikan pekerjaan ini secara manual?" Data tersebut kemudian digunakan untuk melatih sistem prediksi yang mengubah setiap percakapan Devin langsung menjadi "jam insinyur setara", dan menggunakan upah per jam insinyur untuk menghitung berapa banyak biaya yang berhasil dihemat oleh produk ini.

Namun, banyak perusahaan YC mungkin masih akan melanjutkan model "token maxxing", karena mereka memiliki kuota token gratis yang banyak dengan berbagai insentif kebijakan, ditambah skala kecil, mungkin hanya terdiri dari tiga orang, sehingga tidak ada masalah tata kelola AI; manajer dapat langsung melihat apakah setiap orang benar-benar menggunakan AI untuk menghindari kerja.

Observasi 8: Kultus terhadap model sendiri juga sedang digulingkan

Dalam jangka waktu dua minggu di antara dua wawancara dalam artikel ini, saya menyadari bahwa argumen yang saya sampaikan sebelumnya mulai tidak lagi tepat.

Dua minggu lalu, saya masih membahas model mana yang paling mutakhir saat ini. Sekarang, Cognition baru saja merilis fitur tanpa nama terjemahan bahasa Mandarin, kode namanya fusion mode—menggabungkan dan mengatur penggunaan beberapa model murah bersama model terkemuka, bukan sekadar memanggil model termahal secara membabi buta. Anda tidak akan mengendarai Porsche Anda setiap hari untuk belanja bahan makanan, kan? Anda sebaiknya menggunakan Honda atau mobil yang lebih murah untuk itu. Kecepatan iterasi model dalam dua minggu ini juga melampaui bayangan saya, bahkan soal siapa yang menjadi “nomor satu” pun, saya tidak berani mengatakannya dengan pasti.

Saya tidak bisa mengatakan semuanya, tetapi Anda mungkin mengatakan lebih dari 60%, banyak mungkin sebulan kemudian justru sebaliknya.

Aturan perkembangan setiap gelombang teknologi adalah demikian: hancurnya konsensus lama seringkali menjadi awal dari pembentukan paradigma baru.

Ketika pasar meninggalkan pemujaan buta terhadap model tunggal dan pemborosan daya komputasi, permintaan akan "bagaimana menerapkan AI secara stabil dan terkendali" serta "bagaimana mengatasi tantangan sulit yang tidak bisa dipecahkan oleh model besar" meledak. Melalui perspektif ganda sebagai insinyur dan pencari bakat investasi, Ma Peiyuan memperhatikan bahwa sejumlah bisnis baru yang tidak bergantung pada "mitos model besar" dan berfokus pada pemecahan masalah nyata yang kompleks sedang tumbuh diam-diam di Silicon Valley dalam ketidaksepakatan umum.

Observasi 9: Infrastruktur AI baru sedang muncul

Mengelilingi “Token-Maxxing”, sebenarnya telah muncul sejumlah perusahaan rintisan baru yang secara khusus memantau dan mengawasi penggunaan AI oleh tim, serta menganalisis di mana saja token terbuang.

Masalah yang lebih dalam di balik ini adalah bahwa agen AI itu sendiri rapuh. Perubahan kecil pada prompt dapat menyebabkan kinerja agen menurun. Oleh karena itu, infrastruktur AI baru mulai muncul, seperti sandbox, untuk mengisolasi operasi agen dan mencegahnya mengakses sistem sensitif secara langsung, seperti rekening bank atau data lingkungan produksi.

Sementara itu, "pengamatan" itu sendiri juga menjadi lebih kompleks. Sistem tradisional dapat dipantau hanya dengan melaporkan kesalahan, tetapi agen tidak "melaporkan kesalahan". Agen dapat berjalan normal, namun tetap mungkin mengalami masalah serius pada tingkat output, seperti mengandung bias, diskriminasi, atau menyebabkan pengalaman negatif yang jelas bagi pengguna. Ini memerlukan perangkat lunak baru untuk memantau kapan agen "otaknya rusak".

Observation 10: "Things that cannot be trained" are becoming a new business

Di kalangan investor, semakin banyak muncul pandangan bahwa vertical agent (agen AI berbasis vertikal) telah kehilangan nilai investasi. Namun, saya tidak sepenuhnya setuju.

Investor Silicon Valley, Sarah Guo, pernah mengusulkan konsep—“the untrainable”, atau “hal yang tidak dapat dilatih”. Poin utamanya adalah bahwa dalam banyak industri vertikal, model bahasa tidak akan pernah sepenuhnya otomatis. Karena industri vertikal penuh dengan proses kompleks yang tidak dapat diabstraksikan, dan proses-proses ini seringkali memerlukan tenaga manusia untuk secara terus-menerus menyelesaikannya satu per satu.

Misalnya, pelaporan pajak AS, 50 negara bagian memiliki 50 pajak berbeda yang harus diintegrasikan satu per satu secara perlahan; bidang hukum pun demikian, hukum imigrasi, hukum perdata, hukum dagang, masing-masing memiliki sistem yang kompleks, agen AI tidak bisa langsung menyelesaikannya sekaligus.

Nilai perusahaan agen AI vertikal terletak pada penemuan masalah nyata yang terus-menerus terjadi melalui interaksi dengan pelanggan dan FDE (Frontline Deployment Engineers). Hal-hal ini akan tersemat dalam produk perusahaan, dan ini adalah sesuatu yang tidak bisa dilatih oleh perusahaan besar lainnya, serta tidak bisa dilahap oleh model generik.

Jadi, saya cenderung berpendapat bahwa vertical agent masih memiliki nilai investasi. Hanya saja, imbal hasil yang mereka bawa mungkin bukan 1000 kali lipat, melainkan lebih cenderung imbal hasil yang lebih stabil dan lebih kecil, seperti 20 kali, 50 kali, atau bahkan 100 kali lipat.