AAI Labs, inkubator AI internal Meta, sedang mengembangkan alat routing model AI bernama "Switchboard", yang mengalihkan permintaan sederhana ke model kecil yang lebih murah berdasarkan penilaian tingkat kesulitan tugas, sehingga mengurangi biaya inferensi keseluruhan. Proyek ini saat ini berada pada tahap awal dan berada di bawah AAI Labs, inkubator internal yang didirikan Meta pada Maret tahun ini. Dokumen internal menunjukkan bahwa Meta membayar harga model teratas untuk setiap permintaan pemrograman, termasuk tugas sederhana yang seharusnya dapat ditangani oleh model kecil, sehingga biaya inferensi menjadi "hambatan utama" dalam penerapan agen berskala besar. Pengeluaran infrastruktur AI Meta pada tahun ini diperkirakan mencapai hingga $145 miliar, dan perusahaan sedang mengendalikan pengeluaran AI melalui berbagai cara. Pasar target Switchboard juga mencakup segmen routing model, yang telah memiliki pesaing seperti OpenRouter, dan akuisisi terkait dapat meningkatkan valuasi hingga puluhan miliar dolar.Penulis artikel, sumber: Wall Street Journal
Di bawah tekanan pengeluaran infrastruktur AI yang terus meningkat, Meta berusaha mencari cara untuk mengurangi biaya dari dalam.
Pada 21 Juli, menurut media teknologi The Information, AAI Labs, inkubator AI internal Meta, sedang mengembangkan alat routing model AI bernama "Switchboard", yang logika intinya sangat mirip dengan produk Auto Router dari OpenRouter—dengan memberi skor kesulitan tugas, permintaan sederhana dialihkan ke model kecil yang lebih murah, sehingga menurunkan biaya inferensi keseluruhan.
Switchboard saat ini masih berada pada tahap awal, dan keberhasilan akhirnya belum pasti. Namun, menurut dokumen internal yang diperoleh The Information, tim Meta telah secara jelas mengusulkan dua jalur potensial: pertama, menerapkannya di dalam perusahaan untuk mengurangi biaya, dan kedua, merilisnya secara terbuka kepada organisasi eksternal yang menjalankan agen pemrograman AI dalam skala besar.
Analisis menunjukkan bahwa ini berarti alat tersebut bukan hanya inisiatif pengurangan biaya, tetapi juga kemungkinan upaya Meta untuk membuka sumber pendapatan baru di pasar alat AI.
Laporan lain juga menyebutkan bahwa usulan proyek ini secara langsung menangani masalah nyata yang saat ini dihadapi perusahaan: membayar harga model unggulan untuk setiap permintaan pemrograman, termasuk tugas-tugas sederhana yang seharusnya dapat dengan mudah ditangani oleh model kecil.
Langsung menargetkan masalah utama: Biaya inferensi adalah hambatan terbesar dalam penerapan berskala
Laporan tersebut menyatakan bahwa logika proyek Switchboard diungkapkan dengan sangat jelas dalam dokumen internal: "Kami membayar harga model teratas untuk setiap permintaan pemrograman, termasuk permintaan sederhana."
Dokumen lebih lanjut menunjukkan bahwa sebagian besar tugas agen pemrograman dapat sepenuhnya ditangani oleh model yang lebih kecil, dan hanya sedikit tugas yang benar-benar memerlukan kemampuan model besar terkini. Namun, kondisi saat ini adalah "semua permintaan dikirim ke model yang sama, menyebabkan pengeluaran berlebihan pada tugas sederhana atau kinerja tidak memadai pada tugas kompleks".
Dokumen secara jelas mengkualifikasikan biaya inferensi sebagai "hambatan utama" dalam penerapan agen yang lebih luas di dalam perusahaan, dan secara terus terang menyatakan: "Biaya adalah faktor kunci yang membatasi kami dalam menjalankan agen dalam skala besar."
Pernyataan ini sejalan dengan serangkaian tindakan terbaru Meta dalam mengendalikan pengeluaran AI. Menurut laporan sebelumnya dari The Information, pada Juni tahun ini, Meta memberi tahu karyawan bahwa hanya beberapa minggu setelah mendorong penerapan alat AI secara luas di seluruh perusahaan, mereka akan mulai menetapkan batas penggunaan token AI, sekaligus membangun platform internal untuk melacak pengeluaran AI dan menegakkan anggaran token.
Perlu dicatat bahwa proyek Switchboard berada di bawah AAI Labs, sebuah lembaga inkubasi internal di bawah tim Applied AI Engineering Meta, yang secara resmi didirikan pada Maret tahun ini. Menurut dokumen internal yang ditinjau oleh The Information, mekanisme ini memungkinkan karyawan mengajukan proposal produk dan layanan AI; setelah disetujui, tim kecil akan bertanggung jawab untuk membangunnya, dengan peluang untuk dirilis secara publik.
Hingga Juli tahun ini, AAI Labs telah secara kumulatif menyetujui sekitar 200 proyek, mencakup tiga bidang utama: produk konsumen, alat pengembang, dan infrastruktur internal. Switchboard adalah salah satunya.
Mekanisme ini mencerminkan visi strategis yang lebih luas dari CEO Meta, Zuckerberg—menggunakan AI untuk memungkinkan tim kecil membangun produk dengan cepat. Pada bulan April tahun ini, Zuckerberg pernah menyatakan kepada para analis bahwa agen AI berarti "tim kecil dapat membuat kemajuan sangat cepat," dan memprediksi bahwa teknologi ini akan mendorong "inovasi besar-besaran." Ia juga menyatakan bahwa Meta berpotensi meluncurkan hingga 50 aplikasi baru.
Lintasan routing model: Selain OpenRouter, para raksasa mulai masuk
Lintasan routing model yang dituju oleh Switchboard sedang menarik semakin banyak perhatian.
OpenRouter telah memperoleh popularitas yang signifikan di kalangan pengembang dengan membantu mereka mengakses berbagai model AI dengan biaya lebih rendah. Menurut laporan The Information minggu lalu, OpenRouter telah melakukan pembicaraan dengan perusahaan teknologi yang lebih besar mengenai kemungkinan akuisisi, yang berpotensi meningkatkan valuasi perusahaan sebesar puluhan miliar dolar—valuasi perusahaan ini pada bulan April tahun ini adalah 1,3 miliar dolar.
Konsep routing model mendapatkan perhatian yang lebih luas setelah OpenAI meluncurkan fitur routing bawaan saat merilis GPT-5—fitur yang secara otomatis beralih ke model yang lebih murah ketika permintaan pengguna relatif sederhana. Sejak itu, perusahaan-perusahaan seperti Databricks dan Palantir juga mengembangkan alat routing masing-masing untuk mengelola biaya dan meningkatkan efisiensi.
Meta kali ini mengembangkan Switchboard secara mandiri, sebagai respons aktif terhadap tekanan biaya sendiri, sekaligus pilihan strategis untuk membangun kemampuan sendiri di lintasan yang semakin panas ini.
Ambisi lebih besar: Investasi AI mencari berbagai sumber pendapatan
Di balik proyek Switchboard, terdapat keinginan menyeluruh Meta untuk mengubah investasi AI yang besar menjadi alat baru, bisnis baru, dan sumber pendapatan baru.
Sebelumnya, Meta memperkirakan pengeluaran tahun ini untuk infrastruktur AI serta peralatan dan fasilitas lainnya bisa mencapai hingga $145 miliar, lebih dari dua kali lipat dari tingkat tahun 2025. Sambil itu, Meta sedang melakukan restrukturisasi tim teknik untuk memperkuat kemampuan pengembangan AI.
Proyek yang diinkubasi oleh AAI Labs tidak terbatas pada Switchboard. Menurut dokumen internal lain yang diperoleh The Information, AAI Labs juga sedang mengembangkan aplikasi panduan AI untuk pengemudi yang dapat berjalan melalui Apple CarPlay dan Android Auto, memanfaatkan AI untuk menjelaskan landmark terdekat serta memungkinkan pengemudi untuk bertanya.
Dokumen tersebut memposisikan produk ini sebagai perpanjangan dari pengalaman peta Instagram, yang di masa depan dapat mengintegrasikan konten Reels berbasis lokasi, rekomendasi perjalanan, bahkan kacamata pintar Meta Ray-Ban.
Laporan tersebut menyatakan bahwa proyek-proyek ini bersama-sama menggambarkan jalur Meta: memulai dari ide karyawan, mempercepat pembuatan prototipe produk AI, lalu meluncurkannya ke pasar eksternal pada waktu yang tepat—sambil mengendalikan biaya dan mengeksplorasi ruang pendapatan tambahan di luar bisnis iklan.