CEO Palantir, Alex Karp, secara terbuka mengkritik tren terbaru di Silicon Valley yang disebut "tokenmaxxing", berpendapat bahwa terus meningkatkan penggunaan AI tidak sama dengan menciptakan nilai bisnis yang nyata. Dalam wawancara selama Palantir AIP Con 10, ia menyatakan bahwa pasar telah berpindah dari diskusi tentang "apakah AI itu nyata" menjadi "AI memang efektif, tetapi banyak skenario tidak berjalan seperti yang diharapkan".
Kontroversi menunjuk pada penggunaan berkonsumsi tinggi
Token adalah unit dasar yang digunakan model bahasa besar dalam memproses teks, dan penyedia AI biasanya mengenakan biaya berdasarkan konsumsi token. Dalam beberapa minggu terakhir, sebagian praktisi di Silicon Valley mulai merefleksikan budaya "tokenmaxxing", yaitu memperluas penggunaan AI tanpa batas hampir tanpa batasan untuk mengejar kecepatan perkembangan agen AI.
Pandangan Karp adalah bahwa lebih banyak token sering kali hanya berarti lebih banyak output berkualitas rendah, bukan hasil bernilai lebih tinggi. Chief Technology Officer Palantir, Shyam Sankar, juga menyampaikan pandangan serupa dalam panggilan laporan keuangan bulan lalu, menyatakan bahwa perusahaan menekankan "no slop zone" dan menolak menjadikan pemanggilan model murah sebagai nilai itu sendiri.
Palantir menekankan sistem daripada penumpukan model
Sankar pada saat itu menyatakan bahwa hanya memiliki AI yang lebih murah tidak akan secara otomatis menghasilkan pengembalian yang lebih tinggi; perusahaan tetap membutuhkan sistem seperti Palantir AIP untuk menghubungkan kemampuan model dengan lingkungan bisnis nyata, guna menghindari kerugian finansial akibat output yang salah.
Karp dalam wawancara terbarunya menambahkan bahwa yang benar-benar sulit bukanlah membuat model menghasilkan konten umum, melainkan mengintegrasikan AI ke dalam proses bisnis yang berjalan terus-menerus. Misalnya, menulis laporan tentang pertumbuhan PDB Tiongkok, model besar dapat menyelesaikannya dengan baik; namun dalam tugas kompleks seperti eksplorasi minyak dan gas, penyesuaian rantai pasokan, manufaktur pertahanan, atau produksi mobil, AI sendiri tidak dapat menggantikan proses spesifik tersebut.
Operasi kompleks masih perlu dilakukan secara berkelanjutan
Ia percaya bahwa masalah semacam ini sering kali melibatkan biaya, kepatuhan, etika, dan detail pelaksanaan secara bersamaan, memerlukan proses operasional yang tepat dan berkelanjutan. Model besar dapat memperkuat proses-proses ini, tetapi tidak dapat langsung menggantikannya.
Karp juga menyebutkan bahwa industri kini secara bertahap menyadari bahwa kemampuan AI telah terbukti, tetapi kunci bagi perusahaan untuk benar-benar mengubahnya menjadi hasil bisnis bukanlah memperbesar volume pemanggilan model tanpa batas, melainkan sejauh mana mereka memahami masalah bisnis apa yang ingin mereka selesaikan, serta bagaimana mengintegrasikan model ke dalam sistem yang dapat dieksekusi.