MemSlides oleh Beijing U, Tsinghua, dan Shanghai Jiao Tong Menyelesaikan Masalah Pengeditan PPT AI

iconMetaEra
Bagikan
AI summary iconRingkasan
Berita AI + kripto dari MetaEra menunjukkan bahwa tim dari Universitas Telekomunikasi dan Post Beijing, Tsinghua, dan Shanghai Jiao Tong telah meluncurkan MemSlides. Sistem ini menyelesaikan masalah pengeditan PPT AI dengan menggabungkan memori profil pengguna dengan memori kerja. Sistem ini menjaga konsistensi preferensi pengguna di seluruh suntingan dan memungkinkan perubahan terlokalisasi. Proyek ini kini menjadi Paper of the Day di Hugging Face Daily Papers dan telah mendapatkan lebih dari 400 bintang di GitHub. Berita kripto terus menyoroti kemajuan AI dalam aplikasi teknologi.
Universitas Beijing University of Posts and Telecommunications, Tsinghua University, dan Shanghai Jiao Tong University bekerja sama mengembangkan sistem MemSlides untuk mengatasi tantangan personalisasi dan revisi berulang dalam pembuatan PPT berbasis AI. Sistem ini langsung mengambil memori profil pengguna saat generasi pertama, memengaruhi organisasi halaman dan cara ekspresi berdasarkan preferensi pengguna. Sistem juga memperkenalkan working memory untuk menyimpan batasan sementara terkait tugas saat ini, memastikan preferensi yang dijadwalkan tetap berlaku. Melalui proses Plan-Act-Guard, sistem memungkinkan perubahan lokal yang akurat tanpa menyebabkan efek domino ke seluruh dokumen. Eksperimen menunjukkan bahwa memori alat meningkatkan tingkat konvergensi editing hingga 2,27 kali lipat dan mengurangi waktu alat inti menjadi 0,327 kali lipat. Sistem ini menduduki peringkat pertama sebagai Paper of the Day di Hugging Face Daily Papers dan mendapatkan lebih dari 400 bintang di GitHub. Penelitian ini memiliki nilai referensi bagi manajemen memori Agent dalam tugas jangka panjang.

Penulis artikel, sumber: Sinar Zhiyuan

Saat paling memalukan sering kali bukan ketika generasi PPT AI gagal.

Sebaliknya, ia sudah membuat serangkaian slide yang cukup baik, tetapi kamu hanya berkata: “Ubah bagian kanan bawah halaman ke-8 agar terlihat lebih seperti diagram alur.”

Detik berikutnya, halaman 8 mungkin memang diubah, tetapi hierarki judul di halaman 3 berubah, warna di halaman 12 juga bergeser, gaya yang sebelumnya sudah disesuaikan berulang kali kembali berantakan.

Ini adalah masalah yang lebih umum ditemui dalam alur kerja PPT yang sebenarnya.

Versi pertama hanyalah draf, revisi adalah medan pertempuran utama.

Dari "menghasilkan satu set" hingga "menghasilkan seperti pengguna ini"

Dalam beberapa tahun terakhir, kemajuan dalam pembuatan slide otomatis sangat pesat. Banyak sistem sudah dapat menghasilkan draf awal yang terstruktur dengan baik dan secara visual tidak kasar, berdasarkan makalah, deskripsi produk, atau satu kalimat topik.

Namun dalam penggunaan nyata, kunci versi pertama slide bukan hanya "apakah itu sudah dihasilkan", tetapi apakah itu sudah mendekati gaya ekspresi pengguna tertentu.

Paper Transformer yang sama dapat diajarkan sebagai pelajaran dasar, atau disusun sebagai presentasi kelompok, studi mendalam paper, atau pelatihan teknis. Peran halaman, kepadatan konten, batasan bukti, dan cara pengembangan mekanisme yang diperhatikan berbeda-beda tergantung pengguna. Ada yang ingin terlebih dahulu diberikan kesimpulan dan poin utama, sementara yang lain lebih ingin definisi, mekanisme, dan kondisi batas dijelaskan secara rinci.

Ini adalah peran memori profil pengguna pada tahap round-0.

MemSlides, yang dirancang oleh Universitas Telekomunikasi Beijing, Universitas Tsinghua, dan Universitas Jiaotong Shanghai, tidak menunggu pengguna melakukan revisi berulang kali sebelum mulai "mengingat", tetapi pada generasi pertama, ia langsung mengambil profil pengguna berdasarkan niat tugas saat ini, dan mengarahkan preferensi jangka panjang yang kompatibel ke memori kerja saat ini untuk memengaruhi organisasi dan cara penyajian halaman.

Tautan makalah: https://arxiv.org/abs/2606.17162

Halaman proyek: https://memslides.github.io/

Tautan demo: https://memslides.com/

Tautan kode: https://github.com/huohua325/Memslides

Tautan HF: https://huggingface.co/papers/2606.17162

Pekerjaan ini menduduki peringkat pertama Hugging Face Daily Papers Paper of the Day, dan telah mendapatkan lebih dari 400 bintang di GitHub; situs demo setelah diluncurkan juga telah menarik lebih dari 100 pengguna terverifikasi untuk mencoba.

Gambar 1 tidak menunjukkan sebuah "rendering generik". Lebih tepatnya, ini menjelaskan bagaimana sistem memecah materi makalah menjadi halaman-halaman seperti definisi, mekanisme inti, bukti eksperimen, kesalahan umum, dan kondisi batas. Pilihan-pilihan ini mencerminkan preferensi dalam profil pengguna terkait struktur konten, kepadatan informasi, dan gaya ekspresi yang berorientasi pada bukti.

Gambar 1: Generasi putaran pertama tidak hanya menunjukkan kelengkapan, tetapi juga pengaruh ingatan profil pengguna terhadap organisasi halaman, kepadatan konten, dan batasan bukti.

Proyek juga menyediakan Demo online. Pengguna dapat mengunggah materi, memilih profil memori atau template, membuat draf awal, lalu melanjutkan ke revisi, serta mengunduh versi saat ini dalam format PPTX, HTML, atau PDF.

Artinya, MemSlides dirancang untuk seluruh proses, mulai dari draf awal yang dipersonalisasi hingga perubahan berkelanjutan selanjutnya.

Namun, setelah versi pertama mulai mendekati pengguna, pertanyaan berikutnya menjadi lebih tajam: apakah sistem dapat terus mempertahankan preferensi ini melalui beberapa siklus perubahan? Apakah permintaan sementara yang diajukan dalam sesi saat ini akan menjadi tidak berlaku setelah beberapa siklus? Ketika pengguna hanya ingin mengubah area tertentu, apakah sistem dapat menghindari merusak kembali bagian-bagian halaman yang sudah selaras?

Beri tugas pada ingatan

Banyak orang yang mendengar 'Agent memory' secara alami berpikir: jadi, masukkan riwayat percakapan ke dalam konteks yang lebih panjang.

MemSlides tidak melakukannya.

Alasannya sederhana: semakin lama sejarahnya, semakin banyak konflik di dalamnya. Hari ini, pengguna mengatakan "laporan ini menggunakan judul biru," tidak berarti semua PPT-nya di masa depan harus menggunakan judul biru; kesalahan alat yang dialami pengguna dalam satu sesi pengeditan juga tidak boleh dicampuradukkan dengan "gaya apa yang dia sukai."

Oleh karena itu, MemSlides memodelkan pembuatan slide personalisasi sebagai proses authoring bersifat stateful: sistem terlebih dahulu menghasilkan draf putaran-0 berdasarkan bahan sumber, memori profil pengguna, dan template opsional; setelah itu, setiap umpan balik akan memperbarui state sesi saat ini, lalu melakukan pengeditan lokal sekitar deck saat ini.

Memorinya memiliki dua perspektif.

Dari sudut pandang siklus hidup, terdapat memori jangka panjang dan memori kerja. Memori jangka panjang menyimpan informasi yang tetap ada di seluruh tugas, sedangkan memori kerja menyimpan batasan sementara, tujuan modifikasi, dan status eksekusi yang masih berlaku dalam deck saat ini.

Dari segi peran fungsional, ada memori profil pengguna dan memori alat. Yang pertama menjawab "Slide ini harus mencerminkan preferensi apa," sedangkan yang kedua menjawab "Bagaimana cara membuat Agent lebih stabil."

Dengan kata lain, MemSlides bukan membuat Agent mengingat lebih banyak hal yang tidak penting, tetapi membantunya mengetahui informasi mana yang harus disimpan secara jangka panjang, mana yang hanya berlaku untuk tugas saat ini, mana yang termasuk preferensi pengguna, dan mana yang merupakan pengalaman alat.

Gambar 2: MemSlides mengorganisasi memori jangka panjang, memori kerja, memori profil pengguna, dan memori alat ke dalam satu proses revisi multi-sesi.

Profil pengguna

Personalisasi sejati biasanya tidak bisa diselesaikan hanya dengan satu prompt peran.

Dalam presentasi akademis, ada yang suka menempatkan satu kesimpulan utama per halaman, sementara yang lain mempertahankan rumus dan detail eksperimen; dalam pitch bisnis, ada yang lebih suka tabel padat, sementara yang lain lebih mengandalkan grafik tren dan perbandingan.

Perbedaan-perbedaan ini bukanlah label dari satu prompt, melainkan kebiasaan yang secara perlahan terungkap oleh pengguna selama proses menulis dan mengedit jangka panjang.

MemSlides menyimpan preferensi lintas tugas menggunakan profil pengguna. Alih-alih menempelkan seluruh profil di awal prompt, ia mengambil preferensi yang relevan berdasarkan intent saat ini saat tugas dimulai, lalu menyelaraskannya dengan permintaan saat ini.

Jika preferensi jangka panjang dan instruksi saat ini kompatibel, keduanya akan masuk bersama ke dalam memori kerja; jika terjadi konflik, instruksi eksplisit dari slide ini memiliki prioritas.

Langkah ini sangat penting. Jika tidak, sistem mudah menganggap "sementara ini ingin judul biru" sebagai "pengguna selalu menyukai judul biru".

Setelah tugas selesai, MemSlides tidak akan mencatat setiap umpan balik ke dalam profil jangka panjang. Hanya sinyal interaksi yang stabil dan dapat dipindahkan yang disimpan, agar generasi berikutnya lebih sesuai dengan pengguna, bukan semakin kacau.

Gambar 3: Memori profil pengguna akan mengalami pengambilan, routing, penggunaan pada tugas saat ini, dan pengendapan sinyal stabil setelah tugas selesai.

Memori kerja

Dalam beberapa revisi, masih ada jenis informasi yang lebih halus.

It is not a long-term preference, but must remain valid within the current deck.

Misalnya, pada putaran kedua, pengguna mengatakan: "Jika ada penambahan kotak summary/tip di masa depan, gunakan latar belakang abu-abu muda." Pada saat itu, sistem belum menambahkan elemen semacam itu, sehingga permintaan ini belum memiliki objek eksekusi langsung. Beberapa putaran kemudian, jika pengguna meminta penyisipan halaman dengan kotak summary, aturan ini seharusnya dipicu.

Jika agen hanya melihat input pada putaran saat ini, maka agen mudah melupakan batasan yang berlaku dengan penundaan semacam ini.

MemSlides berfungsi sebagai papan status untuk tugas penulisan saat ini: preferensi sementara aktif, instruksi yang dibawa lanjut, target yang telah diselesaikan, dan status cakupan semuanya ditempatkan di sini. Tahap Plan membaca status ini untuk menentukan ruang lingkup perubahan, tahap Act menjalankan suntingan terbatas berdasarkan informasi tersebut, dan tahap Guard memperbarui hasil pemeriksaan.

Ini membuat beberapa iterasi perubahan bukan lagi sekadar prompt yang saling terpisah, melainkan proses penyuntingan yang berkelanjutan seputar rangkaian slide yang sama.

Gambar 4: Memori kerja membuat preferensi gaya sementara yang sebelumnya diajukan dan dipicu kemudian tetap berlaku.

Hanya ubah bagian yang perlu diubah

Bagi editor manusia, "hanya ubah satu tempat ini" adalah kalimat yang sangat alami.

Bagi sistem generatif, kalimat ini sulit.

Karena banyak sistem saat memproses umpan balik akan membaca ulang atau menulis ulang konten dalam skala besar. Akibatnya, area target diperbaiki, tetapi halaman non-target juga berubah. Pengguna tampaknya hanya mengajukan permintaan kecil, tetapi sistem malah mengacak ulang seluruh status PPT.

MemSlides menggunakan revisi slide-terbatas yang tercakup untuk membatasi masalah ini.

Setiap umpan balik pertama kali dipetakan ke area perubahan paling kecil yang efektif, lalu memasuki proses Plan-Act-Guard.

Pada tahap Plan, ubah permintaan bahasa alami menjadi execution contract, dengan memperjelas slide tujuan, cakupan, petunjuk selector, dan persyaratan cakupan.

Pada tahap Act, pilih alat pengeditan berdasarkan struktur halaman dan lakukan operasi minimal yang efektif dalam batasan yang berlaku. Pada tahap Guard, ubah "selesai" menjadi status yang perlu diperiksa: target yang tidak tercakup tidak boleh disimpulkan secara sembarangan, snapshot yang kedaluwarsa perlu diikat ulang, dan permintaan lokal tidak boleh diperluas menjadi penulisan ulang seluruh deck.

Langkah ini mengubah "model merasa sudah selesai mengubah" menjadi "sistem dapat memeriksa apakah perubahan ini benar-benar mencakup tujuan atau melampaui batas".

Gambar 5: Plan-Act-Guard memecah modifikasi lokal menjadi perencanaan cakupan, eksekusi terkendali, dan pemeriksaan hasil.

Alat memori

Slides editing bukan sekadar penulisan ulang teks.

Perubahan lokal mungkin melibatkan struktur halaman, selector, aturan gaya, snapshot tata letak, dan logika validasi. Agent bahkan jika memahami apa yang diinginkan pengguna, mungkin membaca area yang salah saat memanggil alat, melakukan percobaan berulang, memperluas cakupan perubahan, atau mengakhiri proses sebelum target tercakup.

Jadi, MemSlides juga memperkenalkan alat memori.

Alat memori tidak mencatat "apa yang disukai pengguna", tetapi mencatat "jalur eksekusi apa yang efektif dalam tugas penyuntingan serupa, dan kesalahan apa yang harus dihindari".

Paper mengorganisasikannya menjadi dua tingkat kehalusan: pengalaman tugas cakupan putaran mencatat pengalaman, ringkasan kesalahan, dan pola yang dapat dipindahkan dalam satu siklus revisi; pengalaman rantai alat cakupan operasi menyimpan fragmen reasoning-tool-observation yang lebih halus, yang diambil kembali sebagai referensi sebelum pemanggilan alat serupa.

Desain ini memisahkan tujuan dan eksekusi.

Profil pengguna menentukan arah perubahan slide, sementara memori alat membantu Agent menghindari jalan buntu, mengurangi eksplorasi tidak efektif dan ketidakpastian eksekusi.

Gambar 6: Alat memori berfokus pada pengalaman pemanggilan alat, bukan preferensi estetika pengguna.

Hasil eksperimen

Evaluasi MemSlides tidak hanya memberikan skor generasi keseluruhan, tetapi juga memvalidasi secara terpisah kemampuan yang terkait dengan komponen memori yang berbeda: memori profil pengguna sesuai dengan round-0 persona alignment, memori kerja sesuai dengan delayed preference carryover dalam percakapan multi-putaran, dan memori alat divalidasi secara terisolasi dalam pengaturan diagnostic matched-pair modify.

Dalam generasi personalisasi, memori profil pengguna meningkatkan keselarasan persona dalam pengaturan multi-persona dan multi-intent. Makalah lebih lanjut menunjukkan bahwa peningkatan ini tidak hanya terlihat pada "lebih mirip template tertentu", tetapi juga pada pilihan di tingkat perencanaan, seperti fokus konten, peran halaman, organisasi bukti, dan pemisahan persona.

Dalam diagnosis pasangan yang dimodifikasi sebagian, perubahan yang dibawa oleh memori alat lebih langsung:

Sementara itu, rasio waktu alat inti turun menjadi 0,327x.

Perlu diperhatikan bahwa angka-angka ini berasal dari pengaturan matched-pair diagnostik dan tidak boleh ditafsirkan sebagai keunggulan monoton dalam semua skenario. Lebih tepatnya, angka-angka ini mendukung kesimpulan prosedural: ketika memori alat menyediakan pengalaman eksekusi yang dapat digunakan kembali, Agent lebih mudah konvergen dalam menyelesaikan siklus tertutup, verifikasi ketat, dan menemukan jalur suntingan pertama yang benar.

Gambar 7: Perbandingan penyuntingan lokal adalah kasus kualitatif dalam paper yang digunakan untuk menunjukkan perbedaan proses penyuntingan sebelum dan sesudah injeksi memori alat.

Langkah selanjutnya PPT Agent

Kerja sama jangka panjang

MemSlides membahas PPT, tetapi masalah di baliknya tidak hanya terbatas pada PPT.

Ketika Agent memasuki tugas jangka panjang seperti generasi dokumen, modifikasi kode, analisis data, atau sistem pengetahuan perusahaan, semua akan menghadapi tantangan serupa: informasi apa yang harus disimpan secara permanen, status apa yang hanya berlaku untuk tugas saat ini, pengalaman eksekusi apa yang dapat digunakan kembali, dan konten apa yang harus tetap tidak berubah saat dilakukan modifikasi lokal.

Jika generasi satu klik menyelesaikan perjalanan dari 0 ke 1, maka revisi berulang menguji perjalanan dari 1 ke dapat digunakan.

Slides Agent masa depan tidak hanya harus mampu menghasilkan halaman pertama yang lebih indah, tetapi juga harus dapat terus memahami pengguna dan mempertahankan batasan penyuntingan selama proses revisi berulang, sehingga serangkaian slide secara stabil mendekati versi yang benar-benar diinginkan pengguna.

Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini. Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.