Pekin Posta ve Telekomünikasyon Üniversitesi, Tsinghua Üniversitesi ve Şanghay Jiaotong Üniversitesi, AI tarafından oluşturulan sunumlar içinde kişiselleştirme ve çok aşamalı revizyon sorunlarını çözmek için MemSlides sistemini geliştirdi. Sistem, ilk üretim aşamasında kullanıcı profili hafızasını arar ve kullanıcı tercihlerini sayfaların organizasyonu ile ifade biçimini etkilemek için kullanır. Aynı zamanda geçici kısıtlamaları korumak için çalışma hafızası eklenerek, gecikmeli etkileşimlerin tercihlerinin sürekli etkili kalmasını sağlar. Plan-Act-Guard süreciyle yerel, hassas düzenlemeler gerçekleştirilir ve değişikliklerin tüm belgeye yayılmasını önler. Deneyler, araç hafızasının düzenleme yakınsama oranını 2,27 kat artırdığını ve temel araç süresini 0,327 kat azalttığını gösterdi. Sistem, Hugging Face Daily Papers’ın Günün Makalesi’ni zirveye çıkardı ve GitHub’da 400’den fazla yıldız kazandı. Bu araştırma, uzun süreli görevlerde Agent’ların hafıza yönetimine yönelik bir referans sağlar.Yazan: Yeni Zihin
En utanlık an, genellikle AI PPT oluşturma başarısız olduğunda değil.
Ancak zaten iyi bir sunum oluşturmuştu, siz sadece şunu söylediniz: “8. sayfanın sağ alt köşesini daha fazla bir akış şeması gibi yapın.”
Sonraki saniyede 8. sayfa gerçekten değiştirilmiş olabilir, ancak 3. sayfanın başlık hiyerarşisi değişti, 12. sayfanın renk paleti de kaydı, önce tekrar ayarlanan tarz yeniden bozuldu.
Bu, gerçek PPT iş akışında daha sık karşılaşılan sorunlardır.
İlk versiyon sadece taslaktır, düzeltmeler ana savaş alanıdır.
"Oluştur bir set"ten "Bu kullanıcı gibi oluştur"
Geçtiğimiz yıllarda otomatik slayt oluşturma büyük ilerlemeler kaydetti. Birçok sistem, makalelerden, ürün açıklamalarından veya bir konu cümlesinden başlayarak yapısal olarak tam ve görsel olarak kabul edilebilir taslaklar oluşturabiliyor.
Ancak gerçek kullanımda, ilk sürüm slaytlarının anahtarı sadece "üretilip üretilmemesi" değil, aynı zamanda bir kullanıcının ifade alışkanlıklarına ne kadar yakın olmasıdır.
Aynı Transformer makalesi, temel bir ders olarak sunulabilir, grup toplantısı sunumu, makale detaylı okuması veya teknik eğitim olarak düzenlenabilir. Farklı kullanıcılar, sayfa rollerini, içerik yoğunluğunu, kanıt sınırlarını ve mekanizmaların nasıl açığa çıkarıldığını farklı şekilde ilgilendirir. Bazıları önce sonuçları ve temel çıkarımları görmek isterken, diğerleri tanımları, mekanizmaları ve sınır koşullarını net bir şekilde ayırmayı tercih eder.
Bu, round-0 aşamasında kullanıcı profili belleğinin tam olarak rolüdür.
Pekin Posta ve Telekomünikasyon Üniversitesi, Tsinghua Üniversitesi ve Şanghay Jiaotong Üniversitesi tarafından ortaklaşa geliştirilen MemSlides, kullanıcıların tekrarlı düzenlemelerini beklemeksizin ilk üretim aşamasında mevcut görev niyetine göre kullanıcı profili arar ve uyumlu uzun vadeli tercihleri geçici belleğe yönlendirerek sayfa organizasyonunu ve ifade biçimini etkiler.
Makale bağlantısı: https://arxiv.org/abs/2606.17162
Proje Ana Sayfası: https://memslides.github.io/
Demo bağlantısı: https://memslides.com/
Kod bağlantısı: https://github.com/huohua325/Memslides
HF bağlantısı: https://huggingface.co/papers/2606.17162
Bu çalışma, Hugging Face Daily Papers'ın Günün Kağıdı ödülünü kazandı ve GitHub'da 400'den fazla yıldız aldı; Demo web sitesi açıldıktan sonra 100'den fazla doğrulanmış kullanıcı tarafından denendi.
Şekil 1, genel bir «oluşturulmuş görsel efekt»i göstermiyor. Daha ziyade, sistemin makale materyallerini tanımlar, temel mekanizmalar, deneysel kanıtlar, yaygın hatalar ve sınır koşulları gibi sayfalara nasıl ayırdığını açıklıyor. Bu seçimler, içerik yapısı, bilgi yoğunluğu ve kanıta dayalı ifade tercihleriyle ilgili kullanıcı profiline karşılık gelir.
Şekil 1: İlk tur üretimi, bütünlüğü göstermekle kalmaz, aynı zamanda kullanıcı profili belleğinin sayfa organizasyonu, içerik yoğunluğu ve kanıt sınırları üzerindeki etkisini de gösterir.
Proje ayrıca bir çevrimiçi demo sunmaktadır. Kullanıcılar malzeme yükleyebilir, bellek profili veya şablon seçebilir, taslak oluşturduktan sonra revizyona geçebilir ve mevcut sürümü PPTX, HTML veya PDF olarak indirebilir.
Yani MemSlides, kişiselleştirilmiş taslaktan başlayarak sürekli güncellemelere kadar olan tam süreci hedef almaktadır.
İlk sürüm kullanıcılara yaklaştıktan sonra sorular daha da keskinleşir: Sistem, çok sayıda düzeltme sırasında bu tercihleri koruyabilir mi? Şu anki oturumda geçici olarak belirtilen talepler birkaç tur sonra geçersiz hale gelir mi? Kullanıcı sadece bir alan değiştirmek istediğinde, sistem zaten hizalanmış sayfaları tekrar dağıtmadan bunu yapabilir mi?
Belleği görevlendirin
Çok sayıda kişi "Agent memory" duyduğunda, tarihçeyi daha uzun bir bağlama eklemeyi doğal olarak düşünür.
MemSlides bunu yapmadı.
Neden basit: Geçmiş ne kadar uzunsa, içindeki çatışmalar da o kadar çok olur. Bugün bir kullanıcı "bu raporu mavi başlıklarla yap" diyorsa, bu onun tüm PPT'lerinin mavi başlıkla olmasını gerektirmez; bir düzenleme sırasında karşılaştığı bir araç hatası, "hangi stili sevdiğini" ile karıştırılmamalıdır.
Bu nedenle, MemSlides kişiselleştirilmiş slayt oluşturma işlemini bir durumlu yazma süreci olarak modelleyerek; sistem, kaynak materyal, kullanıcı profili hafızası ve isteğe bağlı şablonlara dayalı olarak round-0 taslağını oluşturur; ardından her geri bildirim döngüsü, mevcut oturum durumunu günceller ve mevcut sunum etrafında yerel düzenlemeler yapar.
Belleği düzenleme iki bakış açısıyla yapılır.
Yaşam döngüsü açısından, uzun süreli hafıza ve çalışma hafızası vardır. Uzun süreli hafıza, görevler arasında sabit kalan bilgileri saklar, çalışma hafızası ise mevcut deck'te hala geçerli olan geçici kısıtlamaları, değiştirilmiş hedefleri ve yürütme durumlarını saklar.
Fonksiyonel roller açısından, kullanıcı profili hafızası ve araç hafızası vardır. İlkisi, "Bu slayt seti hangi tercihleri yansıtmalıdır?" sorusuna cevap verir, ikincisi "Agent daha kararlı hale nasıl getirilebilir?" sorusuna cevap verir.
Diğer bir deyişle, MemSlides, Agent'ın daha fazla gereksiz bilgiyi hatırlamasını değil, hangi bilgilerin kalıcı olarak saklanması gerektiğini, hangilerinin yalnızca mevcut görevde geçerli olduğunu, hangilerinin kullanıcı tercihlerine ait olduğunu ve hangilerinin araç deneyimine ait olduğunu anlamasını sağlar.
Şekil 2: MemSlides, uzun süreli hafıza, çalışma hafızası, kullanıcı profili hafızası ve araç hafızasını aynı çok aşamalı taslak sürecinde birleştirir.
Kullanıcı profili
Gerçekten kişiselleştirilmiş bir deneyim, genellikle yalnızca bir role prompt ile çözülemez.
Aynı akademik sunumda, bazıları her sayfada yalnızca bir temel sonuç bırakmayı tercih ederken, diğerleri formülleri ve deney detaylarını korur; aynı ticari sunumda, bazıları yoğun tabloları tercih ederken, diğerleri eğilim ve karşılaştırma grafiklerine daha çok güvenir.
Bu farklılıklar, bir prompt içindeki etiketler değil, kullanıcıların uzun süreli yazma ve düzenleme süreçlerinde yavaşça ortaya çıkan alışkanlıklardır.
MemSlides, bu tür görevler arası tercihleri kullanıcı profili belleği ile kaydeder. Profili tamamıyla prompt'un başına yapıştırmaz; bunun yerine, görev başlangıcında mevcut amaç doğrultusunda ilgili tercihleri arar ve bu tercihleri mevcut istekle uyumlu hale getirir.
Uzun vadeli tercihler ve mevcut açık talimatlar uyumluysa, ikisi de çalışma belleğine alınır; çatışma durumunda, bu slaytlardaki açık talimatlar önceliklidir.
Bu adım çok önemlidir. Aksi takdirde sistem, "bu geçici olarak mavi başlık istiyor"u "kullanıcının kalıcı olarak mavi başlığı sevmesi" olarak yanlış algılar.
Görev tamamlandığında, MemSlides her geri bildirimi uzun vadeli profile geri yazmaz. Sadece kararlı ve taşınabilir etkileşim sinyallerini biriktirir, böylece bir sonraki üretimin kullanıcıya daha yakın, daha karışık olmayan bir şekilde gerçekleşmesini sağlar.
Şekil 3: Kullanıcı profili belleği, arama, rota, mevcut görev kullanımı ve görev sonunda kararlı sinyal çökelmesi aşamalarından geçer.
Çalışma hafızası
Çoklu revizyonlar arasında daha ince bir tür bilgi de vardır.
Bu uzun vadeli tercih değil, ancak mevcut deck içinde sürekli geçerli olmalıdır.
Örneğin, kullanıcı 2. turda şunu söylüyor: “Sonraki adımlarda summary/tip kutusu eklenirse, hafif gri arka plan kullanın.” Bu dönemde sistem henüz bu tür öğeleri içermiyordu, bu nedenle bu talep hemen uygulanmadı. Birkaç tur sonra, kullanıcı summary kutusu içeren bir sayfa eklemeyi talep ederse, bu kural tetiklenmelidir.
Agent yalnızca şu anki girdiyi görürse, bu gecikmeli etki eden kısıtlamaları kolayca unutabilir.
MemSlides'in çalışma belleği, mevcut yazma görevinin durum panosudur: aktif geçici tercihler, devralınan talimatlar, çözülmüş hedefler ve kapsama durumu burada yer alır. Plan aşaması, bu durumları okuyarak değiştirme kapsamını belirler, Act aşaması bu bilgilere dayanarak sınırlı düzenlemeleri gerçekleştirir, Guard aşaması ise sonuçları güncelleyip kontrol eder.
Bu, çoklu düzenlemeleri birbirinden bağımsız tek seferlik prompt'lar yerine, aynı slayt seti etrafında ilerleyen bir düzenleme süreci haline getiriyor.
Şekil 4: Çalışma belleği, daha önce önerilen ve daha sonra tetiklenen geçici stil tercihlerinin etkisini korur.
Sadece değiştirilmesi gereken yerleri değiştirin
İnsan editörler için "sadece bunu değiştirin" doğal bir ifadedir.
Üretim sistemleri için bu cümle zordur.
Çünkü birçok sistem, geri bildirim işleme sırasında geniş kapsamlı içerikleri yeniden okur veya yeniden yazar. Sonuç olarak, hedef alan düzeltildi, ancak hedef dışı sayfalar da değişti. Kullanıcı sadece küçük bir talepte bulundu gibi görünüyor, ancak sistem tüm PowerPoint sunumunun durumunu yeniden dağıttı.
MemSlides, bu sorunu kapsamlı slayt-yerel revizyon ile sınırlıyor.
Her geri bildirim, önce en küçük etkili değiştirme bölgesine haritalanır, ardından Planla-İşle-Koruma sürecine girer.
Plan aşamasında doğal dil isteklerini yürütme sözleşmesine dönüştürün, hedef slaydı, kapsamı, selector ipuçlarını ve kapsama gereksinimlerini belirleyin.
Act aşamasında sayfa yapısına göre düzenleme aracını seçin ve sınırlı kapsamda en küçük etkili işlemi yapın. Guard aşamasında "Tamamla" ifadesini kontrol edilmesi gereken bir duruma dönüştürün: hedef kapsanmamışsa kaba bir şekilde sonlandırmayın, snapshot süresi dolmuşsa yeniden bağlayın, yerel istekleri tüm bir deck'in yeniden yazılması haline getirmeyin.
Bu adımda, "modelin kendi kendini tamamladığını düşünmesi" yerine, "sistemin bu değişikliğin hedefi gerçekten kapsayıp kapsamadığını ve sınırları aşıp aşmadığını kontrol etmesi" yapılır.
Şekil 5: Plan-Act-Guard, yerel değişiklikleri kapsam planlaması, kontrollü uygulama ve sonuç kontrolüne ayırır.
Araç belleği
Slayt düzenlemesi sadece metin yazımı değildir.
Bir yerel değişiklik, sayfa yapısını, seçicileri, stil kurallarını, düzen anlık görüntülerini ve doğrulama mantığını içerebilir. Araç çağrısı sırasında Agent, kullanıcı ne istediğini anlasa bile, yanlış bölgeyi okuyabilir, tekrarlı deneme-hata yapabilir, değişiklik kapsamını genişletebilir veya hedef henüz kapsanmadan önce sonlandırabilir.
MemSlides, araç belleğini de getirdi.
Araç belleği, "kullanıcının neyi sevdiğini" değil, "benzer düzenleme görevlerinde hangi yürütme yollarının etkili olduğunu ve hangi hatalardan kaçınılması gerektiğini" kaydeder.
Makale, iki düzeyde düzenlenir: round-scope task experience, bir düzeltme turundaki deneyimleri, hataları ve taşınabilir desenleri kaydeder; operation-scope tool-chain experience, benzer araç çağrılarından önce referans olarak alınmak üzere daha ince düzeydeki reasoning-tool-observation parçalarını saklar.
Bu tasarım, hedefleri ve uygulamayı ayırmaktadır.
Kullanıcı profili, slaytların hangi yönde değişmesi gerektiğini belirler; araç belleği ise Agent'in yanlış yollara sapmasını önler ve geçersiz keşifleri ile yürütme belirsizliğini azaltır.
Şekil 6: Araç belleği, kullanıcı estetik tercihlerinden ziyade araç çağırma deneyimine odaklanır.
Deneysel sonuçlar
MemSlides'in değerlendirmesi, tek bir genel üretim puanı vermek yerine, farklı hafıza bileşenlerine karşılık gelen yetenekleri ayrı ayrı doğrular: kullanıcı profili hafızası, round-0 persona uyumu ile; çalışma hafızası, çok aşamalı sohbetlerde gecikmiş tercih devamlılığı ile; araç hafızası ise diagnostic eşleştirilmiş çift değiştirme ayarında izole edilerek doğrulanır.
Kişiselleştirilmiş üretmede, kullanıcı profili belleği, çok persona ve çok amaçlı ayarlar altında persona uyumunu artırır. Makale, bu artışın yalnızca "bir şablona daha çok benzerlik" değil, aynı zamanda içerik vurgusu, sayfa rolü, kanıt organizasyonu ve persona ayrımı gibi planlama düzeyindeki seçimlerde de göründüğünü belirtir.
Yerel değiştirme eşleşmelerinde, araç belleğinden gelen değişiklikler daha doğrudur:
Aynı zamanda, core tool zaman oranı 0,327x'e düştü.
Bu sayılar, tanımlayıcı eşleştirilmiş çift ayarından gelmektedir ve tüm senaryolarda tekil bir avantaj olarak yorumlanmamalıdır. Daha doğru bir şekilde ifade edilirse, bu sayılar, aracın yeniden kullanılabilir yürütme deneyimlerini sağladığında, Agent'in kapalı döngü tamamlamasında, katı doğrulamada ve ilk doğru düzenleme yolunu bulmada daha kolay yakınsadığını desteklemektedir.
Şekil 7: Lokal düzenleme karşılaştırması, makalede aracın belleğe enjeksiyonundan önce ve sonra düzenleme sürecindeki farkları göstermek için kullanılan nitel bir vaka örneğidir.
PPT Ajanının Bir Sonraki Adımı
Sürekli iş birliği
MemSlides, PPT hakkında konuşuyor, ancak arkasındaki sorun sadece PPT'ye ait değil.
Agent, belge oluşturma, kod değiştirme, veri analizi, kurumsal bilgi sistemleri gibi uzun süreli görevlere girerken benzer zorluklarla karşılaşır: hangi bilgilerin kalıcı olarak saklanması gerektiği, hangi durumların yalnızca mevcut görevle sınırlı olduğu, hangi yürütme deneyimlerinin yeniden kullanılabilir olduğu ve hangi içeriklerin yerel değişikliklerde sabit kalması gerektiği.
Bir tıkla oluşturma, 0'dan 1'e gitmeyi çözüyorsa, çok aşamalı düzenlemeler 1'den kullanılabilecek hale getirmeyi test eder.
Gelecekteki Slides Agent, sadece daha güzel bir ilk slayt oluşturmakla kalmayacak, aynı zamanda tekrarlı revizyonlar sırasında kullanıcıyı sürekli anlayacak, düzenleme sınırlarını koruyacak ve bir slayt setini kullanıcıların gerçekten istediği versiyona doğru kararlı bir şekilde yaklaştıracaktır.