Message de ChainThink, le 16 août, OpenAI prépare d'optimiser l'expérience de chargement des conversations très longues sur ChatGPT et Codex, avec des mises à jour prévues la semaine prochaine.
Les tests internes montrent que le temps moyen d'ouverture d'une conversation de 741 tours et 231 Mo est passé de 27,62 secondes à 1,66 seconde, soit une amélioration de la vitesse de chargement d'environ 94 %. Cette optimisation cible principalement le chargement de l'historique des discussions, et non la vitesse de réponse du modèle.
Lors du test, le nombre d'éléments de conversation à charger est passé de 15 529 à 64, et le nombre de requêtes est passé de 894 à 16, réduisant la croissance de la mémoire de l'application de 41,2 %.
