ChainThink сообщение, 16 августа, OpenAI готовится оптимизировать опыт загрузки сверхдлинных диалогов в ChatGPT и Codex; соответствующие обновления ожидаются на следующей неделе.
Внутреннее тестирование показало, что среднее время открытия диалога длиной в 741 цикл и объемом 231 МБ снизилось с 27,62 секунды до 1,66 секунды — скорость загрузки увеличилась примерно на 94%. Эта оптимизация направлена исключительно на ускорение загрузки истории чата, а не на повышение скорости ответов модели.
В ходе тестирования количество загружаемых сообщений сократилось с 15 529 до 64, количество запросов — с 894 до 16, а рост памяти приложения снизился на 41,2%.
