Бывший исследователь OpenAI представил прототип Flipbook, использующий ИИ для генерации пикселей экрана

Согласно новости ME, 23 апреля (UTC+8), по данным мониторинга Beating, бывший исследователь OpenAI Зайн Шах и его команда выпустили Flipbook — экспериментальный прототип, использующий AI-модели для генерации пикселей экрана напрямую, заменяя традиционные веб-технологии, такие как HTML и CSS. Каждая «страница», которую видит пользователь, представляет собой изображение, сгенерированное ИИ; клик по любой области изображения порождает новое изображение, углубляя взаимодействие. Весь интерфейс не содержит HTML-кода, фиксированных ссылок или предопределённых кнопок — даже текст является частью пикселей изображения. Режим видео основан на открытой модели LTX Studio от израильской компании Lightricks, использующей DiT (Diffusion Transformer) для генерации видео; после оптимизации она способна передавать потоковое видео в разрешении 1080p при 24 кадрах в секунду через WebSocket непосредственно на экран пользователя, при этом бэкенд подключён к серверным GPU от Modal Labs. Шах отметил, что на данный момент функциональность Flipbook ограничена, и команда сосредоточилась на визуальной интерпретации, однако это демонстрирует более широкое направление: по мере того как модели станут точнее и будут обладать состоянием, в будущем их можно будет расширить до структурированных интерфейсов, включая сценарии программирования. Шах ранее работал в OpenAI над исследованиями в области ИИ и робототехники, затем занимал должность эксперта по креативным технологиям в Samsung и является выпускником YC S13. В команду также входят бывшие инженеры Humane и Slack Эдди Чжао и бывший инженер Apple Дрю О’Карр. (Источник: BlockBeats)