✔️ Runway показала генеративную оболочку ОС Исследовательское подразделение Runway анонсировало концепт Project Continuum, экспериментальную оболочку операционной системы. Отдельные области экрана в ней генерирует видеомодель в реальном времени, и они откликаются на клики, перетаскивание и изменение размера окна. 🟡Runway показала четыре сценария Порталы – анимированные вставки поверх просматриваемой страницы с наглядным объяснением, местом или симуляцией по её теме. Отзывчивые видеоинтерфейсы, которые перестраивают сцену под размер окна и учитывают при этом изменение геометрии объектов. Интерактивные миры разворачивают картинку, клип или превью в пространство, по которому можно перемещаться. Визуальное мышление рисует ход работы агента - каждый его шаг и вызов инструмента. Эти области генерирует Solaris, которую Runway недавно представила как первую модель мира для интерфейсов.

Она принимает клики и другие действия пользователя как условие и по ним предсказывает следующий кадр. Под капотом Solaris - видеомодель Gen-4.5, в инференсе которой каждый кадр зависит от предыдущих.

🟡Continuum существует пока только в виде демонстрации Нерешёнными Runway называет отрисовку текста, связность в длинных сессиях и доступность для программ экранного доступа, которым нужна структура интерфейса. Для Continuum пока нет ни API, ни SDK, ни цен, ни сроков выпуска, а вот к Solaris можно запросить ранний доступ. @ai_machinelearning_big_data #news #ai #ml