← к умной ленте

Runway представила Solaris — генеративный интерфейс, который рендерится в реальном времени

Runway показала экспериментальную систему Solaris — «Interface World Modeli», где интерфейс приложения не пишется заранее, а генерируется покадрово в момент взаимодействия. Клик, перетаскивание или ввод текста становятся сигналом для модели, которая на лету рисует следующий кадр — как в видео, а не как в обычном софте с фиксированными экранами и кнопками.

Это принципиально отличается от нынешних «AI-генераторов сайтов» (типа clode-инструментов), которые пишут код, после чего интерфейс работает как обычная программа. Solaris вообще не создаёт код — она непрерывно генерирует пиксели интерфейса в ответ на действия пользователя, то есть фиксированного UI не существует, есть только видеопоток, ведущий к решению задачи.

720pцелевое разрешение рендера
Gen-4.5видео-модель Runway в основе Solaris
  • Solaris построена на видео-модели Runway Gen-4.5, переделанной в autoregressive frame generatori
  • Модель получает предыдущие кадры интерфейса плюс действия пользователя (клики, drag, ввод) и генерирует следующие кадры как продолжение состояния мира
  • Для интерактивной задержки Runway дистиллировала многошаговый diffusion/denoising до нескольких шагов и дополнительно обучила ускоренную модель на собственных rollout'ах, чтобы бороться с накоплением ошибок
  • Сверху работает LLM, которая определяет семантику происходящего (что вообще можно сделать), а Solaris отвечает за визуальную динамику — то есть поведения открытые: например, клик по коту красит его текстурой, клик по картине включает её стиль, и решает это модель, а не разработчик
  • Сцена «живая»: отражения меняются со светом, объекты реагируют на манипуляции пользователя
  • Цель — 720p в реальном времени; по данным источника 2, точные FPS и latency Runway пока не раскрыла
  • Компании могут запросить ранний доступ к Solaris
Что дальше

Runway пока не раскрыла точные показатели FPS и задержки; продукт описывается как ранний ресерч, доступ к которому компании могут запросить отдельно.

Это произошло: Runway представила GWM Worlds 2: генеративный мир в реальном времени →

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖