ByteDance представила SeedRealtime — мультимодальную модель для real-time общения

ByteDance бахнула SeedRealtime Это прям ответочка Алибабскому на Wan Streamer. Они выкатили SeedRealtime, нативную аудиовизуальную full-duplex-модель. На понятном это значит, что ассистент может непрерывно смотреть видео, слушать пользователя и отвечать голосом, не устраивая привычную драму «сначала вы договорите, потом я подумаю». Главное отличие от обычных голосовых ассистентов - единая архитектура для аудио, видео и текста. Модель учитывает не только отдельные кадры, но и временную последовательность событий, умеет связывать сказанное с происходящим в кадре и различать, обращаются ли вообще к ней. Например, она может понять двусмысленную фразу по визуальному контексту или отреагировать на объект, который только что появился в поле зрения. Еще наряднее то, что SeedRealtime умеет проявлять инициативу. ByteDance утверждает, что модель может сама сообщить об изменении в кадре, подключить инструмент прямо во время разговора, корректно обработать перебивание и не срываться на каждый шорох или разговор посторонних. Открытых весов пока нет. Тут битва идёт не за то, кто лучше отвечает на вопрос, а за то, кто меньше похож на бота с задержкой. Ссылки: Официальный анонс ByteDance Seed: https://seed.bytedance.com/en/blog/seedrealtime-audio-visual-full-duplex-llm-released-toward-omni-modal-natural-interaction Страница SeedRealtime: https://seed.bytedance.com/en/SeedRealtime @cgevent