Стартап представил протокол взаимодействия моделей в латентном пространстве
П@neural_proseccoмедиа / агрегатор
1 месНовый стартап вышел из стелса с технологией обмена скрытыми состояниями между моделями для ускорения работы и снижения затрат на вычисления.
Технология позволяет значительно удешевить и ускорить работу сложных ИИ-систем.
- Модели обмениваются внутренними данными (скрытыми состояниями) вместо генерации текста.
- Большая модель выполняет сложные рассуждения, а маленькая — финальную генерацию.
- Снижается потребление вычислительных мощностей при сохранении качества ответов.
Мои друзья сегодня вышли из стелса со статьёй на WIRED! У них супер сильная рисерч-команда, делают протокол взаимодействия моделей в латентном пространстве: модели обмениваются не текстом, а скрытыми состояниями. Это значительно сокращает компьют, большая модель не тратит его на декодинг рассуждений в токены, ответ пишет маленькая. Получается дешевле и быстрее без потери в точности
Кратко (AI)
Стартап анонсировал протокол, позволяющий нейросетям обмениваться скрытыми состояниями вместо текстовых токенов. Это позволяет переложить процесс рассуждений на большую модель, а генерацию ответа — на маленькую, что снижает вычислительные затраты без потери точности.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖