← к ленте

Декомпозиция AI-стека и проблема передачи данных между моделями

Б@boris_againAI-инженер
3 нед

Размышления о переходе AI от монолитных моделей к декомпозированным системам через стандартизацию интерфейсов передачи данных, таких как KV-cache.

Стандартизация передачи данных между нейросетями может радикально ускорить работу AI и изменить архитектуру будущих систем.

  • Переход от передачи текста к передаче внутренних состояний (KV-cache) позволяет моделям общаться эффективнее.
  • Декомпозиция AI-стека может снизить требования к вычислительным мощностям для инференса.
  • Появление общего интерфейса позволит создавать модульные системы, где возможности моделей накапливаются, а не пересобираются с нуля.
весь computing stack раньше был монолитным и потом разделялся на части, как только для этого появлялся интерфейс AI при этом всё ещё на mainframe-стадии, то есть одна гигантская модель мне кажется это все еще не декомпозировалось потому что интерфейс между моделями сейчас это текст, а текст это последнее, что производит модель, то есть summary всего, что она посчитала и поэтому при каждой передаче от одной модели к другой почти вся настоящая работа, которая через них прошла, просто выбрасывается 🥲 вот например релевантный рисерч: Cache-to-Cache (Fu et al, ICLR 2026, arxiv.org/abs/2510.03215) — они дали двум моделям передавать друг другу KV-cache без текста и получили выше accuracy при 2x скорости на тех же двух моделях, но пока весь этот research direction исключительно попарный (две конкретные модели, руками соединённые каждый раз заново) общего интерфейса, на котором могли бы коммуницировать модели, пока не существует, но как только он появится, то вниз по стеку изменится ОЧЕНЬ многое: например, кто вообще сможет строить мощные системы, требования к inference, будет ли capability накапливаться от поколения к поколению или каждый раз пересобираться с нуля и кастомизироваться собираюсь в ближайшую неделю выкладывать больше примеров что и как поменяется :) это первая часть

Кратко (AI)

Автор рассуждает о том, что современные AI-системы остаются монолитными из-за использования текста как единственного интерфейса взаимодействия между моделями. Это приводит к потере данных при передаче, однако исследования, такие как Cache-to-Cache, показывают возможность передачи KV-cache напрямую, что может стать основой для декомпозиции AI-стека.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖