Локальные LLM: переход от «глупых» к «медленным»
Г@gmorevaAI-инженер
1 недРазмышление о прогрессе локальных моделей, смене парадигмы работы с ИИ-агентами и влиянии на спрос на видеокарты.
Локальные ИИ-модели становятся полноценной альтернативой облачным сервисам для рабочих задач.
- Локальные модели достигли уровня качества, позволяющего выполнять сложные профессиональные задачи.
- Асинхронная работа с ИИ-агентами делает скорость генерации менее критичным фактором.
- Растущая эффективность локальных моделей будет поддерживать высокий спрос на мощное железо.
Локальные модели сделали новый шаг вперёд. Раньше про них можно было сказать: глупые и медленные. Сейчас — просто медленные.
И в этом разница. Когда модель была глупой, скорость была последним, о чём стоило думать. А теперь локальные модели закрывают всё больше задач, которые раньше считались прерогативой облака, и единственный ощутимый минус — скорость.
Я всё больше работаю с агентами асинхронно: поставил задачу и забыл про неё. Агент может делать её три минуты, а может и пару часов. За это время он сделает объём, который я бы делал минимум пару дней. И в такой схеме уже неважно, решает модель задачу час или пять часов.
Сейчас как раз тестирую Qwen 3.8. И с каждым днём всё больше ощущение, что у него осталась одна проблема локальной модели — скорость работы. В остальном он очень сильно приближен к облачным моделям.
Напрашивается грустный вывод про железо: видеокарты дешеветь явно не планируют. Скорее наоборот — локальные модели стали слишком хороши, чтобы ими не пользоваться. Так что спрос на ресурсы будет только расти.
Кратко (AI)
Автор отмечает качественный скачок в развитии локальных языковых моделей, которые стали интеллектуально сопоставимы с облачными решениями. Основным ограничением остается скорость работы, однако асинхронный подход к выполнению задач агентами нивелирует этот недостаток. Прогнозируется дальнейший рост спроса на вычислительные мощности.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖