Автор не впечатлился локальными моделями
T@extremecodeAI-инженер
1 недАвтор считает локальные модели малопригодными для узких задач и отмечает низкую скорость и проблемы после квантизации.
Ну че, как вам G0VNO в итоге?
От себя скажу одно, я чет особо не впечатлился этими вашими локальными модельками, они как по мне абсолютно не годятся для узконаправленных задач. Их максимум это суммаризация данных, либо использование мультимодалок для перевода текста/аудио в текст. Вот вайбкодить на этом, я думаю, никакого удовольствия не будет. Хз как оно с агентами будет работать, это конечно требует больше тестов.
Но тут есть НЮАНСИКИ:
Во-первых, производительность, даже 100 ток\сек кажутся чудовищно медленными.
Во-вторых, сайд эффекты от квантизации лупят мощно по конечному результату. Иногда модели даже жестко игнорят инструкции, и это на маленьком контексте. Под агентов нужен контекст минимум 100к, а на нем эти проблемы могут стать хуже.
P.S.
Все репорты на бусти залил еще с утра.

Кратко (AI)
Автор делится скептическим мнением о локальных моделях: считает, что они годятся главным образом для суммаризации и перевода, но плохо подходят для узконаправленных задач и вайбкодинга. Среди проблем он называет низкую скорость, ухудшение результатов после квантизации и возможное игнорирование инструкций; работу с агентами считает требующей дополнительных тестов.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖