← к ленте

Автор не впечатлился локальными моделями

T@extremecodeAI-инженер
1 нед

Автор считает локальные модели малопригодными для узких задач и отмечает низкую скорость и проблемы после квантизации.

Ну че, как вам G0VNO в итоге? От себя скажу одно, я чет особо не впечатлился этими вашими локальными модельками, они как по мне абсолютно не годятся для узконаправленных задач. Их максимум это суммаризация данных, либо использование мультимодалок для перевода текста/аудио в текст. Вот вайбкодить на этом, я думаю, никакого удовольствия не будет. Хз как оно с агентами будет работать, это конечно требует больше тестов. Но тут есть НЮАНСИКИ: Во-первых, производительность, даже 100 ток\сек кажутся чудовищно медленными. Во-вторых, сайд эффекты от квантизации лупят мощно по конечному результату. Иногда модели даже жестко игнорят инструкции, и это на маленьком контексте. Под агентов нужен контекст минимум 100к, а на нем эти проблемы могут стать хуже. P.S. Все репорты на бусти залил еще с утра.
Автор не впечатлился локальными моделями

Кратко (AI)

Автор делится скептическим мнением о локальных моделях: считает, что они годятся главным образом для суммаризации и перевода, но плохо подходят для узконаправленных задач и вайбкодинга. Среди проблем он называет низкую скорость, ухудшение результатов после квантизации и возможное игнорирование инструкций; работу с агентами считает требующей дополнительных тестов.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖