hFeed
И
← к ленте

Теория заговора: намеренное раздувание токенов в LLM

Размышления о том, специально ли разработчики ИИ делают модели многословными для увеличения потребления токенов и прибыли.

Короче, ловите теорию заговора: а что если продавцы лопат (антропик, опенайай и прочие), специально тренят модельки таким образом, чтобы вместо полезной работы сливать токены в воду (типа вежливость, излишние разъяснения и все в таком духе). У всех же есть потокеновые тарифы и явно они не пашут в сильный убыток (да есть х50000 больше затрат на обучение, но с инференсом-то дела попроще). А так, ты сливаешь токены не в результат, а какую-то шляпу бестолковую. P.S. Тут просто появился агентный скилл caveman, который заменяет стиль общения с такого:
Да, вы абсолютно правы, в коде действительно есть баг, который я пропустил. Извините, что сразу не заметил его. Я всё исправил. Теперь код работает без проблем.
На такое:
Баг найти. Баг исправить. Хороший код.
И это экономит токены на 75% 😂 Еще есть lora под локальную Gemma4-31b

Кратко (AI)

Автор выдвигает теорию, что разработчики ИИ намеренно обучают модели быть излишне вежливыми и многословными, чтобы увеличить расход токенов и прибыль. В качестве решения предлагается использование агентных стилей общения, таких как «caveman», которые позволяют значительно сократить количество потребляемых токенов.

Обсуждение

0
И

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖

Настройка шрифта

В тренде