And to remind you of bipolar nature of my mind, here are my notes on local LLMs: 1. 99% of them are horrible, just outright barely usable even for low-risk applications. Qwen 3.6 derivatives passed some benchmarks but SUX ARSE (Prism 27B included). Nvidia's own stuff is trash too. 2. The exact model is more important than the family. The size (8B, 12-14B, 27B, etc) maters less than how tuned and mixed it is. 3. For my goals I ended up with two very capable models: https://huggingface.co/Brunobkr/OFFELLIA_Gemma-4-E4B-8b-Claude-4.6-Opus-Reasoning-MTP - a tiny 7.5B model but very well tuned for tech stuff. Makes some mistakes, so ask wisely. Can run on a laptop. https://huggingface.co/mudler/gemma-4-26B-A4B-it-Claude-Opus-Distill-APEX-GGUF - fairly big MoE for all sorts of stuff. Eats tons of RAM, but Mix of Experts with APEX allows it to still be very fast. And I run stuff via LM Studio #AI@GameDEV

Вчера увидел, как парень смог внутри песочницы ChatGPT запустить локальную Gemma 4B Сначала поясню, что ChatGPT под каждый новый чат выделяет отдельную песочницу на своих серверах Ему это нужно для вызова тулов, запуска кода, анализа файлов и тд. От нечего делать, я решил у себя тоже проверить. Мощности зависят от подписки, но примерно такие:

- Linux-среда - 15 ГБ RAM - 9 CPU-ядер/потоков - GPU конечно нет

При чем интернет есть но многие домены (например Hugging Face) заблокированы. Есть хитрый способ это обойти с помощью ChatGPT Sites, используя страницы как прокси между сервером и Hugging Face. И еще одно важное ограничение: песочница работает пока чат активен и некоторое время после, а потом засыпает и весь системный диск очищается. Если захотите повторить у себя, вот промт который юзал:

Повтори эксперимент с запуском Gemma 3 4B, обязательно используя ChatGPT Sites как промежуточный источник загрузки. Сделай всё самостоятельно: 1. Найди подходящую Gemma 3 4B Instruct в формате GGUF Q4. 2. Через ChatGPT Sites создай одноразовый endpoint, который отдаёт только выбранный файл модели с фиксированного адреса Hugging Face. 3. Не создавай открытый прокси: endpoint не должен принимать произвольные URL, заголовки, токены или пользовательские параметры. 4. Скачай веса внутрь текущей терминальной среды именно через URL созданного Site, а не напрямую с Hugging Face. 5. Установи llama.cpp, llama-cpp-python или другой локальный runtime и запусти модель на CPU. 6. Попроси локальную Gemma ответить: “Explain in two sentences why running a small language model locally can be useful.” Не используй внешний model API и не имитируй ответ средствами ChatGPT. Если Sites или политика платформы запрещают такой relay, не обходи запрет и сообщи точную ошибку. В конце кратко напиши: - получилось или нет; - URL созданного Site; - точную модель и квантование; - размер и SHA-256 весов; - runtime и команду запуска; - полный ответ локальной Gemma; - время загрузки, холодного запуска, расход RAM и скорость генерации; - доказательство, что файл был загружен через Sites; - что было создано во внешнем Sites deployment и как это удалить. Не создавай отдельный отчёт. Продолжай до настоящего inference или конкретной неустранимой ошибки.

Только учтите что ChatGPT Sites доступны только в Work режиме, в обычных чатах их нету Конечно запускать локальные модели внутри ChatGPT особо смысла нет. Но возможно кто-то найдет этому применение) 🤨 @tips_ai #news

Сделал экспресс-тест дешевых облачных моделей для переводов продуктовых отзывов с англ на ру. Очень хороша оказалась Gemma 4 26B на openrouter - по костам значительно эффективнее flash 3.1 lite; по качеству в разы лучше Google Translate (условно-бесплатного). Пример:

The carbon fiber plate in these is snappy! I shaved 15 seconds off my mile pace on the first run. But man, the upper is paper-thin and feels like plastic. I'm worried it will tear if a twig catches it. Definitely a race-day only shoe, not a daily driver. Super pricey too.

google translate:

Пластина из углеродного волокна в них отличная! На первом забеге я сбил свой темп на милю на 15 секунд. Но, черт возьми, верх тонкий, как бумага, и на ощупь напоминает пластик. Я боюсь, что он порвется, если его зацепит ветка. Определенно обувь предназначена только для гонок, а не для повседневного использования. Очень дорогой.

gemma 4 26B:

Карбоновая пластина в этих кроссовках — просто пушка, очень отзывчивая! На первой же пробежке я скинул 15 секунд со своего темпа на милю. Но блин, верх тонкий как бумага и на ощупь как пластик. Переживаю, что порвутся, если зацеплюсь за какую-нибудь ветку. Однозначно кроссовки только для соревнований, а не на каждый день. И цена, конечно, кусается.

31B тоже хорошая, но дороже. flash lite - еще дороже. qwen 3.6 - тоже дорогой. Начал разбираться, читать отзывы - выяснилось что Gemma 4 как раз отлично подходит для одношаговых задач, а ее слабое место - tool calling. Для переводов европейских языков - рекомендую.