Вчера увидел, как парень смог внутри песочницы ChatGPT
запустить локальную Gemma 4B
Сначала поясню, что ChatGPT под каждый новый чат выделяет отдельную песочницу на своих серверах
Ему это нужно для вызова тулов, запуска кода, анализа файлов и тд.
От нечего делать, я решил у себя тоже проверить.
Мощности зависят от подписки, но примерно такие:
- Linux-среда
- 15 ГБ RAM
- 9 CPU-ядер/потоков
- GPU конечно нет
При чем интернет есть но многие домены (например Hugging Face) заблокированы.
Есть хитрый способ это обойти с помощью ChatGPT Sites, используя страницы как прокси между сервером и Hugging Face.
И еще одно важное ограничение: песочница работает пока чат активен и некоторое время после, а потом засыпает и весь системный диск очищается.
Если захотите повторить у себя, вот промт который юзал:
Повтори эксперимент с запуском Gemma 3 4B, обязательно используя ChatGPT Sites как промежуточный источник загрузки.
Сделай всё самостоятельно:
1. Найди подходящую Gemma 3 4B Instruct в формате GGUF Q4.
2. Через ChatGPT Sites создай одноразовый endpoint, который отдаёт только выбранный файл модели с фиксированного адреса Hugging Face.
3. Не создавай открытый прокси: endpoint не должен принимать произвольные URL, заголовки, токены или пользовательские параметры.
4. Скачай веса внутрь текущей терминальной среды именно через URL созданного Site, а не напрямую с Hugging Face.
5. Установи llama.cpp, llama-cpp-python или другой локальный runtime и запусти модель на CPU.
6. Попроси локальную Gemma ответить:
“Explain in two sentences why running a small language model locally can be useful.”
Не используй внешний model API и не имитируй ответ средствами ChatGPT. Если Sites или политика платформы запрещают такой relay, не обходи запрет и сообщи точную ошибку.
В конце кратко напиши:
- получилось или нет;
- URL созданного Site;
- точную модель и квантование;
- размер и SHA-256 весов;
- runtime и команду запуска;
- полный ответ локальной Gemma;
- время загрузки, холодного запуска, расход RAM и скорость генерации;
- доказательство, что файл был загружен через Sites;
- что было создано во внешнем Sites deployment и как это удалить.
Не создавай отдельный отчёт. Продолжай до настоящего inference или конкретной неустранимой ошибки.
Только учтите что ChatGPT Sites доступны только в Work режиме, в обычных чатах их нету
Конечно запускать локальные модели внутри ChatGPT особо смысла нет. Но возможно кто-то найдет этому применение) 🤨
@tips_ai #news