Прошу любить и жалоловать Yozh Scraper v 0.1.0. Внутри durable-очередь, движок Camoufox и CyberYozh proxy v2. Все бесплатно и open source.

Cкрапер из однопроцессного превратился в горизонтально масштабируемый сервис, обзавёлся анти-бот движком на базе Firefox и переписанной интеграцией с прокси.

✔️ Масштабируемая очередь на Redis (taskiq) Браузеры теперь живут в отдельных scraper-worker-контейнерах. Масштабируешь одной командой: --scale scraper-worker=N. Задачи переживают рестарт API — состояние, результаты и сессии хранятся в Redis, а не в памяти процесса. Мёртвый воркер? Reaper подхватит и переставит задачу в очередь. ✔️ Новый движок Camoufox ("закалённый" Firefox) Выбирается на каждый запрос через browser_engine, со своими опциями фингерпринта. Yandex SERP теперь ходит через Camoufox и проходит SmartCaptcha. Бонус — read-back applied_*: видно, какой фингерпринт реально применился. ✔️ Защита от WebRTC-утечек Новый webrtc_stealth.js не удаляет WebRTC (это само по себе палит), а оставляет его нативным на вид — реальный IP не течёт мимо прокси. ✔️ CyberYozh proxy v2 + премиум-пулы Клиент прокси переписан с нуля. Появились премиальные ротационные резидентские/мобильные прокси (prem_res_rotating) с warm-up — сессия прогревается перед реальным скрапом, чтобы пройти cold-session гейты. Ротация теперь и на бан/транзиентные ошибки, не только на капчу. SOCKS5 с авторизацией работает и на логине. ✔️ Сессии на Redis storage_state бэкается в Redis — залогиненные сессии переживают рестарт контейнера и шарятся между воркерами. ✔️ Наблюдаемость Новый эндпоинт GET /api/v1/queue/stats — глубина стрима, in-flight и активные консьюмеры в реальном времени. ✔️ Пресеты и SERP Yandex локализуется по lr; отключён stealth на google_shopping (убивал капчу); починены walmart_product и youtube_video; добавлен детект /showcaptcha. Star, Fork, Like. 👉 https://github.com/CyberYozh-data/yozh-scraper