Прошу любить и жалоловать Yozh Scraper v 0.1.0. Внутри durable-очередь, движок Camoufox и CyberYozh proxy v2. Все бесплатно и open source.
Cкрапер из однопроцессного превратился в горизонтально масштабируемый сервис, обзавёлся анти-бот движком на базе Firefox и переписанной интеграцией с прокси.
✔️
Масштабируемая очередь на Redis (taskiq) Браузеры теперь живут в отдельных scraper-worker-контейнерах. Масштабируешь одной командой: --scale scraper-worker=N. Задачи
переживают рестарт API — состояние, результаты и сессии хранятся в Redis, а не в памяти процесса. Мёртвый воркер? Reaper подхватит и переставит задачу в очередь.
✔️
Новый движок Camoufox ("
закалённый"
Firefox) Выбирается
на каждый запрос через browser_engine, со своими опциями фингерпринта. Yandex SERP теперь ходит через Camoufox и
проходит SmartCaptcha. Бонус — read-back applied_*: видно, какой фингерпринт реально применился.
✔️
Защита от WebRTC-утечек Новый webrtc_stealth.js не удаляет WebRTC (это само по себе палит), а оставляет его
нативным на вид — реальный IP не течёт мимо прокси.
✔️
CyberYozh proxy v2 + премиум-пулы Клиент прокси переписан с нуля. Появились
премиальные ротационные резидентские/мобильные прокси (prem_res_rotating) с
warm-up — сессия прогревается перед реальным скрапом, чтобы пройти cold-session гейты. Ротация теперь и на бан/транзиентные ошибки, не только на капчу. SOCKS5 с авторизацией работает и на логине.
✔️
Сессии на Redis storage_state бэкается в Redis — залогиненные сессии переживают рестарт контейнера и шарятся между воркерами.
✔️
Наблюдаемость Новый эндпоинт GET /api/v1/queue/stats — глубина стрима, in-flight и активные консьюмеры в реальном времени.
✔️
Пресеты и SERP Yandex локализуется по lr; отключён stealth на google_shopping (убивал капчу); починены walmart_product и youtube_video; добавлен детект /showcaptcha.
Star, Fork, Like. 👉
https://github.com/CyberYozh-data/yozh-scraper 