Почему мы отказались от Claude в пользу Hermes + Codex. Весной мы стали использовать RapidAPI LinkedIn Sales Navigator Scraper – через MCP Claude Code должен был сделать запрос к LinkedIn Sales Navigator и выгрузить данные поиска. Мы использовали обычный Claude Code, который работал из-под VS Code. Пару раз Claude Code собрал нужные нам данные, правда токены на $20 тарифе Клода закончились буквально за 10 минут и пришлось ждать 4 часа, пока они перезарядятся. Выждав это время, я пошёл скрапить Sales Navigator и это был первый раз, когда я столкнулся с ЦЕНЗУРОЙ от ИИ. Естественно Claude было по фигу, что за доступ к этому API мы заплатили $150. При просьбе собрать данные он просто сказал, что он отказывается пользоваться этим MCP и собирать при помощи него Sales Navigator данные потому, что это идёт ВРАЗРЕЗ С ПРАВИЛАМИ ИСПОЛЬЗОВАНИЯ LINKEDIN. Я был немного в шоке из-за 2 вещей: во-первых, как молниеносно улетают мои кредиты в Claude, а во-вторых, как можно заниматься лидгеном, если ИИ так жёстко цензурирует стандартные лидген-практики. Тогда я попросил ChatGPT написать код и собирал данные програмно через терминал. Неудобно, но зато код в терминале полностью лишён саморефлексии 😁 Потом с подачи друга я затестил Hermes на Codex и решил запустить мой скрапер – на удивление всё прекрасно сработало. Не было никакой цензуры, и я ни разу не упёрся в лимиты. С тех пор я перевёл почти все рабочих процессы на Hermes + Codex, а в Claude только делал какие-то локальные задачки. Но сегодня он меня окончательно выбесил. 😈 Я попросил Claude сделать описания для 2 LinkedIn профилей. Он у меня запросил: “Нужны ли тебе описания для 2 настоящих людей или для 2 вымышленных людей”. Я выбрал пункт 2. Claude сказал, что он не будет этим заниматься, т.к. опять же это противоречит правилам LinkedIn. После этого он попросил меня подтвердить, что всё-таки эти описания для живых людей. Я ему сказал, что мол да, давай пиши и он выдал: “Помня ваш предыдущий запрос по созданию описаний для несуществующих людей и ввиду того, что тот запрос шёл вразрез с условиями использования платформы, я прошу описать подробно бэкграунд людей, имена, роли и так далее”. Спасибо, что паспорт не попросил для верификации и головой помотать! Надо ли говорить, что Hermes на Codex подготовил отличные описания с первого же промпта. #li_content

Прошу любить и жалоловать Yozh Scraper v 0.1.0. Внутри durable-очередь, движок Camoufox и CyberYozh proxy v2. Все бесплатно и open source.

Cкрапер из однопроцессного превратился в горизонтально масштабируемый сервис, обзавёлся анти-бот движком на базе Firefox и переписанной интеграцией с прокси.

✔️ Масштабируемая очередь на Redis (taskiq) Браузеры теперь живут в отдельных scraper-worker-контейнерах. Масштабируешь одной командой: --scale scraper-worker=N. Задачи переживают рестарт API — состояние, результаты и сессии хранятся в Redis, а не в памяти процесса. Мёртвый воркер? Reaper подхватит и переставит задачу в очередь. ✔️ Новый движок Camoufox ("закалённый" Firefox) Выбирается на каждый запрос через browser_engine, со своими опциями фингерпринта. Yandex SERP теперь ходит через Camoufox и проходит SmartCaptcha. Бонус — read-back applied_*: видно, какой фингерпринт реально применился. ✔️ Защита от WebRTC-утечек Новый webrtc_stealth.js не удаляет WebRTC (это само по себе палит), а оставляет его нативным на вид — реальный IP не течёт мимо прокси. ✔️ CyberYozh proxy v2 + премиум-пулы Клиент прокси переписан с нуля. Появились премиальные ротационные резидентские/мобильные прокси (prem_res_rotating) с warm-up — сессия прогревается перед реальным скрапом, чтобы пройти cold-session гейты. Ротация теперь и на бан/транзиентные ошибки, не только на капчу. SOCKS5 с авторизацией работает и на логине. ✔️ Сессии на Redis storage_state бэкается в Redis — залогиненные сессии переживают рестарт контейнера и шарятся между воркерами. ✔️ Наблюдаемость Новый эндпоинт GET /api/v1/queue/stats — глубина стрима, in-flight и активные консьюмеры в реальном времени. ✔️ Пресеты и SERP Yandex локализуется по lr; отключён stealth на google_shopping (убивал капчу); починены walmart_product и youtube_video; добавлен детект /showcaptcha. Star, Fork, Like. 👉 https://github.com/CyberYozh-data/yozh-scraper