proxy is all you need
как-то незаметно частью любого агентского веб-харнесса стало наличие прокси, через которые можно ходить в веб
трафик ботов в этом году официально
обогнал человеческий. чтобы агент ходил в соцсети, парсил маркетплейсы, обходил каптчу и читал медиа, нужна хорошая надёжная сетка проксей. и как это часто бывает, все белые фенси стартапы зиждутся на невероятных костылях и серых схемах.
есть 3 типа прокси: публичные датацентры (aws, digitalocean), vps и резидентские. первые два антидетект блочит сразу, а третьи представляют особый интерес.
резидентские прокси это легитимные ip-адреса, выданные интернет-провайдером на устройство. обычно ты приходишь за этим к прокси-вендору. для порядка: 400 млн ip (bright data), 175 млн (oxylabs), 155 млн (soax), 115 млн (decodo). смысл большого пула в том, чтобы хватало свежих незасвеченных адресов и можно было ротироваться, пока каждый конкретный не сгорел.
есть этические методы сбора IP-адресов. это bandwidth-sharing приложения. вы ставите аппку, она показывает экран согласия, вы жмёте «да» и получаете деньги за трафик, который через вас роутится. погуглите packetstream, honeygain, pawns, earnapp. обычно они промотируются через сетку инфлов с запросами "хочешь получить деньги ничего не делая?"
вторая тема это sdk внутри чужого приложения. вендор платит разработчику за то, что тот вшивает его библиотеку в свою игру или утилиту. такие ребята вроде тоже спрашивают про твоё согласие, но вполне реально
будут гнать трафик прямо при запуске приложения-носителя.
и на чёрном конце это спектра - просто заражённые устройства. пиратские игры, бесплатные vpn, разные мутные браузерные расширения.
плюс есть провайдеры: вендор идёт и договаривается про их адресное пространство. это продаётся под вывеской isp-прокси как блоки ip, зарегистрированные на comcast, at&t, spectrum или bt, то есть в любой базе это честный домашний адрес.
например, гугл и фбр
прикрыли прокси-сеть netnut. поставщик её isp-прокси, divinetworks, тель-авивская контора 2004 года, которая начинала с оптимизации трафика для провайдеров, а потом переключилась на монетизацию неиспользуемого адресного пространства.
в их кейсе владелец адресного пространства был университет howard: под раздачу ушла
вся его сеть /16. конфигурацию ставил кто-то, у кого есть права на маршрутизацию: сам провайдер, подрядчик на аутсорсе или внутренняя команда.
isp-прокси торгуют ровно этим зазором. сам сервер стоит в датацентре, а адрес числится за домашним провайдером и антибот смотрит на то, за кем записан адрес. получаешь скорость датацентра по цене доверия к домашнему адресу. отсюда и цена: продаются не за гигабайты, а поштучно, порядка $1–2.4 за ip в месяц.
категория растёт.
у литовского oxylabs отчётность лежит в открытом доступе: €16.7 млн выручки в 2021-м, €44.9 млн в 2023-м,
€139.5 млн в 2025-м. чистая прибыли €62.7 млн.
oxylabs полностью бутсрап, кстати, в прошлом году купил scrapingbee на восьмизначную сумму из собственных денег. еще им принадлежит honeygain, одно из популярных bandwidth-sharing приложения. а в июле впервые за одиннадцать лет взял внешнее финансирование
$130 млн от американского pe-фонда warburg pincus при оценке $3.6 млрд.
главный конкурент, bright data, вырос на чёрном бесплатный vpn, у которого бесплатные юзеры становились нодами сети, а платные нет. к ноябрю 2016-го у hola было 100 млн пользователей. в 2017-м контрольный пакет забрал британский фонд EMK Capital ($125 млн за 75.6%, оценка $165 млн), в 2021-м luminati переименовали в bright data. bright data растет тоже хорошо $127.7 млн в 2024-м и больше $300 млн ARR в ноябре 2025-го
PE видимо дает неплохую сетку юристов, в 2023-м фб засудила bright data за скрейпинг facebook и instagram, а в январе 2024-го
проиграла, судья в сан-франциско решил, что условия использования не нарушены. а иск твиттера суд просто
отклонил
вообще рынок прокси и скрейпинга ходит за руку и потихоньку консолидируется. а текущему консюмеру разница между ними уже не видна. поэтому VC больше дает деньги в браузерскую инфру и скрапинг, что выглядит немного белее. модные скрейпинг-стартапы типа firecrawl или browserbase говорят, что работают только с этичными прокси, но я что-то подозреваю, что они просто берут провайдера и какую-то расписку с него. аудит никто не делает.
вот так и дошли потихоньку до того, что человек enable-ит архитектуру для агентов просто своим присутствием и девайсом. а говорите, базовый доход с AI не доступен.
ps правда, возможно, тут есть конкуренция со стороны вашей
стиральной машины
