Про бокс, пояса и 190 тысяч боёв в одной базе Люблю бокс. Когда смотришь хороший бой, хочется понять регалии соперников: кто чемпион и чего именно. С любителями просто: одна федерация, олимпийский цикл, медали. В профи четыре организации: WBA, WBC, IBF, WBO. У каждой свои пояса, «суперчемпионы», временные и регулярные титулы, свои рейтинги. В одном весе может быть пять-шесть чемпионов одновременно. Простого способа понять, кто из них сильнее, нет. Вся индустрия при этом живёт на одном сайте. Ему лет двадцать. Данные не всегда точные, на запросы лимиты, спросить что-то простым языком нельзя. Это проблема не только болельщика. Мой тренер Тимур Ибрагимов (писал о нём здесь) часто ищет бои для своих боксёров. Нужен соперник в том же весе, с сопоставимым и не дутым рекордом, свободный в нужную дату. Без нормальной базы это звонки, переписки и всё тот же старый сайт, на котором нельзя сделать много запросов. Подобрать бой реально сложно. Недавно писал о найме Databricks-инженеров, и на собеседованиях в который раз восхитился тем, как искусно люди строят дата-пайплайны. Захотелось проверить себя и новые Fable и Astra: сколько из этого соберут агенты. Взял только открытые источники, без закрытых каталогов и копирования чужих баз. Сначала за выходные, потом в фоновых сессиях Claude и Codex написали десятки парсеров. Они читают Википедию на нескольких языках, протоколы атлетических комиссий Невады, Техаса и Калифорнии, результаты WBA, IBF и Британского совета по боксу, японские карты боёв. Код агенты писали сами, но под присмотром. Сергей Булаев, с подачи которого я когда-то пересел на Claude Code, помогал техническими советами: SEO, видимость в AI-поиске, базовая оптимизация сайта. Что из собранного важно людям из бокса, а что нет, объяснял Тимур. После каждого разговора с ним список того, что надо собирать, менялся. Так получился boxerbook.com: • около 190 тысяч боёв с 1880-х, у каждого видно, откуда данные и насколько они подтверждены • больше 13 тысяч боёв подтверждены официальными протоколами комиссий • собственный рейтинг, где у каждой цифры есть объяснение: почему боксёр стоит здесь, а не выше • титулы и пояса всех организаций в одном месте • календарь и результаты боёв - обновляются сами каждое утро • любительские карьеры и медали • больше 5 тысяч боксёрских залов Скоро добавлю агентов для болельщиков и промоутеров: можно будет спросить кто сильнее, когда следующий бой, почему у него такой рейтинг и получить ответ со ссылками на источники. Аналитики пишут, что главная защита приложения от конкурентов - данные, которые сложно собрать и поддерживать в актуальном состоянии. Так ли это сложно, когда есть современные инструменты? В каждой нише есть сайт или приложение двадцатилетней давности, на котором держится вся индустрия. Его терпят, потому что альтернативы нет. Чтобы повторить такую базу, нужно было годами собирать данные руками. Если исходники лежат в открытых протоколах и архивах, эту работу можно отдать агентам в фоновых сессиях. Сложнее всего было понять, какие вопросы вообще важны. Некоторые из них не задали бы ни Claude, ни Codex, ни я. Их принёс человек, у которого за плечами больше двухсот боёв. Посмотрите и напишите, чего не хватает: boxerbook.com @maxvotek | linkedin | substack

Youtu-Parsing-Omni Компактная омнимодальная парсинг-модель от Tencent: один 5B трансформер превращает в структурированный JSON почти что угодно — документ, картинку, график, чертеж, аудио и видео. • Парсинг документов: лейаут, текст, таблицы, формулы, порядок чтения • Картинки, графики, блок-схемы, геометрические фигуры • Аудио: ASR, спикеры, сцены, акустические события • Видео: кадры, OCR+ASR, отчёт о клипе • Один унифицированный JSON-конверт для семи семейств задач • Распознавание химструктур (ChemOCR) и нот (PDMX) • 5B параметров, один энкодер на все модальности • #SOTA на OmniDocBench v1.6 (96.96) • Лучшая опенсорс на OmniParsingBench (75.08), после Gemini-3-Pro • vLLM-плагин для быстрого сервинга github.com/TencentCloudADP/youtu-parsing learn2play.fun #omnimodal #multimodal #any2json #vlm #alm MAX

Что такое RAGFlow и с чем его едят Технический отчёт на 40 страниц, таблица с характеристиками модели на 25-й странице, а примечание про гарантию при 380V на 26-й. Спрашиваешь у LLM гарантийный срок, и классическая RAG-система режет документ на равные куски по 500–1000 токенов вслепую, не глядя на вёрстку. Слова «модель X» и «380V» в поиск попадают, а строчка с условием гарантии отрывается и уезжает в другой фрагмент. Модель получает обрывки и начинает додумывать, выдаёт цифру, которой в документе нет. RAGFlow заходит с другой стороны. Он сначала распознаёт древо заголовков и сетку таблиц, держит таблицу единым объектом и только потом нарезает смысловые блоки, а в ответе показывает конкретные ячейки, откуда взял данные. Посмотрим, как он собирает цельную картину там, где обычная нарезка отдаёт модели рваньё.

🚀 Yozh Scraper v0.1.9 уже на базе! Небольшое, но важное обновление - меньше ложных блокировок, пустых результатов и ненужного ожидания:

— Bing теперь возвращает реальные URL вместо click-tracking ссылок — заблокированные/CAPTCHA-страницы определяются сразу - экономим до ~45 секунд на запрос — browser-check Яндекса больше не считается блокировкой и не вызывает лишнюю ротацию прокси — throttle-страницы Amazon теперь корректно распознаются как блок и отправляются на повторную попытку — ошибки warmup-навигации теперь видны в meta.applied_warmup

И да! Это бесплатно и opensource с максимально свободной лицензией 👉 https://data.cyberyozh.pro/ru/ Ваши репосты, упоминания и ссылки на нас всегда 🫶

🌐 Наткнулся на важный скилл, который наделяет Claude, Cursor и другие ИИ-агенты суперсилами для поиска в интернете — Agent Reach учит агентов скраппингу, парсингу и анализу веба. → Самое главное — всё работает без платных API, тулза сама ищет способы бесплатно подключаться к нужным источникам. → Агент получит доступ ко всему интернету — твитам в X, тредам в Reddit, репо на GitHub, профилям на LinkedIn и даже закрытым китайским сайтам. → Нейронка сможет смотреть любые видео на YouTube, делать выжимки и читать комментарии. → Скилл может использовать вашу локальную сессию браузера и работать через ваши аккаунты. → Если основной метод подключения к сайту перестаёт работать — он автоматически переключается на запасной. Золото для парсинга в сети — тут. @notboring_tech

✔️ Cloudflare вводит фильтрацию ИИ-ботов по категориям Платформа обновила систему управления ИИ-ботами, перейдя от полной блокировки автоматизированного трафика к точечному распределению прав доступа. Краулеры разделены на 3 категории: Search (индексация для ИИ-поиска), Agent (действия от лица пользователей в реальном времени) и Training (сбор данных для обучения моделей). С 15 сентября 2026 года платформа изменит базовые настройки для новых доменов. На страницах с рекламой система начнет автоматически блокировать Training- и Agent-ботов. Доступ останется только у категории Search ради сохранения реферального трафика. Корпоративные клиенты дополнительно получат каталог верифицированных алгоритмов BotBase, который позволяет идентифицировать конкретного бота и ограничить его действия (например, запретить полное копирование или сохранение материалов сайта). @ai_machinelearning_big_data #news #ai #ml

Сегодня увидел OpenSERP: опенсорсный инструмент, который отдаёт поисковую выдачу из Google, Yandex, Baidu, Bing, DuckDuckGo в виде JSON. По работе постоянно проверяю поисковую выдачу под SEO, как ранжируется, что в топе и всё это в разных поисковиках и регионах. Тут, всю эту работу можно делать с агентом и получать структурированный ответ: заголовки, ссылки, сниппеты, позиции и SERP-фичи (AI-ответы, блок с ответом, похожие запросы), и сразу из нескольких поисковиков. Фишка тут в том, что API ключи от самих поисковиков не нужны. OpenSERP парсит их живую выдачу напрямую, но может прилететь капча, поэтому в конфиге поддерживаются прокси HTTP/SOCKS5. Обращаться можно через его API или CLI:

/{engine}/search — веб-поиск по конкретному поисковику /{engine}/image — поиск картинок /mega/search — поиск по нескольким движкам /extract — извлечение чистого контента с одной страницы

Выдача фильтруется по языку, региону, датам и тд. Если поднять у себя, то работаешь бесплатно. Можете скормить своему агенту доки или гитхаб чтобы подключить. @tips_ai #tools

Когда-то давно в одном из проектов я делал конвертер криптовалют. Так как владельцы проекта экономили на подписках, курсы брали скриптом по расписанию прямо с веб-страниц постороннего сервиса. API там не было, страницы рендерились на сервере. Каждую страницу приходилось парсить, выковыривая из HTML конечные цифры. Время от времени сервис менял верстку, и поток данных у нас иссякал, нужно было корректировать правила парсинга. Активность по извлечению данных из веб-страниц называется скраппинг (или скрейпинг). Мне для PersMarket такое нужно, поэтому подбираю современные инструменты. Вот некоторые из них, бесплатные и опенсорсные. 🔹Scrapy - кроссплатформенный фреймворк для краулинга (это когда ваш скрипт обходит сайты, как поисковый бот Гугла, например) и скраппинга, сделан на Python. Можно использовать также для мониторинга и автотестирования. 621 контрибьютор в репозитории. Есть подробная документация. 🔹CyberScraper 2077 - анонсирован как "AI powered", то есть извлекает данные по-умному, используя внешние или локальные ИИ-модельки. Имеет графический интерфейс. Умеет экспорт в JSON, CSV, HTML, SQL и даже Excel. Есть встроенный "режим невидимки" и решение капчи. 🔹Crawl4AI - еще один извлекатель данных с поддержкой ИИ, гордится плашкой "Реопзиторий дня #1". Вроде бы очень умный, даже эвристичный, и быстрый, даже слишком, но вот коммитов в этом году не было. Документация имеется. 🔹WaterCrawl - этот поактивнее развивается, использует Python, Django, Scrapy и Celery под капотом для извлечения данных. Поднимается в Docker-контейнере. Имеет поисковый движок и поддержку мульти-язычности. Интегрируется с n8n и подобными платформами. 🔹AnyCrawl - пишут, что высокопроизводительный, может работать как с отдельными страницами, так и обходить сайты пачками. Имеет режимы парсинга как голого HTML, так и рендеренного с помощью JS контента через Playwright и Puppeteer. Можно запускать через прокси и использовать кэш. Более 3300 звезд на Github и 3,5 сотни форков. Коммиты есть буквально позавчера. 🔹Botasaurus - фреймворк "все-в-одном", как они его назвали. Умеет не просто парсить, а обходить антибот-защиты, фаерволы и капчи. Там даже демо-гифка есть, как оно само на капчу Claudflare нажимает. Умеет работать в параллели, кэшировать, очищать данные. Использовать можно прямо в своем Python-скрипте. И еще один инструмент до кучи - Monolith, это "Сохранить страницу как" на стероидах. Даете ему адрес, он берет HTML, сдабривает CSS, добавляет JS и картинки, в итоге генерируя единый HTML5 документ в виде файла. #tools