Про бокс, пояса и 190 тысяч боёв в одной базе Люблю бокс. Когда смотришь хороший бой, хочется понять регалии соперников: кто чемпион и чего именно. С любителями просто: одна федерация, олимпийский цикл, медали. В профи четыре организации: WBA, WBC, IBF, WBO. У каждой свои пояса, «суперчемпионы», временные и регулярные титулы, свои рейтинги. В одном весе может быть пять-шесть чемпионов одновременно. Простого способа понять, кто из них сильнее, нет. Вся индустрия при этом живёт на одном сайте. Ему лет двадцать. Данные не всегда точные, на запросы лимиты, спросить что-то простым языком нельзя. Это проблема не только болельщика. Мой тренер Тимур Ибрагимов (писал о нём здесь) часто ищет бои для своих боксёров. Нужен соперник в том же весе, с сопоставимым и не дутым рекордом, свободный в нужную дату. Без нормальной базы это звонки, переписки и всё тот же старый сайт, на котором нельзя сделать много запросов. Подобрать бой реально сложно. Недавно писал о найме Databricks-инженеров, и на собеседованиях в который раз восхитился тем, как искусно люди строят дата-пайплайны. Захотелось проверить себя и новые Fable и Astra: сколько из этого соберут агенты. Взял только открытые источники, без закрытых каталогов и копирования чужих баз. Сначала за выходные, потом в фоновых сессиях Claude и Codex написали десятки парсеров. Они читают Википедию на нескольких языках, протоколы атлетических комиссий Невады, Техаса и Калифорнии, результаты WBA, IBF и Британского совета по боксу, японские карты боёв. Код агенты писали сами, но под присмотром. Сергей Булаев, с подачи которого я когда-то пересел на Claude Code, помогал техническими советами: SEO, видимость в AI-поиске, базовая оптимизация сайта. Что из собранного важно людям из бокса, а что нет, объяснял Тимур. После каждого разговора с ним список того, что надо собирать, менялся. Так получился boxerbook.com: • около 190 тысяч боёв с 1880-х, у каждого видно, откуда данные и насколько они подтверждены • больше 13 тысяч боёв подтверждены официальными протоколами комиссий • собственный рейтинг, где у каждой цифры есть объяснение: почему боксёр стоит здесь, а не выше • титулы и пояса всех организаций в одном месте • календарь и результаты боёв - обновляются сами каждое утро • любительские карьеры и медали • больше 5 тысяч боксёрских залов Скоро добавлю агентов для болельщиков и промоутеров: можно будет спросить кто сильнее, когда следующий бой, почему у него такой рейтинг и получить ответ со ссылками на источники. Аналитики пишут, что главная защита приложения от конкурентов - данные, которые сложно собрать и поддерживать в актуальном состоянии. Так ли это сложно, когда есть современные инструменты? В каждой нише есть сайт или приложение двадцатилетней давности, на котором держится вся индустрия. Его терпят, потому что альтернативы нет. Чтобы повторить такую базу, нужно было годами собирать данные руками. Если исходники лежат в открытых протоколах и архивах, эту работу можно отдать агентам в фоновых сессиях. Сложнее всего было понять, какие вопросы вообще важны. Некоторые из них не задали бы ни Claude, ни Codex, ни я. Их принёс человек, у которого за плечами больше двухсот боёв. Посмотрите и напишите, чего не хватает: boxerbook.com @maxvotek | linkedin | substack

А чем я вообще занимаюсь? Хоть у меня и нет синдрома самозванца, но я иногда смотрю на свою работу со стороны и такой: «Да чем ты вообще занимаешься целый день?! Твоя задача всего лишь переложить таблички с одного места на другое и потом соеденить их. Что в этом сложного» 🤔 И на словах оно в целом так и есть. И вроде бы в работе с табличками особо ничего сложного нет, но потом работаешь и … Была у меня тут простая на первый взгляд задача - заинсертить (положить) данные в таблицу) Ну то есть что-то типо такого запроса:

insert table1
select * from table2
where id in (ну и тут айдишники отобранные по условию)

Опустим часть о том как именно достать эти айдишники (это тоже не всегда просто, но сейчас не об этом) - это делается с помощью запроса с джойнами у условиями Казалось бы задача решена - просто подставить наше условие в скобки в скрипте выше, но так не всегда работает, так как запрос тяжелый. Не понятно когда отработает, а там таймаут, ресурсов много хочет и тд Пришлось не много помаяться с этим 🤔 Короче в итоге я создал промежуточную таблицу, куда заинсертил нужные мне айдишники. Но и заинсертить было не так просто: сделал ДАГ который берет данные за один день, дальше это один день еще резался на чанки, дальше были вычисления и инсерт 🎉 И вот маленькая задача (даже задачей это сложно назвать), превратилась в целый квест А у вас бывают мысли о том что вы на работе занимаетесь не пойми чем?

Как уже рассказывал, я 2 месяца назад сменил работу. Далось (а где-то и все еще дается) мне это сложнее чем ожидалось И случилось это из-за двух вещей: 1️⃣Раньше я не так много работал с витринами данных. Работал, конечно, но они были не большие и было много другой дата инженерной работы, а тут основная часть работы это витрина со сложной (по крайне мере для меня) логикой Погружение в это все 2️⃣На своем предыдущем месте я отработал 2.5 года и там все строилось с нуля, поэтому прям сильно погружаться не приходилось, я и забыл какого этого И вот с учетом этих двух пунктов на новом месте я чувствую себя себя каким-то джуном который вообще не понимает, что происходит ➕Главное в таких ситуациях не стеснятся просить помощи (особенно в вещах, которые сам вряд ли поймешь). Чувствую, конечно, что я, наверное, уже сильно задолбал людей своими вопросами, но без этого не куда 🥳И вот когда постепенно начинаешь разбираться в этом всем, то такое классное чувство. Как будто с нуля учишься айти в целом. Как будто уже становишься не лохом)

Как не надо проходить собеседования Значит где-то год назад: Захотел я поменять свое место работы (но не прям сильно захотел), обновил резюме и сижу жду пока меня крутого дата инженера куда-то позовут. Если кто-то будет приходить то буду проходить собесы, а если нет, то мне и тут хорошо И в целом ко мне приходили и звали на собес, но понятно что это происходило реже по сравнению с тем что если бы я сам откликался на вакансии И тут то и возникает главная проблема - умение проходить собеседование это все равно навык, он, конечно, имеет определенную корреляцию с тем насколько ты крутой спец, но все равно далеко не полностью Например на собесах на DE обычно дают sql задачку и часто какую-то простенькую (по крайне мере одну из первых) на оконные функции (пример в коментах) Я оконки знаю и умею с ними работать, но например за последние пару месяцев я их вообще не касался, а работал с другими вещами и в итоге простейшая задача, которая должна занять у меня меньше 5 минут, занимает минут 15 и еще какую-то глупую ошибку сделаю И как же с этим бороться? Ну если мы говорим именно про часть лайв кодига (а помимо sql часто еще и питон дают), то тут есть 2 варианта: 1) Заходить на специальные ресурсы для решения задач по питону и sql (тут писал как меня заблокировали на одном из таких). Ну это ведь это получается, что мы готовимся к собесу, а готовится к собесу это айтой (автор выражает лишь собственное безоговорочно правильное мнение) 2)Посещать больше собесов. И в итоге мы получаем, что к предстоящим собесам готовимся на предыдущих Если мы выбираем второй вариант (а мы выбираем второй вариант), то получаем, что чем больше собесов тем лучше. И поэтому мы не ждем рыбы у моря (ну или как там говорится), а сами откликаемся на вакансии и готовимся к собесам на собесах