StiTching Мне сегодня нужно было сшить кожу на пальце, и в процессе этого перформанса я вспомнила про model stitching. Чтобы скрасить время — врачебное и моё — начала рассказывать зачем это надо. Без понятия, зашло ли хирургу и медсестре, но зато я обнаружила для себя интересный тейк на поделиться с вами = ) Что:

Model stitching как идея появился в 2015 году. Его выдвинули как метод изучения эквивалентности двух сетей, но математическая эквивалентность здесь мимо не проходила — она, более того, не верна — авторы назвали два представления эквивалентными, если существует преобразование между ними, в математике мы требуем аксиом).

Тогда это осталось нишевым инструментом для картинок — юзали AlexNet-ы. Потом в 2021 NeurIPS идею дооформили, вышли две работы: Similarity and Matching of Neural Network Representations и Revisiting Model Stitching to Compare Neural Representations. Кстати, в первой работе шутили про Франкенштейна (или нет). Как это стало устроено: Смотрим на две обученные и замороженные сети A и B. «Сшитая» модель строится так: • берём нижние слои сети B (front model, представление r = B≤ℓ) • между ними ставим тонкий обучаемый stitching layer — единственный, кто обучается • подключаем к верхним слоям сети A (top model, A>ℓ) То есть делаем бутерброд из белого и темного хлеба, если хотите. А формально ищется простейший слой, задачей вида: L_ℓ(r; A) = inf_{s∈S} L(A>ℓ ∘ s ∘ r) Где s — stitching layer, A>ℓ — верхние слои A, r — представление из B. s∈S — тут специально, мы ищем слой из класса простых слоев, а инфимум (inf), как математический знак, говорит нам, что stitching layer обязан быть минимальным: для свёрточных сетей — 1×1 conv с BatchNorm, для трансформеров — token-wise linear. Как именно обучают stitching layer: — HLM (hard label matching) — минимизируем ошибку на настоящих метках задачи. — SLM (soft label matching) — минимизируем расстояние до предсказаний end-модели, а не до ground truth. — DM (direct matching) — напрямую минимизируем расстояние между активациями на уровне stitching. — FuLA (functional latent alignment, Athanasiadis et al., 2026) — stitching layer обучается имитировать не только выход end-модели, но и её внутренние процессы послойно (на пальцах плохо — надо читать). Метрика успеха — stitching penalty = разница между ошибкой сшитой модели и ошибкой базовой A. Penalty ≈ 0 означает совместимость. Penalty < 0 — сшитая модель стала лучше базовой, то есть мы буквально подсадили ей более сильные нижние слои. Зачем это нужно: Смотрим на фиолетовую/рыжую цитату — изначально — метрика сходства. Но потом пошло интереснее. Например, Stitchable Neural Networks (CVPR 2023) можно семейство предобученных моделей разного размера (например, Swin-Ti/S/B), сшить и получить модель, которая во время инференса может динамически переключаться между режимами accuracy/efficiency или T-Stitch: ускорение диффузионных моделей через замену первых шагов денойзинга на более лёгкую сеть и возврат к тяжёлой для финального качества. Это что, пахнет LoRA? Эту мысль я обдумывала при знакомстве со stitching. Вдруг она не возникла у вас — я опеределиа. Да: оба метода замораживают предобученные веса и вставляют тонкий линейный слой. Но нет: LoRA адаптирует одну модель к новой задаче, stitching измеряет совместимость двух уже обученных сетей на старой задаче. Финал не придумала, но stiting — одна из штук, висящих у меня на "идеи для рисерча". А ещё — просто вдумайтесь! Этот AI-мир можно сшить! Хирург, кстати, ничего не спросил, но швы наложил нормально. Аккуратнее будьте, друзья, и будьте здоровы! 😌

Интересное в мире хай-тек 2 июля 2026 Кратко о событиях за прошедший день 🖼 Anthropic обсуждает с Samsung выпуск собственного ИИ-чипа для инференса по 2-нм техпроцессу. Проект находится на ранней стадии, но в случае реализации позволит компании снизить зависимость от NVIDIA, а для Samsung станет шансом привлечь одного из крупнейших игроков рынка ИИ. 💠 Intel, по данным китайских источников, возобновит поставки процессоров 10-го, 12-го, 13-го и 14-го поколений в материковый Китай. Причина — высокий спрос на бюджетные ПК с DDR4 на фоне резко подорожавшей памяти DDR5. 🖥 Opera добавила функцию Paste Protect, которая защищает от атак ClickFix. Браузер распознаёт подозрительные команды, копируемые с сайтов, и блокирует их до попадания в буфер обмена, снижая риск запуска вредоносного кода через терминал. 🤐 DJI представила беспроводную систему Mic Mini 2S с записью в 32-bit Float и поддержкой до четырёх передатчиков одновременно. Передатчики могут работать как автономные рекордеры, есть встроенная память 14,5 ГБ и обратная совместимость с предыдущими моделями. Стоимость Mic Mini 2S в Китае начинается от 399 юаней (~4500 рублей). ⚙️ Intel выпустила драйвер ARC Pro 32.0.101.8804, который увеличивает максимальный объём ОЗУ, резервируемый под видеопамять интегрированной графики Panther Lake, с 87% до 93%. Также обновление ускоряет видеокарты ARC Pro B-Series в Blender до 15%. 💻 Microsoft прекратила продажи Surface Go 4 и Surface Laptop Go 3 и не планирует их замену, фактически сворачивая бюджетную линейку Surface. В качестве альтернативы компания продвигает Dell XPS 13 как замену в этом сегменте. 🍎 В сервисе Apple Hide My Email обнаружена уязвимость, из-за которой временные адреса могут раскрывать реальную почту пользователя. Исследователи заявляют, что проблему можно воспроизвести в тестах, а Apple была уведомлена о ней более года назад, но исправление не выпущено. #хайтекзадень

#Нейропрожарка CyberKolobok - Episode 1 Автор: Vitaly Mostovoy https://www.behance.net/druidmusicai-video Телеграм: @VitalyMostovoy 🛠 Решил запилить нейрослопчанского с минимальным сюжетом, в стиле переосмысления сказки про колобка в кибер сеттинге ⏱️ Срок: примерно 5 часов 💡 Идея пришла в голову довольно давно, но руки не доходили реализовать на практике, но вот выдался свободный вечер и решил уже закрыть гештальт. Косяки с консистентностью и некоторые артефакты не стал править специально, оставил как есть, чисто ради эксперимента закинул ролик в инсту с ютубчиком, и внезапно он стал люто набирать просмотры, на данный момент более 3М просмотров в ютубе и инсте, видимо, такого рода контент почему-то людям зашел. И подписоты набежало тысячи их. Даже немного обидно, есть видосы, в которые реально душу, ресурсы и время вкладываешь, а они никому не вперлись по итогу. Ну, значит, продолжаем наблюдение за алгоритмами, такскть, запилил еще 3 эпизода - ну они уже не залетели, однако подписочники от них продолжают прибывать, что уже неплохо 🔎 Что я использовал (решил обойтись минимумом инструментов): • Seedance 2 - анимация • GPT, NB Pro - статика • Suno - саундтрек (без фиброзного вокала, разумееццо)) • Premiere Pro – монтаж @cgevent

Когда я много лет назад разбирала тему расслабления с психологом, то мне всегда казалось, что если я по-настоящему расслаблюсь, то я вообще все брошу и не соберусь больше. Я тогда еще была уверена, что свой бизнес и любая самозанятость совсем не для меня, потому что я просто сама к себе не работу не приду. Как будто мне очень нужен и руководитель, и строгий контроль, и рельсы, по которым не съедешь. Потом оказалось, что если на работу смотреть как на свой выбор и любить свой интерес, то и работать хочется вечно. И конечно, я сама к себе на работу хожу и много и с удовольствием. Психолог тогда, кстати, тоже говорил, что «Оля, даже не переживайте, даже если вы ну совсем расслабитесь, у вас все будет сделано». Сегодня однако с Мишей Саидовым (я с Мишей индивидуально сейчас работаю) разбирала тему мульти интереса. Ко мне стучится в голову одна идея, не дает буквально мне спать и жить, но я не доверяю себе, надо ли мне туда. И что если это такая форма прокрастинации, чтобы не делать свои основные обязательства. А Миша подарил мне правило средних 20%: если вы 80% своих дел доделываете, то это ок, бросать 20% на половине. Интересу тоже надо служить и на него отвлекаться. Я сейчас сильно упрощу, но там любопытно, что если первые 20% от дел страдают - это к психологу, там страх провала сидит. Если последние 20% усилий - то это про то самое умение добежать последнюю милю: идите и трениуйте дисциплину. А если это в середине пути 20% дел/ тем/ проектов не доделываются, то и ок. Большим зовущим и падающим с неба идеям тоже надо служить. Да и небольшим - тоже. Думала рассказать об этом правиле в контексте, что и челлендж #каждыйденьлета писать пост может быть с пропусками, но вот и пост родился. Так что я продолжаю 🤣🩷 Миша, спасибо ✨🍾🥂

В Москве проводят конкурс «Небоскреб в русском стиле». Показываем некоторые работы финалистов (строить их, кажется, никто не собирается) Весной ГК «Стратегия Развития» и телеграм-канал «Небоскребы» объявили конкурс концепций «высотных зданий в современном русском архитектурном стиле» (что бы это ни значило). На первом этапе участники подали 135 работ, из которых жюри выбрало 10 финалистов. После доработки проектов из них выберут трех победителей. Среди этой десятки — деревянная дженга, несколько зиккуратов и дом с посадочными площадками для беспилотников. Отдельно компания-организатор выбрала еще 12 работ, с которыми издадут печатный календарь на 2027 год. Там можно найти стекляшку с куполом, гигантскую матрешку и сталинскую высотку на максималках. Комментарии под постом с результатами первого тура противоречивые:

Не хочу никого обидеть, но практически у всех работ стойкое ощущение, будто архитекторы времен Лужкова получили карт-бланш.

Все проекты — просто услада очей. [Некоторые из них] после небольшой полировки можно строить, украсят любой город, однозначно.

А еще сегодня организаторы запустили онлайн-голосование, в котором можно проголосовать вообще за любой проект, чтобы он получил приз зрительских симпатий. Ну же, подписывайся на 🕟

✔️ BMW внедряет робота-гуманоида Figure 03 в производственную логистику Автоконцерн начал использование человекоподобных роботов Figure 03 на заводе в Спартанберге (США) для комплектации и сортировки деталей.

Предыдущая модель, Figure 02, за 10 месяцев тестирования на предприятии поучаствовала в сборке более 30 тысяч автомобильных кузовов.

Новая версия гуманоида от Figure AI получила беспроводную зарядку, мягкие элементы корпуса и аудиосистему для голосового общения с персоналом. Манипуляторы оснастили тактильными сенсорами и встроенными в ладони камерами для повышения точности мелкой моторики. На конвейере Figure 03 будет распознавать несортированные компоненты в общих контейнерах и извлекать их, раскладывая по логистическим тележкам в заданной последовательности. Доставку собранных тележек на сборочную линию осуществляют беспилотные складские тягачи. @ai_machinelearning_big_data #news #ai #ml

Про Москва-Сити и мою самую большую сделку Когда я говорил, что все корпоративные подписчики пришли сами, в холодную, я чуть лукавил. Ещё в декабре, когда я только-только запустил подписку, я написал Вове Зимину и предложил созвониться — пообщаться про Screen Gallery, подписку и возможный формат для команды. До этого я ещё ни с кем не обсуждал корпоративную подписку и, если честно, даже не до конца понимал, какую цену называть. В общем, мы созвонились. Я рассказал про продукт, потом случились новогодние праздники, потом начало года, но Вова не забыл! В марте ребята вернулись за коммерческим предложением. В мае согласовали все детали, прошли внутренние этапы, подписали документы — и в последний день мая сделка была закрыта! Ozon Bank купил подписку на всю команду дизайна, а я закрыл свою самую большую сделку! А в этот понедельник мы встретились с Вовой на завтраке — очень хотелось поблагодарить его лично, ну и обсудить кое-какие планы 🌷