ИИ

Идем дальше в оптимизации: 1/Якобиан (функциональный определитель) — это определитель матрицы Якоби, составленной из частных производных функции нескольких переменных. Он показывает, как сильно меняется объем или площадь при переходе от одной системы координат к другой, и помогает решать сложные интегралы. -> зачем? Анализ чувствительности (Sensitivity Analysis): Показывает, какой из входов сильнее всего влияет на решение нейросети.Нормализующие потоки (Normalizing Flows): Используется в генеративных моделях для точного расчета плотности вероятности при сложных преобразованиях данных.Оптимизация и обучение: Ускоряет поиск минимума функции потерь в сложных архитектурах. 2/ алгоритмы топологической сортировки Тарьяна (Tarjan SCC) Алгоритм Тарьяна для поиска компонент сильной связности (Tarjan's SCC) за один обход в глубину (DFS) находит все изолированные циклы в ориентированном графе. Он использует массив времени входа (ids), массив минимально достижимых вершин (low) и стек для сбора компонент за линейное время \(\mathcal{O}(V + E)\). -> зачем? Применение в ИИОптимизация нейросетей: Сжатие циклических графов вычислений (например, в RNN) для поиска порядка слоев.Автоматическое планирование (AI Planning): Анализ зависимостей между задачами агента для поиска тупиков (дедлоков) и циклов.Семантические сети и Онтологии: Поиск эквивалентных или взаимозависимых понятий, образующих циклы в графах знаний.Компиляторы DSL для ML: Определение порядка выполнения операций и оптимизация потоков данных (dataflow graphs). https://ru.wikipedia.org/wiki/%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%A2%D0%B0%D1%80%D1%8C%D1%8F%D0%BD%D0%B0

Google настолько давно не обновляли Pro-модель, что её обогнали собственные модели из семейства Flash. Вчера с помощью видеоанализатора искал в записи нашего с Пашей эфира момент, когда AI-агент решил засветить на весь интернет SSH-ключ. Чтобы скрыть этот момент на записи. Там отрывок меньше двух секунд. В самом конце стрима. Мы реагируем на эту оплошность, поэтому я прямо проговариваю "надо будет это заблюрить". Gemini 3.1 Pro Preview (вроде уже устарел, но из состояния "preview" так и не вышел) на протяжении трёх попыток галлюцинировал, придумывал отрезки видео, путал таймкоды и в итоге не дал никакого полезного результата. Переключился на Gemini 3.7 Flash и получил нужный отрезок с первого раза с подробными комментариями по тому, что происходит в видео. Получается, что для анализа содержимого видео у Google лучше всего на текущий момент справляется именно 3.7 Flash. Пробовали уже эту модель в каких-либо ещё задачах? p.s.: Кстати об изображении в медиа поста. Это все доступные модели Google с видео на вход. При всём своём кладбище проектов, старые модели они хоронить совсем не торопятся.

📅 TL;DR недели 33 Попробуем такую рубрику для занятных Неделя открытых весов: три релиза подряд, и каждый по-своему про то, что фронтир протекает вниз. Meta первой за полтора года выложила открытую модель — Muse Glimmer 30B, dense, Apache 2.0, заточенная под локальный запуск. Я потратил на неё день на MacBook Air M5 и написал большой текст: 7 квантизаций, линейная кривая скорости, спекулятивный декодер DFlash, который вместо обещанного ускорения дал −60%, и неожиданный пол по размеру файла, на котором ломается модель «всё решает пропускная способность». DeepSeek тихо, без ивента и блог-поста, подменил алиас на V4-Pro-0813. Архитектура та же, всё интересное в посттрейне: Terminal-Bench 2.1 с 72 до 88, DeepSWE — рост в пять раз. При цене $0.435/$0.87 это примерно 57× дешевле Fable 5 за 0.1 пункта разницы. Оговорки важнее цифр: бенчмарки вендорские и мерялись собственным харнессом, независимый AA Index даёт 53 против 63 у Opus 5, зрения нет вообще, а цены обещают поднять. В тот же день харнесс открыли под MIT — разобрал его отдельным лонгридом. Qwen выкатил сначала 2.4-триллионный Max, а следом то, чего все ждали — 3.8-27B. Apache 2.0, 262K контекста, ~17 ГБ в четырёх битах, то есть одна потребительская видеокарта. Сравнивать его с прошлым поколением скучно, поэтому сравнил с GPT-5 годичной давности: на одном снапшоте индекса даже апрельский 3.6-27B уже обгоняет флагман августа 2025. Если заявленные цифры 3.8 переживут независимую проверку — это уровень Gemini 3.1 Pro и Opus 4.6 дома за стоимость электричества. Плюс Grok 4.7 с удвоенными лимитами в Cursor и Grok Build, а в выходные смотрели — четырёхчасовой видос про ffmpeg Пишите, что вы думаете про такой формат. #TLDR @techn0danya

КАК СТРОИТЬ МАРКЕТИНГОВУЮ МАШИНУ НОВОГО ВРЕМЕНИ Уже несколько месяцев пользуюсь Wispr Flow. Одна из немногих AI-штук, которая в разы подняла мою продуктивность. Почему-то был уверен все это время, что Wispr небольшой стартап, которых на рынке voice-to-text решений полно. В том числе бесплатных и опенсорсных. Можно навайбкодить за вечер под себя персонально. А оказалось, что на последнем раунде Wispr оценили в $2 млрд. Годовой ретеншн 70%, рост пользовательской базы в 100 раз за год, среди которых сотрудники большинства компаний из Fortune 500. Ещё мне казалось, что вырос он целиком на органике. У меня-то он появился именно так: кто-то рассказал, потом я сам рассказал про него, и вот уже второй раз пишу пост в этом канале. А оказалось, что под капотом у них мощная маркетинговая машина. Сеть из 250+ креаторов, каждый делает по 3-10 роликов в неделю. Больше 100 интеграций в email-рассылках каждый месяц (да, рассылки там отлично работают и стоят дорого). Плюс многомиллионный бюджет на платный трафик, которым управляет всего один медиабайер, так как значительная часть процессов автоматизирована через AI. Наткнулся сейчас на подкаст с Мэттом Свулински, который строил этот маркетинг с нуля. Сделал саммари и показался интересным его тезис. Большинство айтишных стартапов до сих пор пытаются расти в первую очередь через контент, SEO, рефералки и органику. А Мэтт предлагает учиться у екома, где бизнес с самого начала строится вокруг платного трафика: много креативов, быстрые тесты и постоянное масштабирование того, что сработало. И включать платный трафик не тогда, когда продукт под него допилен, а как только ты можешь это хотя бы нормально измерять. Чтобы сразу докручивать экономику, связки и креативы. Как итог, чтобы запустить органику и виралку, о которых мечтает любой стартап, нужно как можно раньше научиться начать заливать платный трафик.

MiniMax H3 Extender Еще один кастомн пак для генерации длинных непрерывных видео MiniMax H3. Все в одной ноде • Мультиклиповая генерация H3 в одной ноде • Motion Context между клипами - видео и аудио • Два режима: clip_by_clip с валидацией и full_batch для автоматической генерации всей последовательности • Промпт, сид и длительность для каждого клипа отдельно • Ретрай отдельных клипов до валидации, валидные клипы лочатся и не пересэмпливаются • Автоинвалидация зависимых клипов при изменении раннего • Диск-кэш видео и аудио латентов, низкий расход RAM/VRAM • Автоматическая коррекция швов - фотометрия, сдвиг стыка, деклик аудио • Работает с ref-моделью и fl2va #longvideo #minimaxH3

Не знаю, старею ли я, но мне очень нравятся email рассылки. Я нахожу их более полезными, чем посты, они ощущаются чуть более официальными и менее громоздкими, чем лонгриды. Я вам уже советовала Paperzilla, от них я получаю подборку статей. Недавно нашла Voice AI Space. Как и многие, они публикуют новости стартапов как в Европе, так и в США. Кроме того, у них есть маленькие roundups, если вам интересно, кто сколько поднял в раундах. Также интересно читать короткие интервью с людьми из voice ai, например, с Сардором. На сайте также есть подборки вакансий, митапы и видеопрезентации с этих встреч. Такие подборки мне упрощают жизнь и не приходится пробираться через дебри Твиттера и линкедина

AutoDesign инструмент агентного дизайна, превращает научную статью в готовые демонстрационные материалы: постер, слайды, веб-страницу и озвученное видео. Загружаешь PDF - получаешь весь комплект Главная фишка: система построена на обвязке для готовых моделей - промпты, инструменты, правила и порядок работы. Саму модель не трогают, а качество результатов растёт • Постер из PDF-статьи в редактируемом HTML • Paper All-in-One - из одной статьи постер, слайды, сайт и видео с субтитрами • Конференц-видео 1080p с закадровым голосом • Контент привязан к источнику - утверждения и графики не выдумываются • До 12 попыток правок на артефакт, лучшая версия сохраняется • Совместимо с Claude Code, Codex, Kimi Code и любыми моделями Гитхаб Демо #desing #agent #garness #pdf2video #pdf2design #pdf2slides #paper2design

Автор Inline Studio предложил способ получать консистентного персонажа FLUX без обучения лор Кэшировать референсы в портативный .char-файл - несколько МБ, в нем референсные картинки персонажа плюс текстовое описание. Сходство дает сам FLUX.2: картинки из файла подаются в нативный multi-ref канал, модель смотрит их напрямую и переносит внешность на новый кадр. Без обучения, внешность рождается из референсов, а не из эмбеддингов Эмбеддинги не генерируют человека,только скорят результат: SFace дает компактную сигнатуру лица, DINOv2 - общий облик (768 чисел: комплекция, волосы, вид), YuNet - детект и кроп лица. Все это оценивает сходство Итого: крошечный файл на персонажа в духе textual inversion Гитхаб Inline Studio - локальный движок для ИИ-кинопроизводства на нодовом канвасе. Собирает весь пайплайн от мудборда до финального монтажа #flux2 #personalization #referencing

Фазовый переход в использовании памяти: что это открытие значит для AI-разработчиков? 🟪 Вы когда-нибудь замечали, что в одних задачах LSTM или Transformer с памятью работают идеально, а в других – только жгут ресурсы без улучшения качества? Оказывается, выбор между «хранить историю» и «действовать по текущему моменту» – это не плавная настройка, а настоящий фазовый переход первого рода (как таяние льда). И его можно предсказать аналитически. 🪨 Новая статья в Physical Review Letters (плюс 19 страниц матана в Supplemental) даёт чёткие критерии, когда память выгодна, когда нет, а когда возможен гистерезис. Гистерезис – это когда состояние системы зависит не только от текущих параметров, но и от того, как вы к ним пришли (от истории изменения). Модель в двух словах. Попытался 📦 всю жесть из материала сублимировать 😐, вышло, как вышло. Не обессудьте. Итак... Есть скрытое состояние x(t) – например, концентрация питательного вещества. Вы получаете зашумлённое наблюдение: y(t) = x(t) + шум. У вас есть внутренняя переменная z(t) – память, которая эволюционирует по закону: z = v(t) + шум памяти, где v(t) – это управление: вы сами решаете, как менять память. За использование управления вы платите штраф Mv^2, прям как кинетическая энергия, чем больше вы «дёргаете» память, тем дороже. Одновременно вы хотите минимизировать ошибку оценки E[(x - x') ^2] с весом Q. Итоговая функция потерь: J = Q×ошибка + M×затраты на управление. Задача – выбрать стратегию v(y,z), которая минимизирует J в стационарном режиме. В машинном обучении мы часто добавляем L2-регуляризацию: loss = ошибка + lambda*|w|^2. При увеличении lambda веса плавно стремятся к нулю. Здесь параметр M играет роль lambda: чем больше M, тем дороже использовать память, и казалось бы, при больших M коэффициент при памяти должен плавно уменьшаться до нуля. Но здесь есть две связанные переменные (текущее наблюдение и как память на себя же влияет), которые влияют на поведение системы и друг на друга. Они не независимы. Оптимизация потерь J по этим двум переменным приводит к тому, что на их плоскости, могут существовать два локальных минимума – с памятью и без. Между ними – горный хребет (седловая точка). Когда параметры (например, M) меняются, один из минимумов может исчезнуть или стать глобальным. В момент исчезновения система скачком перескакивает из одной ямы в другую – это и есть фазовый переход. Суть открытия на пальцах. Представьте агента, который наблюдает за шумным сигналом и может хранить внутреннее состояние z. Обновление z стоит ресурсов (штраф M). Задача – минимизировать ошибку оценки при ограниченном бюджете. Авторы доказали: · Существуют два порога Thet_Q и Theta_M: · Если Theta_Q < 1 — память точно бесполезна (даже локально). · Если Theta_M >=1 — память всегда выгодна (глобальный оптимум). · Между ними – бистабильность: обе стратегии локально оптимальны, выбор зависит от истории (гистерезис). А теперь разбираем, что из этого можно вынести для AI. 🥴 1. Оптимизация архитектур с памятью (LSTM, Transformer, RNN) Современные модели с памятью, например, трансформеры с окном внимания или LSTM, всегда используют память, даже когда она не нужна. Результаты подсказывают: · При высоком шуме в данных память становится бесполезной – лучше полагаться только на текущий вход. Это объясняет, почему в некоторых задачах обрезка контекста (например, короткое окно внимания) не ухудшает качество. · При быстро меняющейся среде прошлая информация устаревает – нужно динамически уменьшать размер буфера или использовать забывание, как в LSTM, но с адаптивным коэффициентом. 2. Регуляризация и штраф за сложность в RL. В RL агент часто хранит внутреннее состояние например, в PPO. Штраф Mv^2 в статье – аналог штрафа за изменение скрытого состояния. Это можно использовать: · Как регуляризатор в функциях потерь, чтобы поощрять агента использовать память только когда это действительно выгодно. · Аналитические пороги Theta_Q,Theta_M помогают автоматически подбирать коэффициент регуляризации M без дорогой сетки гиперпараметров – просто по статистике шумов среды. Это особенно полезно в Meta-RL, где среда меняется между эпизодами. 3. Continuous Learning и катастрофическое забывание. В задачах continual learning модели должны сохранять знания о прошлых задачах, но обновление памяти (весов) стоит ресурсов. Аналогия: · Параметр M – штраф за изменение весов. · Фазовый переход означает, что при превышении порога штрафа модель перестаёт обновлять веса вообще – т.е. замораживает их. Это даёт критерий, когда лучше полностью остановить обучение (если среда не меняется) или, наоборот, разморозить (если волатильность растёт). На практике это позволяет строить адаптивные стратегии обновления – не тратить ресурсы на веса, которые не нужны. Вот такое интересное исследование. Читайте полную версию, применяйте открытие, и stay tuned 🦾