ИИ

🧪 Метод Основными задачи при разработке кернела были: • Уменьшить обьем CPU работы и CPU-GPU синхронизации • Максимально эффективно перекрывать вычисления и коммуникации Рассматриваются два типа dispatching Push-based dispatch (традиционный подход) 1. Router для каждого токена определяет его экспертов. 2. Для каждого токена выполняется: Отправить этот токен эксперту №7. То есть именно токен "толкается" (push) в буфер нужного эксперта.

T0 ---> Expert 2 T1 ---> Expert 7 T2 ---> Expert 2 T3 ---> Expert 5 :ale Проблемы Если тысячи потоков одновременно хотят записать данные эксперту 7, они начинают конкурировать за • atomic counter, • место в буфере, • память. Получается много случайных записей и плохая эффективность памяти. Pull-based dispatch Идея разворачивается наоборот. Сначала известно, какие токены принадлежат каждому эксперту (например, после сортировки). После этого сам эксперт приходит за своими токенами. Expert 2: беру токены [0,2,9,15] Expert 5: беру токены [3,8] Expert 7: беру токены [1,4,5,6]

Теперь данные читаются большими непрерывными кусками. Никаких scatter-записей больше не требуется. Pull позволяет организовать данные так, чтобы чтение стало почти непрерывным, что улучшает пропускную способность памяти и снижает накладные расходы на scatter/atomic операции. Кернел валидируют на разных MoE моделях - GLM-5.2, Qwen-3.5-397B, Kimi-K2.7, DeepSeek V4 Pro. Удается добиться ускорения ~2x против бейзлайнов на форварде, и ~1.5x на обратном проходе. Выкладывание в открытый доступ данного кернела - хороший подарок компаниям, которым завезли NVL72, и они не знают, как их эффективно использовать.

Самый дешевый AI-агент может оказаться самым дорогим Короче, мы нашли еще один прекрасный способ неправильно измерять эффективность AI: смотреть на стоимость токенов😉 Токены дешевеют? Отлично, значит и AI становится дешевле! Ну да. Ну да. Пошли мы нафиг со своей простой математикой. McKinsey выпустили материал об экономике AI-агентов, и там, как обычно это бывает, супер очевидная мысль, когда ее кто-то озвучил, но нифига не очевидная до этого: Токены - это не ценность. Токены - это счет, который вам выставляют. Он (счет) показывает, сколько вы потратили, но вообще не отвечает на вопрос: А зачем вы это потратили? И самое важно, сделали ли вы это эффективно Проблема в том, что агент - это уже не один запрос к LLM, потому что агент: — читает контекст; — вызывает инструменты; — пробует разные варианты; — проверяет результат; — исправляет результат; — еще раз проверяет результат; — иногда решает начать все сначала. В итоге агентская задача может потреблять примерно в 1000 раз больше токенов, чем обычный чат или единичная задача на рассуждение. Причем около 60% стоимости может уходить не на создание первого ответа, а на его проверку, исправление и повторную проверку. Ииии вот тут начинается самое интересное. Один и тот же агент на одной и той же задаче может пройти совершенно разный путь. Сегодня сделал пять вызовов инструментов. Завтра — двадцать. Поэтому стоимость агента - это не фиксированная цена, а распределение веротяностей. Потому что все в LLM - это распределение вероятностей. А оценивать его нужно не по стоимости миллиона токенов, а по: стоимости успешно выполненной задачи. Агент приносит пользу, когда вероятность его успеха выше, чем: время проверки результата / время самостоятельного выполнения задачи. Например: Человеку нужно два часа, чтобы сделать задачу. Проверить результат агента можно за шесть минут. Тогда агенту достаточно успешно выполнять всего 5% задач, чтобы его использование уже имело экономический смысл. Но только если ошибка ничего не ломает. Если агент отправил неправильный документ, то вы его удалили. Если агент пообещал клиенту вернуть деньги за невозвратный билет, теперь у вас есть не только ошибка, но и стоимость ее исправления. McKinsey называет это agency tax: стоимость проверки + стоимость переделки + последствия ошибки. Как итог, недостаточно считать: — токены; — запросы; — стоимость модели; — количество запущенных агентов. Нужно считать: — какой бизнес-результат получил агент; — сколько стоило успешное выполнение задачи; — сколько времени человек потратил на проверку; — сколько стоило исправление ошибок; — насколько агент улучшил реальную бизнес-метрику. Иначе через год у вас будет 1000 AI-агентов, огромный счет от провайдера и очень сложный ответ на простой вопрос финансового директора: «А кто из них вообще приносит пользу?» И вот новая ценность платформ для инженеров в том, чтобы оптимизировать экономику результата.

Что нам поможет процветать в следующем десятилетии И ещё один амбициозный манифест — огроменный текст на Noema про необходимость институционального преобразования общества для адаптации к AI-революции. Сделал нам очень короткий конспект... Мы утверждаем, что процветание человечества в ближайшие десятилетия зависит от решения ряда глобальных социо-технологических задач: масштабных, скоординированных инвестиций в человеческий и институциональный аспекты трансформации, связанной с AI. 1. Как институциональная халатность приводит к провалу Технологии, способные расширить свободу человека, обеспечить изобилие и развить коллективный интеллект, радикально влияют на рынки труда, государственные учреждения и системы, которые и раньше испытывали серьезные проблемы. Если не решить эти проблемы, то такое несоответствие приведет к трем предсказуемым сценариям: производительность без процветания, алгоритмическое проивзодство без верификации и власть без ограничений. 2. Исторические прецеденты Чтобы понять, как мы можем преодолеть эту халатность, полезно вспомнить предыдущие успешные институциональные адаптации к технологическим преобразованиям. + Демократия + Бреттон-Вудская система + ARPANET + Индийский стек + Цифровая демократия Тайваня 3. Глобальные социотехнические вызовы эпохи искусственного интеллекта Приведенные примеры показывают, что технологические преобразования наиболее успешны, когда им соответствует «institutional imagination». Реализация этого видения требует скоординированных реформ в сфере государственной верификации, регулирования борьбы с отмыванием денег, аутентификации платформ и цифровой инфраструктуры — секторов, которые должны развиваться в направлении совместимых, обеспечивающих конфиденциальность стандартов, и которые ни один из них не может создать в одиночку. + Системы идентификации + Конфиденциальность + Верификация источников + Ценность данных + Агентное сотрудничество + Совместное осмысление + Демократия + Рабочие места + Закон и свободы + Исследования и наука + Образование + Переход к новой форме труда 4. Коалиции для действий Никто не сможет в одиночку справиться с такой масштабной задачей. Каждый из рассмотренных исторических прецедентов привел к успеху благодаря объединению возможностей, которыми никто не обладал по отдельности. Требовалась коалиция, сильный альянс, способный продемонстрировать важность и ценность на раннем этапе и привлекать сторонников по мере появления результатов. 5. Становление сверхинтеллектом, вместе Эти проблемы имеют решения. Но, как мы видели, многообещающие замыслы терпят неудачу, когда коалиции не могут учиться, преодолевая свои разногласия. Решение заложено в том же плюралистическом сотрудничестве, которое легло в основу этой статьи и должно определять ее реализацию: преодоление разногласий, укрепление доверия в сетях взаимоотношений, а не в централизованной власти, и выявление общих точек соприкосновения. Институциональные структуры, которые мы отстаиваем, не отделены от ценностей, которые они кодифицируют. Они являются выражением этих ценностей. Не знаю, насколько вы к такому готовы, но пдф с переводом в комментариях. → https://www.noemamag.com/what-humanity-needs-to-flourish-in-the-next-decade

Ник Бостром: ИИ ставит человечество перед развилкой — утопия или потеря контроля В подкасте Джо Рогана философ Ник Бостром заявил, что в ближайшие годы мир может столкнуться с одним из двух сценариев: либо ИИ выйдет из-под контроля и поставит цивилизацию на грань выживания, либо автоматизирует всё, искоренит бедность и откроет эру изобилия. Гонка США и Китая за сверхинтеллект ускоряет процесс, и у человечества остаётся всё меньше времени, чтобы повлиять на исход. По словам Бострома, до «чего-то безумного» может оставаться около четырёх лет. https://hightech.plus/2026/08/04/nik-bostrom-ii-stavit-chelovechestvo-pered-razvilkoi--utopiya-ili-poterya-kontrolya

#Нейропрожарка PHOENIX Автор: Rahma|  Inst: "@Rahma 3.14" Идея: Это история о попытке победить смерть с помощью научно-технического прогресса. Пожилой мужчина, решается на перенос сознания в новое тело. Детали производства: Весь проект — это путь от идеи до реализации, где я кристаллизовал пайплайн. В основе — синтез 3D и AI. Пайплайн по этапам: Пре-продакшн: Идея и референсы (поиск тематики) -> Написание сценария (перевод идеи на язык кинопроизводства для цементации сюжета). Персонажи: Комбинация типажей реальных актеров и персонажей из игр. Генерации: Nano Banana 2. Локации: Сборка из готовых ассетов (магазин Unreal Fab). Делал предварительные рендеры из вьюпорта (Nano Banana), чтобы определить свет и детализацию. Аудио и Раскадровка: Исходя из сценария сделал черновую раскадровку (слайд-шоу). На этом этапе протестировал музыку, чтобы она легла в ритм истории. 3D-Аниматик: Ключевой этап. В Unreal Engine выставил позы, объекты и кадры. Генерация: Финальный этап создания видео. Использовал микс методов: генерация по первому/последнему кадру, использование сцен из аниматика как референсов по длительности, а также собственные видео-референсы (записывал движения на камеру). Постпродакшн: Цветокоррекция, создание и композинг UI/UX экранов, а также отдельный композинг механического глаза. Время и деньги: 45 дней, 700$. (Мог уложится и в 400$, но решил потестить сиданского по максимуму). Инструменты: Unreal Engine, Nano Banana 2, Photoshop, Seedance 2, After Effects, Ableton. @cgevent

🍏 MLX: как Apple меня купила и почему я переплатил за 32 GB MacBooka Вы могли заметить последнее время, что абсолютно все в интернете сошли с ума с этими mac mini и мне кажется, что нам стоит поговорить почему. Как уже понятно из названия имя этому почему MLX — фреймворк для машинного обучения, разработанный командой Apple Machine Learning Research 🧠 В чем магия? Если вы когда-нибудь работали с PyTorch на NVIDIA, вы знаете про вечную боль: .to('cuda'). Вы постоянно перекладываете данные из оперативной памяти (RAM) в видеопамять (VRAM). Шина PCIe — это узкое горлышко. В Apple Silicon архитектура объединенная (Unified Memory Architecture). И MLX — это первый фреймворк, который использует её «нативно»: 1. Zero-copy: В MLX нет копирования данных. Массив (mlx.core.array) просто лежит в памяти, и CPU, и GPU работают с одними и теми же байтами по одному адресу. Это убирает огромный оверхед на передачу данных. 2. Lazy Evaluation: Как и JAX (the Google Python library for machine learning and array computing, хз почему именно такая аббревиатура), MLX «ленив». Он не считает ничего, пока вы не попросите результат. Он строит граф вычислений и оптимизирует его: например, объединяет несколько операций в одно ядро (kernel fusion), чтобы лишний раз не дергать память. 3. Metal-First: Библиотека написана на C++ специально под Metal API. Она умеет выжимать максимум из AMX (Apple Matrix Extensions) — секретных блоков внутри чипа, которые созданы исключительно для перемножения матриц. Так что даже я, как былой адепт запускания чего угодно на чем угодно и потом кручения моделек на этом был просто вынужден купить мак на 32 гб, так как убежден, что это прожиточный минимум, а по цене более мощных мини я уже могу себе на тенсоррентах побаловаться #AI @techn0danya