Технический отчёт DeepSeek-V4.1-Flash — часть 1/2 Разберём технический отчёт DeepSeek-V4.1-Flash. В первой части обсудим архитектуру модели. Главное достижение авторов — экстремальное сжатие KV-кеша. При стандартном для frontier-моделей максимальном контексте в миллион токенов глобальный KV-кеш на один токен составляет 890 байт, что делает инференс даже максимального числа токенов почти бесплатным (менее одного гигабайта в сумме).  В архитектуре DeepSeek-V4.1-Flash каузальные энкодер и декодер, у каждого по 20 слоёв. Энкодер-декодер-архитектура выбрана не случайно: это помогает экономить вычисления. Нижняя половина слоёв формирует глубокое представление префикса, на которое затем аттендится декодер. В случае короткого промпта это позволяет в среднем в два раза сократить стоимость вычислений.  DeepSeek-V4.1-Flash — MoE-модель на 552 миллиарда параметров, плюс 196 миллиардов в Engram. На префилле активируются 8 миллиардов параметров, а на декоде — 16 миллиардов. Размер скрытого представления — 5120; количество аттеншн-голов — 64. Есть sliding window attention, один shared-эксперт и 384 маршрутизируемых. На один токен активируются шесть экспертов.  Кроме того, с самого начала обучения использовались изображения, так что модель — нативно мультимодальная. Изображение проходит через DeepSeek-ViT (32 слоя, 2D-RoPE), далее применяется pixel unshuffle 3х3, MLP-проектор, и всё это перегоняется в текстовый эмбеддинг. Вместо привычной свёртки для отображения пикселей в токены применяется линейный слой, что даёт возможность использовать Muon.  Как работает каждый из компонентов. На префилле энкодер делает полный проход по префиксу. На декоде глобальный KV-кеш проецируется из скрытого представления последнего, двадцатого слоя энкодера. Хидден подаётся не напрямую, а отображается layer-specific-проекциями. Это позволяет экономить на кеше в декодере. Ещё одна важная особенность модели — Compressed Sparse Attention 2 (CSA2) в нескольких режимах, против CSA и Heavily Compressed Attention (HSA) в базовой DeepSeek-V4-Flash. О том, что такое CSA и HSA, мы писали вот тут, а в этом разборе сосредоточимся на режимах CSA2. Всего их три:  — Full Mode — вычисляем полный KV-кеш и делаем полный аттеншн, но оставляем возможность определять важные и неважные токены, имея некие индексы. На части хороших кандидатов аттендимся сразу, а часть — 16 тысяч — передаём дальше.  — Reindex Mode — аттендимся на KV-кеш из Full Mode, выбираем из переданного пула хороших токенов своих кандидатов. — Reuse Mode — переиспользуем Top-K-индексы от Full Mode. Самый частый блок: 15 из 20 и на префилле, и на декоде.  Во второй части продолжим разговор об архитектуре, а также затронем претрейн и посттрейн. Разбор подготовил ❣ Денис Кузнеделев Душный NLP

Ладно, в комментариях уже успели обосрать монтаж от Opus, но смотрите реальную ситуацию. Задача: сделать выпуск мульт подкаста с двумя персонажами человек и его душа. В формате рилс. Первый ролик был получен путём кучи попыток в Seedance 2.0 и себестоимость одного такого видео доходит до 20$ просто за генерацию движения персонажей. И всё равно это видео не ушло в продакшн. Потому что косяки в позах, озвучке, движениях. Второй ролик собрал Claude Opus. Причем анимация персонажей — это код. То есть пересобирать можно сколько угодно и с большой скоростью. И стоит это копейки. Опус создал систему для масштабного выпуска таких подкастов. То есть время было затрачено на создание такой базы, которая позволяет собирать новый ролик за 1-2 минуты реального времени.

Вышло интервью с Артёмом Соколовым на YouTube и я очень советую его посмотреть целиком. Артём мой хороший знакомый и клиент нашего агентства, и чувак реально делает вещи от которых у меня мурашки. Короткая вводная для тех кто не в курсе. Артём в 19 лет возглавил семейный ювелирный бизнес Sokolov. Вырастил его с 3-4 миллиардов рублей выручки до 70 миллиардов. Продал. И пошёл строить компанию которая делает промышленных гуманоидных роботов. Вложил $100 миллионов своих денег ещё до того как начал привлекать инвесторов. Привлёк раунд A на $152 миллиона при оценке $1.35 миллиарда. Первый европейский юникорн в робототехнике. Самый быстрый юникорн в робототехнике вообще. Но мне интереснее другое. Артём провёл 1000 собеседований за полгода чтобы отобрать 30 человек в ядро команды. Тысячу, КАРЛ. На одну вакансию он смотрел по 50-60 кандидатов. И это не потому что он не может принять решение. Это потому что он строит мышцу найма через повторение, как он сам говорит. Бориса Янгеля из Nebius он рекрутил год. Целый год. Из Boston Dynamics перетащил 15+ человек включая Девина который 20 лет там проработал. И самое вкусное, он перебил Figure AI при найме ключевых людей. Figure AI это компания на $40 миллиардов если что. Как? Ну вот его принцип который мне прямо зашёл: "Я старался нанимать людей умнее себя в их домене". И все сотрудники становятся совладельцами и партнёрами. Не опционы на словах а реальная доля. Ключевые ребята после раунда стали миллионерами на бумаге. Человек 10-20 точно. Ещё одна штука. У Humanoid инвесторы это Bosch (400 тысяч сотрудников), Schaeffler (140 тысяч сотрудников, контракт на 2000 роботов на $300+ миллионов), фонд Бернара Арно, тайваньский конгломерат номер один. И при этом чувак конкурирует за таланты с DeepMind, Anthropic, OpenAI, Meta, Microsoft, у которых у всех офисы в Лондоне. Про будущее он говорит спокойно: цель сделать компанию на $100 миллиардов за пять лет и выйти на IPO в 2028-2030. Плюс у него параллельно второй стартап по brain-computer interface, наночастицы в мозг для стимулирования нейронов. 40 человек в команде, лаборатории в Калифорнии, тесты на мышах уже идут. Ну то есть масштаб мышления такой что хочется просто сесть и подумать о жизни))) А, и ещё. Никакого двойного назначения. Роботы только мирные. Артём прямо говорит что это чёткая линия которую они не переходят. Полное интервью на ютюб) Буст каналу💪 👉 t.me/huntermikevolkov - здесь про AI, найм и крутых ребят

Российская медтех-компания “Моторика” приобрела 50,1% разработчика протезов “ГК Лимб”. Сумма сделки не разглашается. Сделка позволит “Моторике” расширить присутствие в сегменте протезов нижних конечностей и усилить собственную сеть центров восстановления мобильности, отметили в компании. В частности, в продуктовую линейку группы должен войти гидравлический коленный модуль с микропроцессорным управлением, который находится на завершающей стадии разработки в конструкторском бюро “Лимб”. “ГК Лимб” в 2021 году основал Ибрагим Ибрагимов. Компания специализируется на индивидуальном протезировании верхних и нижних конечностей, реабилитации пользователей и разработке компонентов для протезирования. Фирма занимается изготовлением протезов ступни, голени и бедра. Она предлагает модульные протезы, состоящие из отдельных взаимозаменяемых компонентов. Такие протезы могут регулироваться и заменяться без необходимости изготовления нового импланта. Также есть протезы для купания, которые изготавливаются из водостойких комплектующих: коленных шарниров, стоп, клапанов, замков и лайнеров.  Кроме того, компания производит протезы с микропроцессорным управлением, которые обеспечивают адаптацию к различным условиям ходьбы, а встроенный микропроцессор анализирует данные с датчиков и регулирует сопротивление движению в режиме реального времени. Сейчас “ГК Лимб” объединяет сеть протезных центров в Москве, Санкт-Петербурге и Ростове-на-Дону. “Моторику” в 2014 году основал инженер Илья Чех с партнером. Компания разрабатывает и производит функциональные протезы для взрослых и детей, кресла-коляски, развивает направление нейроимплантов для лечения заболеваний нервной системы и оперирует собственной сетью центров восстановления мобильности “Моторика ОРТО”.  @rusven

Илон Маск заявил, что через 10 лет человечество получит миллиард роботов, а через 20 лет их число вырастет до 100 миллиардов 🤖 🤍Глава Tesla в интервью CCTV Finance поделился масштабным прогнозом развития индустрии. По его словам, в будущем у каждого человека появится персональный помощник для ухода за пожилыми родителями, присмотра за детьми и индивидуального обучения. 🤍При этом Маск считает, что один пользователь сможет одновременно контролировать тысячи автономных машин.

Однажды у каждого появится персональный робот для самых разных задач,

— отметил он. 🤍Планы звучат фантастически, но на фоне гонки гуманоидных платформ от различных технологических гигантов сроки уже не кажутся нереальными. Главный вопрос здесь упирается в реальную экономику производства и инфраструктуру для такого флота, а не только в красивые презентации. 🤍Подробнее — в источнике. ————————— 🤖Подписывайтесь на лучший канал PRO Роботов 📲Мы в MAX

Видео-подсказки для паззлов При посещении аптеки Саймон из Silent Hill: Townfall получает странную видео-трансмиссию. На ней как будто сняты крупные планы постеров и стен в аптеке. Персонаж после первого просмотра говорит: "Эта запись должна что-то значить". Авторы как бы намекают так игроку заострить внимание на содержании ролика. Зайдя в ближайшее помещение игрок увидит образ прямо из начала этого видео: постер о пользе мытья рук. Интригует, не правда ли? Гениальность всей этой сцены в том, что это ключ к кодовому замку, который можно решить буквально здесь и сейчас: кодовый замок расположен на шкафчике прямо в том месте, где игрок получает видео-подсказку, а образы с видео содержат числа, либо в виде цифры, либо в виде какого-то множества образов. Я лично играю на сложности подсказок Normal, а не Hinted и получаю удовольствие от того, что нахожу решение сам. Наверняка на Hinted будет больше индикации того, что именно нужно делать. Если кто-то попробовал — напишите в комментариях! Silent Hill: Townfall есть за что поругать, в том числе за оптимизацию, но в нём решены проблемы Silent Hill f: бои довольно быстрые и агрессивные, они необязательные, а головоломки и правда креативные. Рекомендую! Главное, перетерпите первые пол часа, пока игра блокирует бег. Это вот очень странное решение для экспозиции. Очень хотелось бы, чтобы разработчики чаще задавались вопросом: "А не станет ли игра лучше, если вырезать первый уровень?" #анализигр #нарративныйдизайн #мнение #SilentHill

Пока мы без советов тестировщиков. Не доходят руки проверить, дополнить и запланировать новую партию. Сейчас все крутится вокруг платформы и фиксов багов. Выкатил несколько новых сборок для Android и iOS вчера. 2го октября выступаю на степикон и готовлю доклад про ИИ и геймификацию. Это платная конференция для авторов курсов на Stepik и других платформах, но материалы к докладу по сути строятся на двух статьях, которые вы можете прочитать сами: ИИ в курсах по тестированию Геймификация в курсах: результаты внедрения Как и обещал, сажусь за обновление продвинутого курса в модулях: мобильное тестирование, git, bash, ci, cd. Уроки и скрины уже есть. Осталось только их проверить.

Можно ли заработать эскортом на стартап Весь интернет облетела история девушки Теа Роуз, которая работала маркетологом за $50 в час, но поняла, что такая работа не оставляет ей ни времени, ни денег на собственный бизнес. Поэтому, с её слов, она решила «выкупить своё время обратно»: продавать несколько часов максимально дорого, чтобы остальное время вкладывать в стартап. И выбрала для этого эскорт. В какой-то момент она вышла на доход $25 тысяч в месяц и за два с лишним года вложила в свою компанию больше $100 тысяч. В российских пересказах историю зачем-то приукрасили, якобы среди богатых клиентов она искала будущих инвесторов. Сама она об этом нигде не говорит. Да и сложно представить такой питч во время встречи: «Кстати, я ещё стартап делаю. Не хочешь войти в раунд?» Еще многие упускают интересную деталь. У Теа есть свой подкаст Seggs Talk Radio про секс и сексуальность. Его спонсор, её же стартап Testie, конфиденциальный сервис тестирования на половые болезни. Именно в подкасте она впервые публично рассказала об эскорте. Историю растащили соцсети, про неё написал The Cut, а после огласки, по словам самой Теа, к ней уже пришли лиды от ангелов и фондов. Если не уходить в морализаторство, а мы с вами не такие) то весь созданый ей контекст и инфоповод идеально целевые. Для пиара такого сервиса сложно было бы придумать легенду основателя лучше. Да, сам подход тоже правильный из найма в самозанятость. Сначала максимизируешь стоимость часа и освобождаешь время на создание бизнеса. Заводишь тематический подкаст и через контет привлекаешь ЦА, а неудобную часть своей биографии в процессе превращаешь в мощный инфоповод.