# Steelman Labs Мы попробовали сделать агента для QA для мобильных игр, уперлись в качество моделей и пошли работать на своих работах. Не обучать же свои модели, в конце-концов! Но что если... обучать свои модели? Мы не настолько безумцы, чтобы в 2026 пытаться делать лабу со своими VLM. Конкурировать с Антропиком и Гуглом на их территории? Мы недостаточно Stanford drop-outs для этого. Но я продолжал изучать. Видели гуманоидных роботов, которые с недавних пор хайпуют? Танцуют, исполняют кунфу и вроде как вот-вот должны заменить всех рабочих? Они появились когда в робототехнике придумали Visual-Language-Action модели или VLA. Это способ сделать из VLM модель для плавной и быстрой манипуляции. Последний раз я трогал робототехнику несколько лет назад, когда работал в Planet Farms, и тогда VLA были на уровне ранних прототипов. Вчитавшись я узнал, что с тех пор многое изменилось. VLA стали в сто раз более семпл-эффективными. Обучить VLA управлять роботом стало возможно буквально в домашних условиях, ведь каждый может скачать SmolVLA на 700m параметров и обучать её хоть на одной A100. Что если рассмотреть навигацию по GUI как робототехнику в 2D и обучать для этого VLA? Сейчас весь computer use работает на том, что к LLM изолентой прикрутили тулы для работы с экраном. Все решения, от Claude Computer Use до специальных моделей вроде MobileAgentv3 и UI-TARS, построены на цикле скриншот-ризонинг-туллколл. Датасеты и бенчмарки так же заточены под этот сетап: статичные картинки, ограниченный набор действий (в некоторых browser use бенчмарках вообще нет никаких действий кроме кликнуть и писать текст!), простыни DOM и Accessibility tree в промпте. И главное: задачи подобраны так, чтобы такой агент мог их решить. В итоге в топе лидербордов скоры 80%+, а когда сам пробуешь запустить, или ничего не работает совсем, или абсурдно медленно и дорого. Чем дольше я в это закапывался, тем больше приходил к выводу: сообщество построило из задачи computer use соломенное чучело. С точки зрения тогдашних бенчмарков (OSWorld, WebArena, WebVoyager) интерфейсы это скриншоты над которыми можно думать сколько угодно долго. В такой постановке задача была быстро решена – все лабы выпустили по computer use продукту и отчитались о высоких результатах. Однако за этим не последовало внедрений или пользователей. OpenAI даже закрыли свой агентский браузер. Потому что это соломенное чучело не похоже на реальные интерфейсы. В противоположность соломенному чучелу (starwman) есть меметичный обратный прием: steelman. Это когда ты берешь чужой аргумент и споришь с его сильнейшей версией. Как сделать steelman задачи computer use? Я пришел к простому принципу: computer use агент должен иметь возможность использовать любой интерфейс, который использует человек, и таким же образом, как его использует человек. Если агент не видит анимации, то фундаментально не может использовать целый класс интерфейсов. Значит тебе всегда нужны будут костыли, чтобы обходить эти ограничения и это не заработает на масштабе. Если твой агент ломается без accessibility tree, то он не заработает на масштабе. Если он не может нажимать те же кнопки, что ты нажимаешь на своей клавиатуре, то... думаю вы поняли. И вот здесь очень быстро приходишь к идее, что невозможно построить computer use на скриншотах и тулколлах большой моделью. Никогда не заработает достаточно быстро. Необходимо воспринимать экран как видео, управлять девайсом через клавиатуру и курсор, иметь сопоставимую с человеком реакцию. Ответ: VLA для computer use. Тогда картинка сложилась. LLM отличные планировщики, но у них проблемы с кликами и прочими манипуляциями. В современных computer use бенчмарках (OSWorld V2 и Agent's Last Exam) это хорошо видно: модели решают только те задачи, где могут избежать интерфейса вообще. Использовать фронтир LLM для интерфейсов ещё и безумно дорого: мы заставляем 10Т модели отвечать (текстом!) куда они хотят кликнуть на экране. Можно получить human-level computer use не отказываясь от той основы, что дают LLM. Можно сделать VLA, которая встраивается в оркестратор и служит для него манипулятором. Клод думает и занимается планированием, а наша модель занимается зрением и манипуляцией. System 2 и System 1. Раз нашей модели не надо думать наперед, то она может быть не очень большой. Раз Клоду не надо делать клики, то его контекст не забивается. Значит весь сетап будет в целом дешевле и быстрее, а может даже и лучше по качеству. И создание такой VLA не потребует фандрейзить на конкурента Антропика. Я пришел с этой идей к Максу. Мы оба загорелись ей гораздо больше, чем Tapagent. Потому что это путь к технологической компании. Продавая computer use по API, MCP для computer use в каждый Клод и всё такое, можно стать чем-то вроде Eleven Labs (которые продают text-to-speech по API и стоят 11 миллиардов). А ведь рынок computer use потенциально гораздо больше, чем любой TTS. Мы стали вечерами и выходными заниматься этой идеей. В безработный период я писал в канале, что уже не уверен, могу ли я работать по много часов. Теперь знаю: оказывается я могу работать и по 16 часов в день. Моя позиция в PLATA требовала вкладываться и эту идею я хотел основательно докопать. В результате это был довольно трудный период для моей кукушки. Параллельно ещё и книгу надо было редактировать по редким правкам от моего издательства. Я просто жил работой. Со Steelman Labs с самого начала пошло гораздо лучше, чем было с TapAgent. Я никогда в жизни не видел, чтобы в ML что-то так быстро заводилось: имея лишь вечера и выходные мы сделали прототип VLA для computer use и она сходу побила первый бенчмарк. Затем мы провели несколько экспериментов и увидели, что доливание разных данных увеличивает качество. Это можно скейлить! Мы всюду натыкались на людей, которые готовы помочь. Я позвал своего бывшего босса из Planet Farms (associate professor Oxford, руководит лабой CV и робототехники) эдвайзить нас по технической части. Несколько знакомых ребят из CV мира оказались готовы вписаться в проект в расчете на будущую перспективу. Начался бесконечный поток знакомств с разными фондами. Мы пообщались с СЕО Strawberry и услышали что да, у них есть такая проблема и манипуляцию приходится решать костылями. Когда мы получили первый ангельский чек и на горизонте замаячил полноценный pre-seed фандрейзинг, я принял решение об уходе из PLATA. И вот мы здесь! В моей жизни началась арка стартапера, я самопровозглашенный СТО steelmanlabs.com и мне это очень нравится. Я как никогда чувствую себя на своём месте и максимальную сонаправленность между тем, что я делаю, что мне интересно и что мне выгодно.

Нужно ли мне учиться, когда курс можно скормить нейронке? И как будет выглядеть образование будущего Зачем учиться? Чтобы эффективнее решать больше задач и более сложные задачи. Но сейчас же есть чудо-нейронки, которые за меня сегментацию сделают, фичу запилят и потом отчитаются об успешности эксперимента. Если нейронка не шарит за продуктовый подход, так ей можно скормить методологию и скиллы эксперта и станет она умнее Вани Замесина. Появился сегмент студентов, которые покупают обучение только для того, чтобы расшифровать и скормить нейронке. Сами при этом не учатся. Ну реально, зачем? 1. Если инструмент доступен всем — владение инструментом тебя не отличает от других. Все могут установить себе скиллы эксперта. Но без фундаментального понимания ты проиграешь тем кто установил скиллы И имеют фундаментальное понимание. Создаёшь продукты в 10 раз быстрее? Ты в 10 раз быстрее узнаешь, что ты проигрываешь конкурентам в понимании стратегии. 2. Чем лучше будут нейронки, тем более убедительно будут выглядеть результат их работы. Если ты отвечаешь за стратегию большого продукта — тебе потребуется быть супер-экспертом, чтобы поймать заковыристую галлюцинацию нейронки и направить нейронку в правильную сторону при сотнях доступных стратегий. 3. Один из важных результатов обучения — возможность видеть сквозные паттерны в других сферах, получать эмержентные навыки и возможность совершать новые действия из кобминации существующих. Умею вайбкодить, принимать продуктовые решения и привлекать клиентов — могу сделать фестиваль и собрать на него много участников. Результат = опыт+навыки * инструмент. НО Мы с вами дружно перенеслись в ветку реальности в которой всё стало очень быстро и интенсивно. И учиться как учились наши деды — по лекциям, неделями, чтобы потом самому пытаться применять в своём продукте — уже не работает. Слишком медленно и неэффективно. Обучение будущего будет выглядеть не как обучение. 1. Информация становится бесплатной. Поэтому я выложил большую часть канона в открытый доступ. И скоро много лекций выложу в открытый доступ 2. Человек будет решать задачи и учиться в процессе 3. Нейронка делает, ты принимаешь решения 4. Обучение должно быть максимально быстрым. Длинные программы будут состоять из множества коротких спринтов. 5. Обучение будет работать с более фундаментальным уровнем знаний и навыков. Нужно учить челвоека думать, а не повторять заученные действия.

🛠 Как идет работа/дебаг теперь 🍆

📐 [SOTA 2026 Founder Mode] Категориально-Алгебраический Протокол AI-Агента (Categorical Algebra Explained) Объяснение алгебраической математической структуры нашей автономной агентской системы: 1️⃣ Monoid (associative_state_merge): Ассоциативное объединение состояний памяти. Позволяет сливать контексты сессий в любом порядке (A + B) + C = A + (B + C) с нейтральным элементом (пустая память) без потери целостности. 2️⃣ Semigroup (streaming_diff_channel): Полугруппа потоковых изменений. Задает математическое правило склейки изменений в коде/базе: Diff(A) · Diff(B) = Diff(A · B). Гарантирует, что пошаговые правки всегда корректно суммируются. 3️⃣ Homomorphism (dev_to_ciso_audit_transformation): Гомоморфизм безопасности. Преобразование из пространства разработки в пространство CISO-аудита: f(x · y) = f(x) · f(y). Сохраняет структуру безопасности при переходе от кода к OWASP-проверкам. 4️⃣ Endofunctor (monadic_isolation_fmap): Эндофунктор изолированного контекста. Отображает категорию агентов в саму себя (F: C → C). Позволяет применять функции fmap внутри защищенного изолированного контекста (brain) без утечки наружу. 5️⃣ Coalgebra (infinite_autonomous_observation_thought_action_loop): Коалгебра разворачивания автономии. Задает динамику бесконечного цикла наблюдения и действий: unfold: State → Output × State. Разворачивает текущее состояние в бесконечную автономную работу 24/7. 6️⃣ Catamorphism (deterministic_fold_log_reduction): Катаморфизм (Fold / Сжатие логирования). Математическая операция свертки рекурсивных логов и шагов (100k шагов → сжатый отчет): fold: Tree(Log) → Summary. Базис работы нашего демона сжатия!

Я постоянно рассказываю про хорошие программы и возможности, но исключения тоже нужно знать! Есть такой Korea Startup Grand Challenge, при всей няшности и простоте корейской стартап визы, тут все наоборот, и челендж я так понял в том чтобы не поехать кукухой от их бюрократии. Я подался потому что это грант (=бесплатные деньги), и как будто конкуренция в Корее говно, но ребятам там вообще похуй на YC, экзиты и MRR, у них своя повестка. 1️⃣ Ты должен фултайм заниматься их плясками а не бизнесом: Еще до начала программы они каждые два дня шлют какие то задания, куда то что то сабмтить, отправить, написать, подать, в слаке ответить, при чем дедлайны ставят типо еще через день-два, чтобы ебалом не щелкали. Назначили презентацию, вот твой слот в 9 утра по Корее, если хочешь перенести то предоставь ОБОСНОВАНИЯ и мы их РАССМОТРИМ. 2️⃣ Непонятный статус: нам написали что мы в вейтлисте, после этого прислали приглашения с просьбой RSVP на интро вебинары, пока я спрашивал а почему нам они вообще пришли если мы еще не в программе, первый уже прошел, я сходил для галочки на второй. Теперь мне пишет хуила в слаке, мол ПРЕДОСТАВЬ ПРУФЫ почему тебя не было на первом звонке. Да иди ты нахуй 3️⃣ Бумажки: в лучших традициях, подай свое CV и заполни форму которая дублирует твое CV. Заполни форму, нет не заполняй там ошибка, пришли до завтра вот эту информацию в имейле и прикрепи паспорт, после этого присылают еще одну форму заполнить—look inside—там те же сука ебаные вопросы из предыдущего имейла, нахуй вы их спрашивали твари аааа. Сделай презентацию, заполни отдельную форму с контактной информацией презентующего, , ответь на наши дью дил вопросы на три страницы 4️⃣ Перспектива еще большего пиздеца с экосистемой в Корее: я от друзей уже наслышан какая это боль вести юр лицо корейское, но венчур местный это другой уровень. Согласно "эксперту" с их звонка: венчурные фонды все питаются гос деньгами, физиков LP в фондах нет; решение об инвестициях принимается по тому как у вас акции распределены, какие bylaws, какие соглашение между фаундерами, и вообще ничего про опыт команды и трекшн; распределение долей принимается только 80-20, КТО ТАКОЙ ЭТОТ ВАШ YC СО СВОИМИ 50-50; борд тебя будет ебать с первых попыток взять любые деньги. Короче разбаловали нас в Америке с up to 10 min application form and 1 call (в скобках: только теплые интро), и вот твои 200-500к, и пиздуй, мб присылай апдейты иногда, не забывай нас.

Самая прибыльная, но скучная стратегия на рынке Разбирал с Клодом доходность опционов, сравнивал разные типы стратегий и инструментов, и наткнулся на любопытную статью. Есть стратегии, которые не пытаются угадать, куда пойдёт рынок. Они просто собирают маленькие регулярные платежи, как арендодатель собирает ренту. Ученые называют это carry. Четыре профессора финансов (Койен, Московиц, Педерсен, Вругт) измерили сразу все такие стратегии - в облигациях, валютах, сырье и опционах. Десятилетия данных и один вопрос: где эта рента платит больше всего. Чтобы сравнить честно, они смотрели не на голую доходность. Важнее было другое - это доходность на единицу риска, сколько зарабатываешь на каждую «единицу нервов». Представьте два ларька: оба приносят по $100 в день, но у одного выручка ровная, а у второго то густо, то пусто. Первый объективно лучше, за те же деньги меньше трясёт. Вот это и есть коэффициент Шарпа. Результат на картинке. Продажа страховки от падения акций (пут-опционов) заняла первое место среди всех классов активов - почти вдвое лучше, чем портфель из всех carry стратегий вместе взятых. Объясняется это просто. Страх продаётся дорого. Инвесторы раз за разом переплачивают за защиту от обвала, как за зонтик, когда дождь уже начался. Продавец страховки собирает эту переплату месяц за месяцем. Но за это ты платишь тем, что в редкий плохой месяц удар принимаешь на себя. У этого есть цена входа. Продавать страховку стоит только на акции, которыми ты и так готов владеть. Размер позиции такой, чтобы пережить любой обвал и выходить, когда паника вздувает цену защиты до потолка. В общем и целом, Клод открывает новые хобби и помогает найти ларёк, который наука признала самым доходным на улице. @maxvotek | linkedin | substack