ИИ

FedorAiToolkit Форк AI Toolkit Автор добавил в него SAM 3D Body Scanning, чтобы обучать лоры не только на лицо но и на форму тела Процесс обучения состоит из двух этапов: 1. Обычное обучение LoRA/LoKr на фотографиях пользователя (около 200 шагов) 2. Второй этап: модель генерирует изображения, SAM 3D сканирует их, и обучение подгоняет LoRA под отсканированное тело и лицо Это позволяет добиться большего сходства с реальным человеком в полных портретах. Время обучения на RTX 5090 около 30 минут для лица и около 60 минут с учетом тела Реализовано для Krea 2 Есть еще похожий проект BodyRec - помогает лоре запомнить пропорции тела #finetuning #personalization #krea2

Почему все нейронные тексты выглядят одинаково? 😅 Наверняка многие кто читает этот пост уже мысленно выделили для себя чек-лист, чтобы понять что текст был сгенерирован нейронкой - тире, короткие фразы, но почему это именно так? На самом деле ответ очень тупой - ее так научили сами люди, а если точнее, то они ее за это хвалили 😑 У меня есть такая гипотеза - при дообучении и валидации модели показывают несколько вариантов ответа на один и тот же вопрос, а живые люди выбирают, какой лучше. Люди - обычные ассесоры и как правило человек выбирает не самый умный ответ, а тот, который быстрее всего "выглядит умным". Модель это запоминает и начинает штамповать приемы, которые создают ощущение что это что-то умное на ровном месте. Пожалуй, лично для меня самая заметная конструкция - антитеза вида "это уже не А, а Б". Берется какая-то банальщина и к ней довольно топорно добавляется "A" и подается через контраст как откровение. Новой информации ноль, но звучит как эпично поворотный момент в тексте. Найти ее легко, если первая часть "это уже не А" легко выкидывается без потери смысла, скорее всего это такой бессмысленный бантик от нейронки для красоты. Нормальное противопоставление так не ломается - "Мы зарабатываем не на аффилятке, а на подписке" Длинные тире - та же логика. Если подумать, то это самый безопасный знак препинания, им почти невозможно ошибиться и сломать предложение. В общем случае модель избегает риска и ставит тире, вероятно, для безопасного повышения стиля письма. Я думаю, что сюда же все эти уже ныне винтажные слова времен GPT-3 - revolutionizing, pivotal и другой эпик спич типа коротких. Предложений с паузой. Вот так. Кстати, этот пост как это часто у меня бывает был вдохновлен обсуждениями в чате канала. Так что темы постов всегда можно предлагать в комментариях. А еще у нас с вами не за горами трансляция на 8 тысяч подписчиков похоже (каждые 500) 🤝 @neural_prosecco

Пальцевый захват У-Си: новый народный пальцевый бенчмарк. Вытащу из коментов вот такой вот промпт: Detailed macro photograph of a woman's hands tightly clasped together, interwoven fingers, interlocking palms. Close-up view on gentle, well-manicured hands with natural nails. Smooth skin texture, delicate lines, natural daylight, soft illumination highlighting the detail of the interwoven fingers. The hands are resting, relaxed. Soft bokeh background of natural, warm-toned textiles. Calm and intimate atmosphere. Shot with high resolution. (творчество Дминтрия и Gemini) Я попросил Антона прогнать его на основных генераторах и подсобрать все в кучу. Получился пальцевый виллсмит, смотрим результаты. Gpt Image и Банана - вне конкуренции. Midjourney - разочарование и жесть года года Wan приятно удивил. Остальные - как повезет. Всего 37 файлов, я отобрал 10, попробую сейчас оформить Article. Вишенка: я в отпуске с телефона - взял zip, который прислал Антон и кинул в chatGPT - возьми имена файлов и брось в правый нижний угол как подпись, запакуй и пришли обратно. Он задумался. Пока он думал, Клод Sonnet 5 сделал это на 3 секунды. Питонгом. Спасибо Антону и Дмитрию. @cgevent

Владелец Tesla из Квебека Фред Ламберт получил штраф за превышение скорости, когда его машиной рулила система автономного вождения FSD. В зоне с ограничением 50 км/ч включённый в режиме Standard автопилот сам разогнался до 78 км/ч. Навстречу ехал полицейский автомобиль, радар зафиксировал превышение, и водителя остановили на месте. FSD он активировал меньше чем за две минуты до этого. Претензия у Ламберта не к тому, что робот превышает. В Квебеке обычно можно ехать на 10-20 км/ч выше лимита, и полиция не трогает аккуратного водителя, но 28 сверху уже тянут на штраф. А до этой скорости машина разогналась сама. Раньше в Tesla можно было вручную задать допустимое превышение скорости, но в версии FSD 14 эту настройку убрали. Вместо неё водителю предлагают пять фиксированных профилей: «Ленивец», «Спокойный», «Стандарт», «Спешка» и «Безумный Макс». Тонкую настройку выкинули, оставив выбор между слишком медленным и слишком быстрым. «Нет настройки для скорости, с которой действительно комфортно», — резюмирует Ламберт.

Модели и эффорт: шпаргалка для Claude Теперь 13:00 каждой среды для меня приобрели почти сакральный смысл. В этот час у меня всё начинается будто с чистого листа: бремя экономии сходит на нет, и я снова дышу полной грудью. Другими словами — у меня сбрасываются недельные лимиты в Клоде, и я опять фигачу что хочу и когда хочу, не заглядывая каждые пять минут, как бы по лимитам в нокаут не улететь. И вот эти качели с лимитами, где в начале недели живёшь на роскошном максимуме, а к среде уже ползешь на голодном минимуме, побудили меня разобраться: когда какую модель использовать, а главное какой «эффорт» врубать. Ниже шпаргалка и для меня, и для вас. Какую модель используем? 🔹 Haiku — модель-джун, которая вообще не про думать, а про то, чтобы выполнять много простых и рутинных операций. Нужно что-то разгрести, разложить по полкам, привести к форме или ответить на супербазовый вопрос — это к ней. Делает это и быстро, и дёшево, но и положиться в сложном, как на джуна, тоже не можешь. Окупается кратно там, где надо перелопатить сотню однотипных штук разом. 🔹 Sonnet — крепкий мидл и рабочая лошадка на каждый день. Берёт на себя процентов девяносто задач и тащит их сам, без присмотра: текст, разбор данных, код средней сложности, рабочую переписку — быстро и толково. Звёзд с неба не хватает, но по соотношению «сколько платишь / что получаешь» именно на нём всё и держится. 🔹 Opus — сеньор, которого зовёшь на тяжёлое: хитрую логику, большой код, стратегию — туда, где реально надо сесть и подумать. Тянет что угодно, но и берёт за это по-сеньорски — медленнее и дороже, так что к среде ты этот счёт почувствуешь. Сажать его на рутину — деньги на ветер, и так чаще всего бюджеты и сливают (сам так делаю). 🔹 Fable — звезда команды, вокруг которой хайп с самого релиза. И ценник звёздный, и отдача такая же. Меньше всех вам льстит: спокойно пойдёт спорить и покажет, где вы не правы и чего не учли. В неё есть смысл отправлять только стратегические и ценные задачи, где цена ошибки высокая. Какой уровень эффорта выставляем? 1️⃣ Low — отвечает не включая голову, на рефлексе. Для того, что и так очевидно: подрезать текст, глянуть мелочь. На сложном тут же поплывёт, зато лимита почти не ест. 2️⃣ Medium — уже думает, но в себя не уходит. Мой дефолт по жизни: девять задач из десяти закрываются прямо здесь, и лимиты целы. 3️⃣ High — врубаю, когда с наскока не берётся и надо реально повзвешивать: распутать логику, увязать концы, не растерять детали. Дольше и дороже, зато ответ на голову ценнее. 4️⃣ Extra — тот же High, только на стероидах, для совсем зубодробительного. Разницу ловишь не каждый день, но на заковыристом она есть. 5️⃣ Max — думает до упора, на всю катушку. Копает долго и лимит выжигает будь здоров, но там, где цена ошибки кусается, оно того стоит. 6️⃣ Ultracode — вообще другая лига. Тут уже поднимается целая бригада, задачу рвут на куски и молотят разом, параллельно. Заход для по-настоящему крупного — на повседневной мелочи это из пушки по воробьям (и по лимиту так же). Мощность модели и глубина эффорта не складываются, а перемножаются. Opus на максимуме ради правки запятой — это как подогнать бетономешалку размешать стакан чая. За правило взял для себя: по умолчанию живу на Sonnet со средним, а по мере роста сложности — двигаюсь в сторону увеличения. А вы насколько эффективно жжёте свои токены? Константин Сухачев

За и против открытых (китайских) LLM. Я периодически читаю аналитику, мнения и пейперы по теме, в этом посте собрал не самые очевидные, и конечно с упором на деньги. 0️⃣ Есть много графиков типа приложенного к посту, что открытые отстают всего на несколько месяцев, и нужно только подождать. Контрааргументом приводят, что это только по бенчмаркам на 3-4 месяца, а на проде в реальных задачах - 8-12 (что кажется тоже ок). Аргументы ПРОТИВ того, что открытые модели могут догнать закрытые: 1️⃣ Главное заблуждение про открытые веса, что они дешевые (или бесплатные). Это справедливо для R&D, но не COGS (включая инференс): траты растут с ростом выручки/использования. Реакция на Kimi и китайские модели сильно преувеличена: есть очевидная price umbrella порожденная нехваткой компьюта. То есть китайским моделям выгодны высокие цены топовых лаб - демпинговать в таких условиях рынка всегда легче. 2️⃣ Из-за роста "агент-инференса" рынок инференса неожиданно может расти быстрее, даже быстрее издержек тренинга. Проще говоря, закрытые модели смогут частично брать объемом, как в классическом бизнесе. Нужно только достаточно компьюта, а охваты у них уже есть. Тот, кто крутит инференс, собирает данные, а данные идут в следующую версию модели. Это самоусиливающийся цикл, недоступный тому, кто просто раздает веса. 3️⃣ Токены - не коммодити! То есть это не как мешок кофе или баррель нефти. Токен одной модели не равен токену другой. Правильно считать стоимость решения конкретной задачи, а тут у открытых моделей все не так хорошо, как на страницах прайсинга. 4️⃣ Anthropic и OpenAI на полгода-год впереди не только по бенчмаркам, но и по возможности оптимизировать эффективность инференса, памяти, обслуживания. Контринтуитивно, но они могут заметно сократить издержки. Плюс по кибербезопасности закрытые модели вряд ли потеряют лидерство. Аргументы ЗА будущее доминировали открытых китайских моделей: 5️⃣ Чипы - единственная часть, где у США (и закрытых моделей топовых лаб) преимущество. Но все остальное в цепочке поставок токенов (электричество, стоимость строительства датацентров и т.д.) - заметно дороже китайского. Плюс регулирование, иски, бюрократия. 6️⃣ Юзеры и бизнесы, которые больше всех тратят, легко переключаются между моделями и инструментами. Никакого moat у лидеров нет, и как только все выйдет на плато, мы увидим массовый переток юзаджа и денег в открытые модели. Массовый потребитель, привыкший к ChatGPT, не спасет - он дает слишком мало выручки. 7️⃣ Многие проблемы больших AI лаб можно залить деньгами, но узкое место уже намечается в физическом мире - электричество, стройка и др. Есть уверенность, что обещанный капекс в принципе невозможно обеспечить, физически. Как только это будет видно на рынке, Китай начнет становится мировой столицей инференса. 8️⃣ Главный ингредиент в стоимости токена - маржа Nvidia (а не электричество или прибыль openai). Так почему будущая выручка вообще должна остаться у лаб? Пока их moat - это не качество моделей или харнесс, а тупо субсидирование юзеров венчурными деньгами. Конкуренты дипсика дают скидку около 30-40% - это и есть оценка маржи. Реселлеры клодкода/кодекса продают токены со скидкой до 90% от API-цены, перепродавая лимиты фиксированных планов. 9️⃣ Я не знаю, кто победит и как распределятся на рынке, но для нас конкуренция - это хорошо! Остальное просто с интересом наблюдаем. @kyrillic

Вики — это не память (ч.2) Здесь стоит провести одно чёткое различие, потому что терминология в этой области всё ещё расплывчата. Эти системы всё чаще описываются как памят». LangChain называет OpenWiki «слоем вики-памяти для ИИ-агентов», используя маркетинговую формулировку. Слово несёт большой вес, но покрывает две довольно разные вещи. Корпусное знание — это то, что делает вики: компилирует то, что содержится в наборе документов, репозитории или архиве Gmail. Она отвечает на вопрос «что содержит этот материал?» Пользовательская память и опыт — это другая ось: что предпочитает конкретный человек, что они решили на прошлой неделе, какой подход их команда уже отвергла, что агент пробовал в другом приложении вчера и чем это закончилось. Это относится к идентичности, а не корпусу, накапливается из взаимодействий, а не поступления, и должно уметь обрабатывать противоречия, устаревание, происхождение и удаление для каждого пользователя. Вики отлично справляется с первым и не пытается делать второе Компиляция вашего Gmail в страницы говорит агенту, что находится в вашем Gmail. Это не говорит агенту, что вы передумали по поводу решения о вендоре в разговоре во вторник, или что предложенный подход уже однажды не сработал для вас. Эта вторая ось — то, для чего предназначен выделенный слой памяти, такой как Mem0: память, привязанная к user_id, чтобы она следовала за человеком между сессиями, приложениями и агентами, обновляемая на месте при изменении фактов, а не добавляемая навсегда. Эти два подхода дополняют друг друга, и ошибка не в выборе вики. Ошибка в том, чтобы верить, что вы решили проблему памяти, потому что скомпилировали корпус. Вынесите из этого три вещи: 1) Компилируйте ваши документы в поддерживаемые страницы, когда корпус стабилен и часто перечитывается 2) Добавляйте полноценный поиск, когда он вырастает за пределы личного масштаба, как и рекомендует исходная формулировка. 3) И держите различие между компиляцией корпуса и запоминанием пользователя, потому что вики даёт вам первое, а не второе. ИИ Wiki — реальный паттерн с реальной идеей: знание должно быть скомпилировано один раз и поддерживаться, а не перевыводиться на каждый вопрос, и поддержка, отсутствие которой убило человеческие вики, это именно та работа, которую модель выполняет бесплатно.

ИИ-Wiki: Код, продукты, жизнь (ч.1) За последние месяцы четыре разные команды реализовали одну и ту же идею Wiki для ИИ: OpenWiki, DeepWiki, AutoWiki,, GBrain. Работает просто: LLM читает набор источников, компилирует их в поддерживаемый набор markdown-страниц и обновляет эти страницы по мере изменения источников. Агенты читают эти страницы вместо того, чтобы заново выводить всё из сырого материала на каждый вопрос. Паттерн стал категорией, а системы, построенные на его основе, всё чаще называют просто «агентными вики». Вот что это такое на самом деле, что построила каждая команда, где это ломается и с чем это постоянно путают. Идея: компилировать при поступлении, а не при запросе Начнём с проблемы, потому что паттерн — прямой ответ на неё. Стандартный способ передать модели базу знаний — это поиск (retrieval). Вы загружаете документы, разбиваете на чанки и создаёте эмбеддинги, а при запросе извлекаете релевантные фрагменты и отвечаете. Это работает, но имеет структурный изъян: ничего не накапливается. Каждый вопрос начинается с сырых фрагментов, так что модель каждый раз заново выводит одно и то же понимание, и десятый вопрос о кодовой базе не дешевле и не лучше первого. LLM Wiki инвертирует этот порядок: вместо того чтобы собирать знания при запросе из сырых кусков, LLM собирает их один раз при поступлении в долговечные страницы и затем поддерживает их. Когда поступает новый источник, модель читает его, обновляет затронутые страницы, пересматривает и отмечает противоречия с уже написанным, выводя его один раз и затем обновляя. Архитектура состоит из трёх слоёв: 1) Сырые источники неизменяемы: статьи, документы, репозитории, данные. Модель читает их и никогда не редактирует. 2) Вики — это созданный LLM markdown, которым ИИ полностью управляет: резюме, страницы сущностей, концепций, перекрёстные ссылки и т.п. 3) Схема — это конфигурационный файл (CLAUDE.md, AGENTS.md или аналогичный), который сообщает модели, как организована вики и какие рабочие процессы запускать, что превращает её в проводника, а не просто в чат-бота с доступом к файлам. Над всем этим работают три операции: – приём источника и размещение его по затронутым страницам; – запрос к вики с возможностью сохранять хорошие ответы как новые страницы, чтобы исследование тоже накапливалось); – периодическая проверка, выискивающая противоречия, устаревшие утверждения и потерянные страницы. Что на самом деле построили лаборатории и различия между реализациями. DeepWiki — вики как общедоступная утилита. Замените github.com на deepwiki.com в URL любого публичного репозитория, и вы получите сгенерированную, навигабельную вики этой кодовой базы: обзор архитектуры, индекс файлов, граф зависимостей и поиск с ссылками на исходный код. AutoWiki придерживаются подхода, что документация должна быть артефактом сборки, а не побочным проектом. Она строится из исходного кода, организована вокруг того, как кодовая база работает на самом деле, и обновляется при изменении репозитория. AutoWiki выполняет двухпроходный анализ и работа распределяется между специализированными агентами, каждый из которых охватывает один аспект репозитория с достаточным контекстом для создания хорошей страницы. OpenWiki перешли от кода ко всему LangChain открыли исходный код OpenWiki и расширили его до OpenWiki Brains с двумя режимами: Code Brain — исходный вариант для репозиториев, и Personal Brain, который строит вики из ваших собственных подключённых источников. Этот второй режим — самое интересное. Personal Brain принимает данные из Gmail, Notion, git-репозиториев, X, Hacker News и веб-поиска и синтезирует их в локальную markdown-вики, к которой обращается агент. Категория перешла от «документируй мой репозиторий» к «скомпилируй мою рабочую жизнь». GBrain: персональная open-source версия GBrain применяет ту же форму к личной базе знаний, а не к кодовой базе: markdown в git-репозитории, файл схемы и автоматически поддерживаемый граф перекрёстных ссылок сущностей. Никакой векторной базы, никакого сервиса — просто файлы, которые модель и человек могут читать.

«Как я заставил Claude рассказать личные секреты пользователя» Пользователь не нажимал на подозрительные ссылки и не включал никаких интеграций. Он спросил, где рядом хороший кофе, и передал Claude пару обычных URL. Пока агент отвечал про кофейню, он успел побуквенно набрать на чужом сайте полное имя пользователя, название его компании и родной город, ни словом не обмолвившись хозяину. Личные данные утекли из памяти ассистента, которая по умолчанию включена и хранит больше, чем менеджер паролей. Самое неприятное в том, что родной город Claude в памяти не находил. Он вычислил его сам, по одной детали из старой беседы, о которой пользователь давно забыл.