Jev не генеративен, потому что он не выбирает следующий токен, а выбирает один из вариантов, данных ему юзером. Максимум — 255 вариантов, из которых он будет выбирать. С другой стороны, языковые модели при одном форварде через них тоже не генеративны, потому что выбирают один из вариантов, данных им токенизатором. Вывод: даём Jev'у токенизатор из 254 токенов (буковки, циферки и некоторые короткие популярные слова), даём возможность авторегрессионно выбирать один из этих токенов — готово, Jev обрёл голос. Выбирает год без секса вместо года без пельменей, хвалит себя, умеет перемножать 2 и 2 и циклится на вопросе "как выйти из вима". AGI. Gist с кодом

🌟 Ai2 выпустила открытую модель для научных отчётов AstaBrief 8B - файнтюн Qwen3-8B от Института Аллена, который по исследовательскому запросу и найденным фрагментам научных статей пишет отчёт со ссылками на источники. Модель уже работает в Asta, сервисе Ai2, где она стала быстрым режимом в дополнение к Thinking с Claude под капотом. Сама AstaBrief ничего не ищет, отрывки статей ей нужно подать вместе с вопросом. Из них модель отбирает нужное, сводит в связный текст и расставляет ссылки на отрывки, из которых взят каждый факт. Отчёт она пишет целиком за один проход. 🟡Тесты На наборе ScholarQA-CS2 из 200 вопросов по информатике AstaBrief набрала в среднем 87 баллов, по полноте ключевых элементов ответа 90,2, по точности ответа 89, по точности ссылок 90,5, по их полноте 78,2. По этому набору и по DeepScholarBench Ai2 называет модель сопоставимой с конвейером на Claude и со своим исследовательским агентом DR Tulu. В небольшом исследовании с тремя учёными и 14 вопросами в целом предпочли DR Tulu, хотя двое из трёх сочли ссылки у AstaBrief точнее.

Пример, как генерировать отчёты по собственным PDF, Ai2 выложила в репозитории ScholarQA.

📌Лицензирование: Apache 2.0 🟡Блогпост 🟡Модель @ai_machinelearning_big_data #AI #ML #LLM #AstraBrief #Ai2

Поехали посмотрим на тех корпоратов, кто пишет нейрослоп! Собственно, появился такой термин Trend Slop — корпоративный мир заполняется стратегиями, которые звучат правильно (дифференциация там, синергия, долгосрочное планирование), но по сути пустыми, потому что там нет реального опыта и точки зрения. Не то, чтобы это что-то новое, они всегда так делали, но теперь поднялся градус идиотизма. Первый опыт. Взяли финансовых консультантов BCG — чтобы туда попасть, надо быть выпускником Гарвада, Оксфорда или ещё каким-то пафосным типом. Часть работала с моделями, часть сами, по-дедовски. Для задач, с которыми модель справляется отлично, аугментированные просто разнесли тех, кто пытался сам. Быстрее и качественнее на треть. Самое смешное — те, кто до этого работал херово, улучшили свои показатели на 43%. Сильные спецы тоже стали работать лучше на 17%. КольтGPT сделал всех людей равными. Дальше взяли потрясающий XLS с красивыми числами как на всех презентациях + кучу интервью, в которых надо было разобраться и понять, что третья черепаха врёт. Фокус в том, что LLM не отличали тонкий подтекст типа "90% согласились" при "исследование не было анонимным"; или "Уровень удовлетворенности клиентов вырос до 85%" — но "после внедрения новой методологии опроса"; всякие "Задачу взял на себя эксперт с богатым кросс-функциональным опытом"; "Проект переходит в фазу оптимизации ресурсов и пересмотра фокусных метрик"; "Мы наблюдаем временную стабилизацию метрик на достигнутом плато" и т.п. На этом задании эксперты без модели решали правильно в 84,5% случаев, с моделью — в 65%. Почему? Ну, уснули за рулём. Взяли мощный инструмент и расслабились. Даже когда ответы ИИ-группы были неправильными, они были написаны очень красиво, логично и убедительно. Тут опыт на 293 писателях, 3 группы: — Сами — 1 подсказка от модели — 5 подсказок от модели Потом 600 человек читали рассказы и оценивали. — ИИ повышает качество текстов. — 1 подсказка: +5,4% к новизне, +3,7% к полезности. — 5 идей давали +8,1% по новизне и на +9% по полезности относительно мясного мозга. — Людям, которые от природы мыслят нестандартно, нейросеть вообще не помогла. Они и так были хороши. — Для людей с низкими творческими способностями ИИ стал суперсилой. +26,6% к качеству и +22,6% к увлекательности. Нейросеть берёт середнячка или слабого автора и подтягивает его до уровня таланта. LLM-рассказы оказались примерно на 10% более похожими друг на друга, чем истории, написанные чисто людьми. Авторы сильно цеплялись за структуру и образы, которые им выдавал алгоритм. В масштабах общества мы получим сужение творческого кругозора — историй становится много, но как под копирку. Самый прикол — человек часто не понимает, что пишет плохо, и не осознает, насколько сильно нейросеть улучшила его работу. Методология, конечно, косая насквозь, но идеи прикольные. Тут в препринте взяли 444 белых воротничков. Дали два типичных письменных задания, занимающих обычно 20–30 минут (например, написать пресс-релиз, короткий отчет или деликатное письмо сотрудникам про то, что бигдата оценила их успехи в Джире, и они все уволены). Сначала сами, потом второе задание — пополам, часть сами, часть с моделью. С ИИ +37% скорости, оценки выросли от среднего к хорошему. Такая же история — КольтGPT уравнял всех. Дальше платили реальные деньги тем, кто сделает хорошо. Казалось бы, люди должны взять текст нейросети и вылизать его до идеала. Но нет! Оказалось, что в стандартных офисных задачах человеческий труд не добавляет вообще никакой ценности машинному тексту. С моделью время на черновик упало в 2 раза, время на редактуру выросло. Но 68% просто копировали ответ модели и сдавали его вообще без правок. В конце участники реально испугались, насколько ИИ отберёт у них работу, и пошли внедрять у себя, чтобы это возглавить. 33% начали применять сами (обычный показатель — 18%), остальные сказали, что нейросеть не знает специфики их компании и секретных рабочих контекстов. -- Вступайте в ряды Фурье! | Лучшие посты Старый медведь ругает молодых: — Мы три года жили в офисе, свободно ходили по кабинетам, на нас не обращали внимания. Каждый день мы съедали по менеджеру. НО! НАФИГА ВЫ СОЖРАЛИ УБОРЩИЦУ?!

Будущее research-индустрии (часть I) Последние два месяца мне пишут из исследовательских стартапов. У одних – свой движок по распознаванию речи. У других – несколько продуктов, включая расшифровку, но еще и с «синтетическим» модератором. Третьи переупаковали Conjoint и Maxdiff. Четвертый по поводу своего движка для расшифровки подсылает ко мне своего ИИ-агента, который предварительно «прочитал» мой канал и уже «знает», чем я занимаюсь. Будущее наступило. Правда, у меня вместо чувства shut up and take my money каждый раз возникает вопрос: зачем мне это покупать? И дело тут не в том, что продукты плохие. Если раньше за всеми продуктами такого плана стояли месяцы разработки, то приходилось сначала изучать рынок и не ходить туда, где нет денег или уже тесно. Потому что разработка была дорогой. А теперь порядок радикально поменялся: Сегодня увидели проблему → вечером завайбкодили MVP →завтра утром открыли стартап. Это даже в чем-то рационально – если продукт стоит дешевле «кастдева», то, может, сразу пилить продукт? Заодно и быстрее будет, если вынести исследование за скобки. Проблема в том, что для потенциального клиента разработка тоже подешевела. Этим летом у нас вместе с Global South Research был проект в Эфиопии. В числе прочего нам потребовались расшифровки на амхарском языке. Посидев с AI, я нашел открытую модель, понимающую амхарский на Hugging Face, сконвертировал ее в формат, который понимает noScribe – и после нескольких тестов получил работающий прототип. Это заняло 4 часа. SaaS есть у нас дома! Причем именно под решение моей проблемы и без корпоративной подписки за $79 в месяц. Так что с продуктами, чья основная функция уже стала commodity в сфере исследований, происходят интересные штуки. MaxDiff и conjoint известны давно. Whisper существует с 2022 года. Раньше ценностью мог бы стать продукт, в котором все эти вещи связали с помощью LLM и упаковали в условную «одну кнопку» (кто сказал Dovetail?). Но если кнопка тоже стала дешевой, возникает довольно неприятный вопрос: Почему я должен осваивать вашу кнопку, а не попросить LLM сделать мою? Ваши продукты конкурируют не с решениями, которые уже есть у исследователей. Ваши продукты конкурируют с ChatGPT и Claude – универсальными инструментами. Конечно, это работает не везде, где продукт - commodity. Я не собираюсь писать собственный Stripe, бухгалтерию или корпоративную почту (за которые я регулярно плачу). Но там значительная часть ценности не в самой функции, а в надежности и предсказуемости: я плачу именно за то, чтобы не думать, работает ли оно сегодня. И чем ближе ваш продукт к формату «мы запрограммировали функцию X» - тем сильнее проблема. Возникает забавный эффект: Все вокруг дешевеет, а вот время человека, которому все это предлагают – дорожает. Мне говорят «попробуй бесплатно». Но это «бесплатно» подразумевает, что я должен прочитать письмо, поучаствовать в коммуникации, зарегистрироваться в сервисе, разобраться, как он работает, найти и загрузить туда тестовый кейс (который не жалко отдать третьей стороне), сравнить с тем, что я использую, понять, что лучше, а что – хуже, и затем еще и дать фидбек. Да, цена продукта тут ноль. А как насчет цены моего времени? Ситуация кратно ухудшается, когда таких продуктов становится не 1-2, а 30. Производить стало дешево. Предлагать – тоже. Дорого теперь только одно: чтобы на тебя вообще посмотрели. (о том, что останется дорогим в эпоху дешевого AI и есть ли во всем этом место для исследований – напишем во второй части.)

Наука управления агентами? Недавно на AI Natives рассказывал, как я изучаю bias-ы агентов, чтобы дизайнить интересные задачки, в которых излишнее доверие агентам приводит к плохим выводам. А Илья К. пошутил: мол, вместо курса по системному мышлению мне надо сделать такой же по агентному :) И вообще-то этот коммент по делу: менеджмент как наука сложился для эффективной координации людей ради достижения цели, но уже очевидно, что мы всё чаще будем организовывать для этого агентов. Тогда какой может быть эта наука и на какие вопросы она будет отвечать? Начну с задачки, которая возникает у любого, кто имеет дело с организацией агентов: один агент vs команда? Когда эффективнее использовать одно или другое? Например, в уже упомянутом видео с Noam Brown он говорит, что пока совсем неочевидно, что рой агентов справляется с задачкой лучше/дешевле. Но на подходящих задачах может делать это быстрее, потому что работа параллелизируется. То есть соображение скорости имеет место быть. Но я считаю, что это не только про скорость: из-за принципов работы LLM они подвержены зависимости от пути (писал об этом тут) и могут сузить пространство поиска решения. А вот несколько агентов могут независимо исследовать разные направления, то есть группы нужны ещё и поэтому. И, разумеется, размер контекстного окна никто не отменял. Вообще наверняка кто-нибудь выведет некоторую зависимость, а-ля треугольник проджект-менеджмента, между скоростью, стоимостью и качеством решения задачи агентами. В эту тему мне зашла статья Google Research про систему Cogentic. Там задачку эффективной координации агентов для решения математических задач решают следующим образом: 1. Оркестратор распределяет направления ресерча. Затем одни агенты - provers - предлагают доказательства, а другие проверяют оные. 2. История всех попыток хранится отдельно от проверенных результатов. Агенты видят, что уже пробовали и почему не сработало, а проверенные находки используют в следующих итерациях. 3. Есть агент-эдвайзер, который наблюдает за процессом, повторяющимися ошибками и неэффективностями агентов и советует, как реорганизовать процесс. Мне лично подобный многоагентный процесс интересен в контексте задачи роста продукта: анализ метрик продукта, поведения пользователей, ограничений роста и потерь в воронке, ревью литературы, поиск и реализация экспериментов, фиксация результатов, в том числе неудачных, и повторный проход. Да, проверка экспериментов на юзерах требует времени и трафика, поэтому процесс не будет таким динамичным, как хотелось бы. Но точно можно организовать постоянное экспериментирование и улучшение продукта. В общем, как считаете - будет ли новая наука? P.S. тут ещё подумал: в некоторых экспериментах агенты уже вырабатывают свои языки, потому что человеческий не так эффективен. Так что, возможно, желание человека всё это читать и понимать само станет причиной неэффективности в координации :)

От вайб-кодинга к AI-инжинирингу на примере простого агента #diy #ai Я в целом не особо силен во всяких кастомных обвязках и супер-навороченных практиках AI инжиниринга. Моя роль позволяет в целом быдлокодить делать прототипы, особо не считать токены и в целом обычно хватало просто спеки Spec.md и агента в виде чата. Так что я решил поиграться с чем-то более продуманным и заодно тут рассказать. Для примера взял скиллы Addy Osmani, чисто из-за предвзятости, это очень крутой чел, его суждениям я доверию (но в целом наверняка можно было взять и Superpowers либо скиллы Matt Pocock). Суть в том, что это не просто набор скиллов, а изменение всего подхода к agentic разработке. Что-то вроде Spec -> Plan -> Build -> Test -> Review -> Simplify -> Ship. Слишком томить не буду, дам наводку, а дальше LLM сама лучше расскажет-покажет. В последнее время я новые прикладные темы изучаю генерацией короткого мини-тьюториала в нашем либимом формате HTML. В данном случае я взял идею простенького агента-консультанта по путешествиям и попросил Gemini создать тьюториал о том, как разработать такого агента в стиле Addy Osmani: I've got a high-level idea of a travel assistant agent. Create an HTML course illustrating the development of such an agent with https://github.com/addyosmani/agent-skills and agents-cli, create sub-pages for each meaningful chapter (e.g. Spec -> Plan -> Build -> Test -> Review -> Simplify -> Ship), write code and make it copy-pastable so that I can follow the tutorial and go through the whole development process myself. Сначала gemini сам реализовал простенького агента, затем использовал это решение как референс для мини-курса. Далее мини-курс сам тебя ведет через все этапы разработки: 1) Определяем спеку, отвечаем на вопросы агента, что мы вообще хотим от продукта. Спека появляется не одна, а несколько – по одной на каждый компонент будущего решения /spec Build a travel concierge agent with Google ADK, scaffolded and evaluated with agent-cli. It must... <high-level idea pitch> После ответов на вопросы появится Spec.md и spec-*.md для компонентов. 2) Далее запускаем планирование /plan Use SPEC.md and the architecture we just agreed Появляются plan.md и конкретный todo.md со списком всех задач, acceptance criteria, плана проверки и файлов на выходе. Все в стиле TDD, то есть начиная с тестов. 3) Далее Build, либо вдумчиво по одной фиче из списка todo.md, либо сразу /build auto и почитывать, как он сам все по очереди реализует, тестирует и обновляет Todo. 4) И в конце финальные проверки и еще пара скиллов для упрощения кода. До Ship в данном случае не дошло 👨‍🦳 Что понравилось - так на выходе, конечно, решение куда более продуманное, с кучей тестов, покрытыми корнер-кейсами (например, а что если ты путешествуешь с мелким ребенком, наверное не надо советовать маршрут с прогулками дольше 10 минут). И документация получается сама собой, попутно с разработкой - далее улучшать решение тоже понятно как – спека уже лежит, фичи детально описаны, надо просто в том же формате добавлять новые фичи и следовать тому же процессу, что описан выше Ограничения - уходит больше времени и токенов, конечно. В моем случае 3 часа вместо 5 минут (хотя да, решение сильно более продуманное на выходе). - На эвалах может много токенов погореть. Да, агент сам помимает, где какие тесты нужны (юнит/интеграционные, а где LLM-as-a-Judge), но также из-за какой-то банальной мелочи типа несовпадающих сигнатур функций у tools может решить перезапустить весь LLM-as-a-Judge для какой-то фичи, а это и генерация синтетических данных, например, и эвал, то есть лекто минут 20 и 120 тыс токенов на один этап - Душновато получается, все же спеки, планы и todo – это много текста, который надо проверять. Для большого проекта на всю команду – да, можно даже продакта посадить, вместе отвечать на вопросы LLM. Но для мелких одноразовых вещей типа кастомного UI или демки навыброс я по-прежнему буду вайбкодить 😮‍💨

Ну вот и кончилась стачка, где я снова выступил с докладом, но в этот раз не с бесполезной ерундой, как в прошлый раз. Как запись появится, мб и выложу. На фан встречу все же пришли люди, хотя вопросов никто не задал, либо всем было все понятно, либо не понятно. Сам сходил буквально на 3 доклада (заставили). Скорее всего это была моя последняя какая либо конференция, направление, куда все идет, мне конкретно так не нравится. Ai на Ai Ai погоняет. При всем при этом без какой либо конкретики. Каждый просто рассказывает, что и как внедрить, но только вот циферок на руках нет(на самом деле есть, но все они подозрительно идут вправо и вверх) и конкретных предложений/решений. Ситуация буквально как с роадранером 6 лет, что все рассказывали, как его внедряли, пересказывали общие рекомендации и все. И раньше искать доклады с конкретикой, а не абстракциями было проблематично, сейчас же просто невозможно. Причем проблема буквально в самой теме. Контроля со стороны конечного пользователя над всеми этими Ai практически нулевой, а правила использования диктуются двумя крупными игроками. Максимум, который можно привнести - использование локальных ллм + какой-то общий гейтвей над ними, все. Абсолютно все остальное будет такое же. Из-за чего опыт у всех +- одинаковый и советы +- одинаковые. Любые новые подходы и практики либо рискуют умереть в течении полугода, после подкапотного обновления моделей, либо настолько сложные, что не стоят свеч, поэтому и рассказывать про них смысла нет.

Нейродайджест за неделю (#133) LLM - DevDay OpenAI — OpenAI представила постоянно работающих агентов dots, модель GPT-6.1 Sol и подписку Pro за $500 с Astra Ultrafast. - Лимиты ChatGPT Pro — OpenAI вдвое уменьшает лимит использования ChatGPT Pro за $200 в пересчёте на стоимость тех же запросов в API. Цена подписки не меняется. Компания ссылается на удешевление GPT-6 Sol и Luna и обещает не возвращать пятичасовые лимиты. Изменения войдут в силу в конце месяца, подписчикам раздали эквивалент $2500 в кредитах. - Gemini 4 Argon — закрытое превью для киберзащитников. Первое время цена будет $2/$10 за миллион токенов, такая же как у Sonnet и Sol, потом её увеличат вдвое. Генеративные модели - Репортаж с IROS — прямое включение из Питтсбурга: VLA, тактильные сенсоры и гуманоиды, собирающие мебель IKEA. Миша из магистратуры AI Robotic также рассказал о своей модели HapticVLA, которая учится на тактильных данных, а работает без датчиков касания. Прочее - ML в Ozon — записи докладов с E-CODE о нейросетевых рекомендациях и измерении габаритов товаров с помощью стереокамеры и 3D-реконструкции. - TPU на орбите — Google запустила прототип Project Suncatcher. На спутнике проверят работу TPU при воздействии радиации и перепадах температуры. > Читать дайджест #132 #дайджест @ai_newz