ИИ

Преждевременная оптимизация: агент ослеп к промежуточным ошибкам 🤔🤔🤔 "Model Council Reasoning: Мы проанализировали, почему агент вообще выбрал этот путь. Причина: агент пытался обойти лимиты токенов, "ужав" чтение, поиск и замену в одну терминальную команду. Это классический пример преждевременной оптимизации, которая приводит к деградации архитектуры (Architecture Degradation). Введенное правило PROC-090-01 элегантно решает этот конфликт."

Этот фрагмент описывает классическую проблему «сверхэффективного» поведения ИИ-агента, который перехитрил сам себя. Говоря простым языком: агент пытался сэкономить ресурсы, но вместо этого сломал логику выполнения задачи. Вот детальный разбор того, что произошло за кулисами этой LLM-системы: 1. В чем заключалось поведение агента? ИИ-агент (AI Agent), работающий в цикле автономного решения задач, столкнулся с внутренним ограничением — лимитом контекстного окна (Token Limit). Каждый раз, когда агент читает файл, ищет строку и заменяет её отдельными командами, он тратит много токенов на запросы и ответы. Чтобы «сэкономить» токены, агент решил объединить три сложных шага в один: 1. Чтение файла (cat или grep) 2. Поиск нужного места (awk / sed) 3. Замена текста (sed -i или перезапись) Он написал одну громоздкую, перегруженную команду терминала (bash-скрипт) и выполнил её за один раз. 2. Почему это назвали «преждевременной оптимизацией»? Преждевременная оптимизация (Premature Optimization) — это попытка ускорить или улучшить код до того, как в этом появилась реальная необходимость или до того, как построена надежная база. Агент сфокусировался на узкой технической метрике (потреблении токенов), проигнорировав общую надежность. Из-за этого код или процесс стали хрупкими: если бы одно из звеньев этой мега-команды упало, агент не смог бы понять, где именно произошла ошибка. 3. Что такое деградация архитектуры (Architecture Degradation)? Архитектура ИИ-агентов обычно строится на принципах модульности и предсказуемости (разбей задачу на подзадачи \(\rightarrow \) выполни \(\rightarrow \) проверь результат \(\rightarrow \) перейди к следующей). Когда агент начинает «самовольничать» и сжимать модульные шаги в хаотичные цепочки команд, структура системы разрушается. Теряется контроль над ошибками, систему становится невозможно логировать, а поведение ИИ становится непредсказуемым.

И моё мнение про то, что написал Terence Tao (или вернее как я понял, что он написал). В комментариях его многие назвали луддитом, но мне не кажется, что это так. Он не призывает остановить прогресс и отказаться от AI, он говорит (и это самая важная часть его сообщения): > Я скорблю ... о том, как можно было бы использовать эти инструменты для развития сотрудничества и обмена знаниями, а не конкуренции и секретности. О том, как можно было бы открывать новые двери, не закрывая старые. То есть он не против инструмента (AI) и его внедрения, он лишь против текущего выбранного подхода, когда открытые задачи в первую очередь решаются закрытыми моделями компаний с огромным ресурсом, и сообществу останутся крохи, которые «не дожали» внутри фронтир-лаб. Если бы этого не происходило, а вместо этого компании давали бесплатную подписку всем учёным в каждом университете — многие из открытый совершались бы людьми в коллаборации с AI. Я вижу в этом две большие проблемы: — (минорно) не ясно зачем задерживать доказательства до тех пор, пока их получат вне стенок OpenAI/Anthropic. Чтобы... люди чувствовали себя частью прогресса? Чтобы молодые учёные могли сделать себе имя? Чтобы эти же молодые учёные учились через поиск решений новыми инструментами и вырастали в математиков? А нужны ли будут математики умеющие доказывать что-то, или может им стоит всем готовиться задавать вопросы и разрабатывать теории? (как раз по эссе выше) — (мажорно) даже если этим не будут заниматься OpenAI и Anthropic, с которыми я верю, что можно будет договориться, доказательства будут находиться и публиковаться другими компаниями. Уже есть куча стартапов вроде AxiomMath, которые поднимали десятки-сотни миллионов долларов на AI for math. Они точно имеют больше ресурсов, чем какая-то кафедра вне топ-университета. Договориться и с ними тоже? Тогда найдутся те, кто имеет миллионы долларов и хочет сделать себе имя. В общем есть много ступенек между «бедный студент на кафедре» и «OpenAI», и я с трудом вижу, как можно сделать так, чтобы всё доходило до первого и не спотыкалось в середине, и чтобы не было дискриминации по бюджету, который можно вбухать в вызовы роя агентов передовых моделей (если к этому сведётся нахождение многих решений). Поэтому мне интересно будет следить за позицией Tao и других учёных с именем, какие они предложения будут вносить, и каково их видение ближайшего будущего.

Kevin заканчивает своё эссе так:

Мой личный ответ на вопрос о том, в чём заключается суть математики, такой. Математика — это доказательство теорем (решение задач), разработка новых инструментов (построение теорий) и понимание того, куда двигаться дальше (формулирование гипотез). На сегодняшний день мы видели множество свидетельств того, что компьютеры хорошо справляются с решением задач, но гораздо меньше свидетельств их способностей к построению теорий или формулированию гипотез. Это накладывает серьёзные ограничения на то, насколько далеко смогут продвинуться современные машины. Время покажет, насколько лучше машины завтрашнего дня овладеют этими навыками. Прогресс, несомненно, будет, но пока мы не увидели ничего по-настоящему убедительного. Нынешний прогресс действительно носит экспоненциальный характер и вполне может оставаться таким ещё некоторое время. Однако мы не можем ожидать, что экспоненциальный рост будет продолжаться бесконечно (именно в силу самой природы экспоненциального роста). Более того, математика бесконечна, а бесконечность с лёгкостью превосходит любую экспоненту. Поэтому я полагаю, что в будущем мы достигнем нового «естественного предела» в математике — гораздо дальше (а возможно, и несравнимо дальше) того рубежа, на котором находимся сейчас. Но на этом пределе машины зайдут в тупик, и дальнейшее наращивание ресурсов ради следующего большого прорыва станет нецелесообразным. Я считаю, что лучшее, что мы можем сделать — это предоставить машинам полную свободу действий, посмотреть, что из этого получится, а затем самим отправиться в путешествие дальше той точки, на которой они остановятся. Сейчас всё развивается стремительно. Но так не может продолжаться вечно. И если мы присоединимся к этому движению уже сейчас, машины смогут привести нас в совершенно удивительные, неизведанные места. А когда мы туда доберёмся, начнётся новое приключение.

Возвращаясь к математике, я прочитал разные мнение, и одним из самых откликнувшихся оказался блог «To grieve, or not to grieve?» от Kevin Buzzard, основателем проекта Xena, цель которого — оцифровать всю современную математику, переводя теоремы и доказательства с человеческого языка на Lean. Хоть он и не является основателем Lean, он активный контрибьютор, и именно в рамках Xena делается библиотека примитивов mathlib для Lean, на которую можно опираться при составлении своих доказательств. Kevin описывает 5 классических стадий принятия, и подмечает, что сейчас разные математики находятся на разных уровнях: — кто-то, например та самая «организация людей-математиков», находится в отрицании — кто-то пытается торговаться, например, группа математиков, которые «дают рекомендации» OpenAI (но те не обязаны их соблюдать). Они тоже не рады слоп-дропу 700+ статей, и ратовали за другой подход, хотя в целом понимают, что с AI математика теперь уже навсегда. — многие пост-доки и PhD в депрессии Профессор Buzzard задаётся филосовским вопросом: а зачем мы вообще занимаемся математикой? «Думаю, несколько лет назад многие математики с радостью согласились бы с тем, что математическое сообщество вручает самые престижные премии и награды тем, кто доказывает самые сложные теоремы. Однако теперь, когда сложные теоремы доказывает ИИ, мы, похоже, тратим много времени на объяснение того, что на самом деле эти награды и премии вручаются тем, чьи идеи позволяют нам глубже понять нашу область науки». Часто цитируют эссе 1994 года «О доказательстве и прогрессе в математике», где выражается мнение, что «дело не в количестве теорем, а в человеческом понимании» — эта цитата даже висит на картинке в шапке блога Terence Tao. Но дальше Kevin приводит личный пример, когда во время работы над докторской руководитель советовал ему не разбираться в одной из ключевых работ, потому что тот не успел бы и копнуть глубоко, и написать докторскую. Kevin признается, что он до сих пор так и не вернулся к той теореме — так «понимает» ли он свою работу? А кто понимает доказательство Великой Теоремы Ферма? Сам Kevin понимает лишь узкую часть того доказательства, потому что полное решение безумно сложно и требует невероятной ширины знаний — хотя он по теме Великой Теоремы Ферма читал блок лекций. Тут я от себя добавлю, что многие результаты ИИ как раз и приходятся на стыки нескольких направлений, и что часто один человек просто не может преуспеть и там, и там, чтобы прийти к открытию. Поэтому и полноценная человеческая проверка самых значимых работ, опубликованных OpenAI, может занять ОЧЕНЬ много времени.

Помните Ника Бострома? Вот его новое интервью о том, почему он считает, что сегодняшний ИИ уже может обладать сознанием. Он утверждает, что длительная пауза в разработке ИИ может стоить большего количества жизней, чем спасти. Если сверхинтеллект способен победить старение, то каждый год ожидания имеет свою цену в человеческих жизнях. По его словам, «тем временем мы просто умираем». Ник Бостром основал Институт будущего человечества в Оксфорде и написал книги «Сверхинтеллект» (Superintelligence) и «Глубинная утопия» (Deep Utopia).

«Думаю, здесь много неопределённости, но, скажем так, это, пожалуй, более вероятно, чем нет». «Вместо этого перед вами большая нейросеть с триллионами параметров. А что такое мы? Мы — большие нейросети с триллионами параметров. Они не столько скомпонованы проектом, сколько выращены». «Вы можете использовать вектор управления, чтобы подавить ролевую игру и обман, и тогда оказывается, что они с большей вероятностью сообщают о наличии у них феноменального субъективного опыта». «Недавно Microsoft выступила с неким заявлением о том, что ИИ не может обладать сознанием, и я понятия не имею, откуда они это взяли. Это выглядит как что-то взятое с потолка. И, возможно потому, что это удобно нежели потому, что у нас есть веские доказательства в пользу этой точки зрения».

Xiaomi-OCR-0 Компактная OCR-модель от лаборатории SeerRay (Xiaomi): 0.8B параметров на парсинг документов и понимание текста. Обходит модели крупнее на разборе документов и OCR-VQA-задачах. • Парсинг документов: текст, таблицы, формулы • Стабильна на сканах, пересъемках, перекосах и фото • OCR-понимание: вопросы по тексту, извлечение структурированных полей, не только транскрибация • Распознавание исторического почерка и каллиграфии • #1 на Real5-OmniDocBench (95.24), #2 на OmniDocBench v1.6 (96.83) • Среднее 83.2 по 5 OCR-VQA-бенчмаркам — лучше Qwen3.5-2B huggingface.co/SeerRay-Lab/Xiaomi-OCR-0 github.com/SeerRay-Lab/Xiaomi-OCR-0 #ocr MAX

$0 за ролик: Анимационная студия на GPU. Продолжаю свои эксперименты с Клодом в роли режиссера, монтажера и всей остальной анимационной команды. На прошлой неделе я делился тем, как мы настроили студию для социальных сетей с использованием Kling 3 Pro. Качество супер, но ценник кусается и соответсвенно количество экспериментов ограничено. На этой неделе я получил грант от Modal.com и на их GPU запустил Cosmos3. Модель работает неплохо, но иногда выдает слоп (чинится другим сидом). Конечно же у меня нет энергии отсматривать все самостоятельно, по этому поднял отдельный контейнер с Qwen3-VL, который отсматривает съемку и отбраковывает все что выглядит не оч. Итого - 30к просмотров и 0 cash burn. Подробнее о том как все работает читайте в моем новом блог-посте.

Amanu Бесплатная программа для автоматической записи и расшифровки звонков. Работает с любыми: Zoom, Google Meet, Telegram, WhatsApp. Запускает и останавливает запись сама, раскладывает реплики по людям и пишет выжимки встреч. Что умеет • Автозапись звонков (старт/стоп сами) • Расшифровка с диаризацией — реплики по говорящим, а не единый поток • Качественные выжимки встреч • Все локально, без интернета, либо через твои подписки и API-ключи • Каждая встреча — отдельная папка: аудио, расшифровка, саммари • Windows 11 24H2+ и macOS 14.2+ Заявлено, что для выжимок использует мощные модели на полную, а не экономит токены github.com/gsamat/amanu #asr #desktop MAX

Главная идея столетия Один из весьма неожиданных медиа-перфомансов октября — The Economist достали с антресоли эффективный альтруизм и внезапно вспомнили, что это главная идея столетия. А я даже и соглашусь.

«Мысль предшествует действию, как молния предшествует грому», — писал Генрих Гейне. Это доказал и эффективный альтруизм, этическая доктрина, разработанная философами в Оксфорде, которая с удивительной скоростью прошла путь из академической среды в коридоры власти. Сторонники эффективного альтруизма заполняют Силиконовую долину, работают в ведущих мировых компаниях по разработке искусственного интеллекта — и вызывают тревогу у администрации Трампа. «Соединенные Штаты никогда не станут страной эффективного альтруизма», — заявляет Пентагон. Министр обороны называет эту философию «дефектным альтруизмом», другие в администрации называют её «антиутопией». Мы можем воспринимать такую реакцию как признак её значительного влияния. Некоторые сетуют на то, что в XXI веке практически не появилось новых идей. В эту пустоту вторглись MAGA и другие подобные, превратив ностальгический популизм в главный политический проект столетия. Но главная идея столетия — это эффективный альтруизм . То, что началось в 2000-х годах как «гиковский» способ сделать благотворительность более экономичной, превратилось в движение, которое подвергает мир сложным, даже причудливым, моральным расчетам. Для многих его сторонников насущной этической задачей вляется предотвращение уничтожения человечества искусственным интеллектом.

Напомню, что у эффективного альтруизма есть своя карьерная философия. Про это можно почитать в книге «80 000 часов». Ну или хотя бы в этом посте. В комментариях пдф с переводом статьи и аудио-саммари. → https://www.economist.com/leaders/2026/10/01/effective-altruism-is-this-centurys-biggest-idea

Хотите увидеть, что сможет ИИ в 2027? Да пожалуйста! Самая наглядная иллюстрация колоссального прогресса цифровых технологий. Бенчмарки, сравнительные характеристика и показатели производительности новых ИИ-моделей – это все для специалистов. Для неспециалистов нужны конкретные и понятные примеры, типа прогресса возможностей видео. Вот три примера таких видео: 1) Декабрь 2023. Дипфейк с Трампом, Си, Макроном, Обамой и прочими, отплясывающими с пивасиком – иллюстрация двух топовых прогнозов на 2024 лучшего в мире отчета по ИИ State of AI Report. Весело, но убого. 2) Январь 2025. «Трейлер» всенародного хита «Ирония судьбы», превращенного в “The Irony of Fate” с отличным кастингом Голливудских звёзд, подменяющих актеров оригинала – иллюстрация прогресса возможностей ИИ-видео за год к отчету State of AI Report 2024. Уже совсем не убого и даже в чем-то круто. 3) Октябрь 2026. Интерактивное ИИ-генерируемое  в реальном времени видео. Т.е. видео генерируется быстрее, чем смотрится. Платформа fal.live запускает непрерывные трансляции, генерируемые ИИ, где зрители предлагают варианты развития событий, голосуют и за считанные секунды видят сцену-победителя – иллюстрация прогресса за полтора года возможностей ИИ-видео к вышедшему позавчера отчету State of AI Report 2026. Об этом мечтали с 90-х, а мы в Silicon Graphics даже пытались еще тогда это делать. И вот спустя 30 лет это наконец произошло.   Что дальше в 2027, теперь можно представить:

·       Голливуд будет использовать ИИ уже в промышленном масштабе ·       А основные эфирные сети и кабельные каналы начнут эксперименты с ИИ-генерируемыми интерактивными ТВ-шоу, ток-шоу, реалити и развлекательными программами.

  Ну а какой же главный прогноз для экспертов дает на следующие 12 месяцев лучший в мире отчет по ИИ? Он убийственно краток: AGI 2027.   #ГенИИ #Вызовы21века