Нейросети проверили на логику в «Поле чудес», «Данетках» и «Городах» — это исследование специалистов Яндекса и ШАД с международной конференции EMNLP 2026. Речь о MTGBench — тесте из семи текстовых игр. С его помощью оценили, насколько хорошо ИИ умеет рассуждать, использовать новые данные и планировать действия. Тестили 16 моделей: от компактной Qwen до крупных Gemini и GPT. Выяснилось, что режим рассуждений хорошо работает в играх, где нужно разбирать подсказки и отсекать неверные варианты. Например, в Wordle он заметно повышает качество. В задачах на знания и понимание смысла, вроде «Элиаса», эффект зависит от конкретной модели. В итоге исследование поможет инженерам точнее понимать, где рассуждения приносят больше всего пользы, и выбирать модели под конкретные задачи 👍

Всю жизнь я работаю с компьютерами, и главный выработанный мной скилл — не удивляться тупизне и абсурдности происходящего. В обычной жизни как? Есть важное и есть неважное, есть срочное и есть не срочное, есть сложное и есть несложное. И люди как-то эти вещи соотносят. Скажем, улетит ли рейсовый самолет, если пилот забыл дома пилотку? Скорее всего улетит. Будут ли у вас дотошно проверять билет, если ваш поезд уже отходит с перрона? Ну, скорее всего вы сначала запрыгните, а потом уже билет. Мама наказала сходить в магазин, а где деньги лежат, не сказала. Но ты в принципе все равно знаешь, где, поэтому сам нашел, взял и сходил. Логично, да? Ну вот, а в компьютерах не так. Там работает так называемая «формальная» логика, то есть все вещи имеют одинаковую бесконечно большую важность, а все процессы принципиальнее девственницы на первом свидании. Из-за этого комьпютеры ставят обычных людей в ступор: ну вот же файл лежит, почему ты сам его не мог взять, почему мне надо тебе явно на него указывать? Зачем мне нажимать на эту кнопку несколько раз, я же уже сказал, чего хочу! Почему компьютер меня не помнит, я же им пять минут назад пользовался? Почему таблицу из этой программы нельзя вставить в эту, они же одинаковые? Почему нельзя выключить подсветку клавиатуры, не зарегистрировав аккаунт? Зачем вообще клавиатуре аккаунт? Почему после установки что-то сломалось? Зачем вообще в компьютере процессы, которые что-то ломают? Почему этот сайт не открывается, хотя вчера открывался? Почему открывается на твоем телефоне, но не на моем? Почему этот провод передает данные в одну сторону, а не в другую? Он же одинаково с обоих концов выглядит. И так далее. Вооот. Так что наша ценность, как специалистов, и наша бремя как людей, это умение через этот булшит продираться, не теряя рассудок и даже не сильно ухудшая настроение. Некоторых, правда, сильно деформирует профдеформацией, и они начинают считать компьютерную логику нормальной. А потом удивляются, что она не работает. «Приходи в гости в любое время» — в смысле нельзя было приходить в любое время? Может вам еще и как дела у меня не интересно? А зачем спрашивали? Вы не поверите, но это все было вступление. Просто зафиксировать ситуацию. А теперь открытие: я понял, что в агентах/ЛЛМах ощущается как магия. ЧТО У НИХ СНОВА НОРМАЛЬНАЯ, ЧЕЛОВЕЧЕСКАЯ ЛОГИКА. Говоришь им: пойди проверь. И он идет и проверяет. Не спрашивает, что, где, куда, откуда, сколько, у кого ключи взять, а ой введи пароль, скопируй, пермишны поправь, и шелл новый создай. Просто идет и делает. По важному спрашивает. По неважному сам решает. Попросил в файле посмотреть, но в названии опечатался? Он посмотрит в нужном. ПОТОМУ ЧТО ПОНЯТНО ЖЕ ЧТО ТЫ ИМЕЛ В ВИДУ. Нужно найти информацию — найдет. Нужно сделать какой-то сайт — сделает КАКОЙ-ТО, а не вынет тебе всю душу пониманием задачи. А иногда еще и ответ оформит так, как тебе было бы удобнее всего ответ потреблять. Даже если ты его не просил. Потому что ПОНЯТНО ЖЕ, что ты хочешь удобно. Кто вообще в жизни когда-либо хотел чтобы неудобно. Короче, компьютеры из абсолютно тупого деревянного безынициативного вахтера с комплексом бога и вниманием к деталям как у Шерлока Холмса превратились в почти нормального человека, с которым можно иметь дело. Просто наконец-то хоть чуть-чуть выдохнуть можно. Но недетерминированные, да.

Утренняя разминка для кожаного и силиконового мозга Интересно, что я сразу решил задачу буквально через 2 секунды, причем способом, отличающимся от банального 949. Потом я забросил эту картинку в ChatGPT, и SOL 6 сразу мне предложил банальное 949, на что я предложил ему найти другое решение. Он предложил довольно дурацкое некорректное решение и сдулся. И только после того, как я поорал на него, какой он дебил и пусть соберет все свои мозги в кулак, он подумал еще минуту и выдал мое решение. Всё как у людей: не поорёшь — не получишь результата. Моё решение вот тут: 9116 Но вы не открывайте его сразу. Подумайте немножко. Как SOL. @cgevent

Есть отличный способ выиграть почти любой спор. Нужно просто сказать: «А ты докажи, что этого нет!»😁 Короче, есть такая штука, как чайник Рассела: её придумал философ Бертран Рассел. Представьте, что я говорю вам: 🫖 Где-то между Землёй и Марсом вокруг Солнца летает маленький фарфоровый чайник. Причём настолько маленький, что ни один телескоп его увидеть не может. Вы говорите: - Артём, ну это какая-то ерунда. Где доказательства? А я вам: - А вот ты докажи, что чайника там НЕТ! Прикол в том, что доказать отсутствие такого чайника действительно почти невозможно. Но означает ли это, что нам теперь нужно считать его существование вполне вероятным? Конечно нет! В этом и смысл мысленного эксперимента Рассела: если кто-то выдвигает утверждение, то именно на нём лежит обязанность это утверждение доказать. А отсутствие доказательств обратного - это не доказательство вашей правоты. И ведь мы постоянно делаем ровно наоборот. - Эта фича увеличит конверсию. - Почему? - Ну а почему она НЕ увеличит? Или: - Если мы наймём ещё пять человек, команда станет быстрее. - Есть данные? - Ну это же очевидно! И мой любимый менеджерский: - Нам обязательно нужен этот проект. - Какой эффект он даст? - А ты можешь доказать, что без него всё будет хорошо? Короче! «Вы не можете доказать, что я неправ» - это вообще не доказательство того, что вы правы. Но если посмотреть на количество проектов, стратегий, презентаций и инвестиционных решений, построенных вокруг невидимых чайников…

Я знаю, что вокруг Солнца вращается чайник, просто мы его не обнаруживаем, потому что он очень маленький. Можно ли предоставить доказательства того, что чайник не вращается вокруг Солнца? Это старый добрый чайник Рассела. Соль в том, что бремя доказательства всегда лежит на утвердительном тезисе. А почему? Такая логика возникла задолго до Бертрана Рассела. Она строится на законах человеческого мышления и теории познания. Невозможно доказать отсутствие (негативный факт). Доказать существование чего-то (позитивный факт) технически возможно. Достаточно предъявить объект или зафиксировать след его присутствия. Доказать же полное отсутствие чего-либо во всей Вселенной логически невозможно. Чтобы доказать, что космического чайника нет, оппоненту Рассела пришлось бы просканировать каждый кубический сантиметр космоса одновременно, что невыполнимая задача. Кстати, в логике этот тупик называется требованием доказывать негативное утверждение. Формулировка тут интересная - доказывайте то, что привносите в мир, а не заставляйте других искать то, чего они не видят. На самом деле довольно полезная штука для осознания.

В последнее время я всё чаще замечаю одну конструкцию в разговорах и в рекламе) «Мир изменился - значит, старые правила больше не работают». AI изменил разработку - значит, продакт должен стать Product Engineer. Появились маркетплейсы - значит, бренд больше не имеет значения. Появился AI - значит, образование должно полностью перестроиться. Экономика стала цифровой - значит, классические модели стратегии устарели. Звучит убедительно. Но между первой и второй частью почти всегда пропущено самое важное: почему? Если вы не отвечаете на почему (ну или отвечаете "потому что все так делают"), то у вас нет стратегического аргумента. У вас есть только мнение, замаскированное под решение. Из того, что что-то изменилось, совершенно не следует, что перестал работать механизм, который существовал раньше. Чтобы утверждать, что старые законы перестали работать, нужно показать: какой именно механизм сломался. Мы наблюдаем: AI резко снизил стоимость написания кода. А потом почему-то мгновенно делаем вывод: значит, продакт теперь должен больше кодить. Но логическая цепочка здесь вообще не очевидна. Возможно, вывод должен быть противоположным. Если производство кода становится дешевле и доступнее, то кодинг становится менее дефицитным ресурсом. А значит, относительно дороже могут стать другие способности: понять, что вообще стоит строить; увидеть причинную связь между поведением клиента и бизнес-результатом; выбрать рынок; сформулировать ставку; понять, где создаётся экономическая ценность. Есть очень простой тест для любой новой бизнес-идеи. Если вам говорят: «Сейчас новая эпоха…» «Рынок полностью изменился…» «Старые подходы больше не работают…» «Теперь компании должны…» задайте один вопрос: «А какой механизм связывает первое утверждение со вторым?» И если вы не понимаете почему именно это должно работать в вашем бизнесе, начинается паника: А вдруг мы отстаём? А вдруг уже поздно? А вдруг нам тоже срочно нужно это делать? Не потому, что люди глупые. А потому, что при отсутствии причинной модели невозможно отличить сигнал от шума. Без этого любое движение рынка выглядит как приказ: «Срочно делайте то же самое».

Замкнутость интерфейса Замкнутость интерфейса — это полнота и непротиворечивость правил, определяющих его состояния и переходы между ними при всех допустимых сочетаниях данных, условий и событий. Для любого допустимого сочетания данных и условий ясно, как выглядит и ведёт себя интерфейс. Например, список может быть пустым, содержать одно значение или тысячу, и мы понимаем, как они выглядят. Это состояния. В каждом состоянии определён перечень допустимых событий, включая действия пользователя, которые влияют на интерфейс, например, значения можно добавлять и удалять, и нам тоже ясно, как это всё работает. Это переходы. Самое интересное и сложное — это то, что переход должен полностью определяться состоянием и событием. Он не может зависеть от истории предыдущих состояний (если только это не буквально переход по истории состояний типа «Назад» или «Анду»). Если переход из некоторого состояния S при событии E зависит от того, попали мы в S из Q или R, то это значит, что нет никакого состояния S, а есть состояния S1 (S после Q) и S2 (S после R), и важно это осознать. Может показаться, что это какая-то заумь и вообще, какая разница. Но если не обращать внимания на это, то в интерфейсе возникают неявные состояния, в которых вид и переходы не определены. Дизайнер-то думает, что рассмотрел состояние S, да вот только это мифическое состояние, а настоящие состояния S1 и S2 он не рассмотрел. При проектировании сложного интерфейса иногда непреднамеренно возникают состояния, из которых невозможно выбраться, или до которых невозможно добраться, или до которых можно добраться только, если сразу пойти по правильному пути. Для дизайнера важно научиться видеть это. Часто бывает, что я спрашиваю, например, «А в этом случае что будет?», и дизайнер только в этот момент понимает, что такой случай вообще существует. Внимательно разбираться с замкнутостью — кропотливая работа. Обычно мы рассматривает разные состояния и переходы в контексте некоторого флоу, то есть пути пользователя. Мы рисуем экраны друг за другом и представляем, как человек проходит между ними. Нам кажется логичным, что после такого-то экрана при таком-то действии появляется сякой-то, и мы не замечаем, что в другом флоу на таком же экране при таком же действии появляется другой экран. Когда мы думаем про этот флоу и смотрим на это глазами пользователя, мы почти всегда думаем о любом состоянии в контексте предыдущих состояний, и не отдаём себе в этом отчёт. В моём примере с автодополнением отдельные решения сначала кажутся нормальным, пока не начинаешь смотреть, какие запутанные состояния и переходы они порождают. Исправление каждой возникающей неприятности создаёт исключение, усложняя систему и добавляя неприятностей: https://ilyabirman.ru/meanwhile/all/ui-completeness-example/ Я приводил примеры вопросов, которые помогают проверить интерфейс, но понятно, что ответы даже на все вопросы сами по себе не гарантируют замкнутость: https://ilyabirman.ru/meanwhile/all/completeness-questions/ О замкнутости следует думать как о математическом качестве. Возьмём такую теорему: «Число 60 делится на все числа». Это легко проверить: на 1 делится, на 2 делится, на 3 делится, на 4 делится. Мне продолжать? Ну на 5 делится, на 6 делится, сколько ещё примеров надо? Какое число ни возьми — на всё делится: 10, 15, 20... Так ведь? Но нет, это ничего не доказывает. Чтобы доказать теорему, нужно искать не удачные примеры в большом количестве, а саму фундаментальную причину, по которой она неизбежно верна. В данном случае такой причины нет. При проектировании интерфейса сложно требовать от дизайнеров рисования полного графа состояний и переходов. Не уверен, что делал такое хоть раз в жизни. Но всё же полезно хотя бы понять, что это такое. Полезен и опыт программирования — оно развивает интуицию на такие вещи. Смотришь на проект интерфейса, и чутьё подсказывает: что-то не то, сейчас найду дыры. И дыры находятся. Вообще, чем больше для описания интерфейса приходится придумывать частных исключений, тем больше возникает подозрений в том, что общее правило плохое или вообще не придумано.

Делюсь IQ-развлечением с ИИ Понравилось решать графически IQ-тесты/загадки совместно с GPT - кто круче, я или он? Как получилось: искал бесплатный или недорогой IQ-тест для сотрудников, порекомендовали https://ru.iq-test.cc Решил сначала на себе проверить. Несколько задач - не справился. И прямо казались «бредовыми», может ошибка в тесте? Дал GPT, он решил и дал объяснение. Вау. Начал другие вопросы из этого теста ему подкидывать. Интересные выводы: 1️⃣ он оказывался умнее меня где за графикой скрывалась математика (сложение/вычитание) 2️⃣ несколько задач сильно визуальных на пространственное мышление и комбинацию фигур где я довольно быстро видел ответ - он очень долго думал пытаясь решить сам. Потом долго искал по сайтам ответ. Но так и не справился или ошибся. 3️⃣ но еще более интересно оказалось, что ряд задач где и я и он давали одинаковые ответы, он приходил к решению совсем другой логикой, не той что я. и замечал то что я не замечал😅 Прикладываю 2 задачи с которыми GPT не справился, а я справился) Хотя 2я мне ооочень тяжело далась.

Этот деревянный счётчик делает двоичную систему простой для понимания Он может выглядеть примитивно, но та же самая фундаментальная логика лежит в основе самых передовых ИИ-систем сегодняшнего дня. Генеративные ИИ-модели преобразуют запросы в текст, изображения, аудио и код с помощью миллиардов математических операций, выполняемых компьютерными чипами. Агентный ИИ идёт ещё дальше, используя эти модели для планирования задач, выбора инструментов, принятия решений и выполнения действий. ИИ может казаться разумным и самостоятельным, но любой его результат всё равно начинается с самого простого языка вычислений: нулей и единиц. #интересное

Продолжение Один из комментаторов у Никиты написал, мол, как же импликации нет в языках программирования, когда там есть if (a) b? Но что значит? В известных мне языках программирования это даже не является выражением, но если бы являлось, каким было бы его значение? Иными словами, что бы нам дал вывод print (if (a) b)? Конечно же true! Ведь в этом буквально состоит работа языка программирования: обеспечить b, когда истинно a. Если он этого не делает, то зачем такой язык программирования нужен? Но в то же время, если a ложно, то глядя на эту строчку мы никак не сделаем вывод о том, произойдёт ли b. Может, какая-то другая часть кода обеспечит b. Строчка if (a) b никак не способна предотвратить b. Получается какая-то эзотерика, и только потому, что никто никогда не рассматривает if (a) b как логическое выражение и не пытается оценить его истинность. Всех интересует только логическое выражение a по отдельности, потому что от его истинности зависит, может ли быть уверены в том, что произойдёт b. Импликация в языках программирования была бы, если бы можно было написать if (a→b) c, то есть «если из a следует b, обеспечь c». Но нафиг это надо? Как мы уже выяснили, когда значения a и b уже известны, значение истинности их импликации не несёт никакой пользы и почти никакого смысла.

Импликация, следствие и условия Никита Прокопов написал, что импликация — нифига не интуитивная штука, и поэтому её нет в языках программирования. И действительно: там в комментариях начался обмен мнениями, который хорошо иллюстрирует неинтуитивность. И мне сразу захотелось написать этот пост. Импликация — это логическая операция вида «A → B». Она истинна во всех случаях кроме одного: когда A истинно, а B ложно. Можно оценить по таблице истинности: A  B A → B 0 0 1 0 1 1 1 0 0 1 1 1 То же самое можно сформулировать как «из истины следует истина, а из лжи — что угодно». Кажется, что это простая штука, ведь в жизни мы легко понимаем выражения типа «Если A, то B» или «Из A следует B». Но если сказать, что «из 2×2=4 следует что Волга впадает в Каспийское море» (V), большинство воспротивится этому. Почему, ведь с точки зрения логики это верное утверждение? Дело тут в том, что мы не интерпретируем фразу V буквально. Мы видим, что в общем случае из математического равенства не следует географический вывод. То есть мы подсознательно обобщаем V, превращаем в шаблон, и тогда импликация разрушается. Мы понимаем, что имея лишь «2×2=4» и не зная ничего про Волгу, невозможно сделать вывод о том, куда она впадает. Но импликация означает истинность конкретного этого высказывания, а не то, что высказывание сохранит истинность при обобщении. Зачем мы вообще стали обобщать? Почему мы не можем оценить истинность импликации буквально? Потому что это низачем не нужно никогда, и наш мозг не научен так думать. Следует ли из одного высказывания другое нас интересует лишь тогда, когда мы не знаем истинности одного из них. Но если мы уже знаем истинность обоих высказываний, то у нас просто не возникает вопроса о том, как выводить истинность одного из них из истинности другого — это же совершенно бессмысленнно! Высказывания типа «Если A, то B» нас интересуют как способ выводить истинность B из истинности A или наоборот, то есть только тогда, когда мы не знаем одно из них. А для этого нам нужно вскрыть содержательную связь между A и B, а не просто значения их истинности. Тут-то нам и нужны шаблоны, да такие, что мы уже заранее знаем, что импликация там истинна! Предположим, мы знаем, что «у каждого голландца есть велосипед» (K). Заметьте, что это уже утверждение, содержащее импликацию («если человек голландец, то у него есть велосипед»), и мы уже договорились, что оно истинно. Вот теперь если мы узнаем, что Фёдор голландец, мы сделаем вывод о том, что у него есть велосипед. Импликация помогла сделать этот вывод только потому, что мы 1) уже знали, что сама она истинна, и вдобавок 2) она имела форму шаблона, в который можно было подставить Фёдора. От истинности же импликации V из начала заметки нет никакого проку. Поэтому с такими видами совершенно верных высказываний мы никогда не имеем дела. Они нам кажутся настолько пустыми, что мы не готовы даже пытаться оценивать из истинность.

У Vsauce попалось видео про задачу, которую фейлят большинство людей. Называется The Reasoning Test Psychologists Still Can't Explain. Задача такая: - Перед вами на стол выкладывают четыре карты, на которых написано: A, G, 7, 8 - По условию, на каждой карте с одной стороны цифра, с другой буква. Т.е. на A и G с обратной стороны какие-то цифры (вы их не видите), на 7 и 8, соответственно, буквы, которые вы не видите тоже. - Вам нужно проверить, выполняется ли для выложенных карт следующее утверждение: «Если с одной стороны карты буква A, то с другой стороны цифра 7». - Вопрос: какие карты вам обязательно нужно перевернуть, чтобы определить, истинно это утверждение для выложенных четырех карт или ложно. Как говорится, думайте. А я пока расскажу историю. Сидел я как-то по молодости, ковырял в носу, и задумался: почему в большинстве языков программирования есть бинарные операции И, ИЛИ, НЕ, XOR, но нет импликации (из А следует Б)? Странновато, не? Можно еще сказать, что «мало ли чего нет», но в целом бинарных булевых операций не так много: теоретически 16, если выкинуть константы (всегда 0, всегда 1), первый, второй, не первый, не второй, то уже 10 останется. Убираем обычных подозреваемых (коньюнкция, дизьюнкция, XOR) и их отрицания, и остается одна импликация! (ну, две, в разные стороны, плюс их отрицания). То есть это единственная классическая булева операция, для которой не выделили почему-то ASCII символ для короткой записи или хотя бы функцию в stdlib-е. Ага, подумал я. Вот это находка! И недолго думая запилил ее в наших utils. Щас, думаю, жара пойдет! Потом сидел пару недель и ждал случая, где бы ее применить. Не так часто она нужна, оказывается! (Ну и что, XOR тоже не часто нужен, важен принцип. Мы тут фундаментальной наукой занимаемся, вообще-то). Короче, в какой-то момент мне попалось подходящее условие, и я ее таки воткнул. if (implies(cond1, cond2)) { ...}. Радости было полные штаны. Эксперимент удался! Смотри, мама, я математик! Ну а потом прошло еще время, я наткнулся на свой собственный код, и застрял. Че за фигня? Когда это выполняется? Когда не выполняется? И так я выучил свой главный урок, а также получил ответ, почему импликации нет в стандартной библиотеке. Вот он: ИМПЛИКАЦИЯ НИФИГА НЕ ИНТУИТИВНАЯ ШТУКА. И — интуитивная. ИЛИ — интуитивная. НЕ тоже. А импликация хорошо определена математически, но наш мозг почему-то не приспособлен с ней работать. Ну вот не мапится она на него и все тут. Не встречается в быту. Слишком абстракткна. В быту ты не говоришь «если я женщина, то принеси мне яблоко», рассчитывая, что если первое условие ложно, то второе можно игнорировать. В быту если ты что-то сказал, то значит надо рассматривать эту вероятность, а не игнорировать ее. Это же показывает эксперимент из начала. Люди просто думают про эти вещи по-другому. Почти все переворачивают карту с семеркой, потому что услышали семерку в вопросе. Короче, не работает. Хотелось бы, чтобы работало, но, к сожалению, других людей у меня для вас нет. Хотя — теоретически — очень красиво. В общем, импликацию не пишите. Пишите a ∨ ¬b, и будет всем все понятно.

Чистая логика часто рассматривается как главный ключ к пониманию физической реальности. Математическая физика кажется удобным и простым путём что-то изучить и мы даже тут часто обращаемся именно к математическому поиску. Но в 1931 году 25-летний учёный математически доказал парадокс - даже совершенные логические системы содержат недоказуемые истины. В начале XX века, математики считали, что если им удастся сформулировать правильные основополагающие аксиомы, то каждое истинное утверждение можно будет логически доказать, не прибегая к изучению физического мира. Этим 25-летним человеком, который подпортил математику, был Курт Гёдель, и его теоремы о неполноте навсегда положили конец этим усилиям. Его первая теорема доказала, что любая непротиворечивая формальная система, способная к выполнению основных арифметических операций, неизбежно будет содержать истинные утверждения, которые нельзя доказать внутри самой системы. Его вторая теорема нанесла ещё более сильный удар - непротиворечивая система не может даже доказать свою собственную непротиворечивость, используя свои собственные правила. Гёдель продемонстрировал, что логика не является самодостаточным механизмом для генерации абсолютной истины. Если оставаться исключительно в жестких рамках формальной математической системы, рано или поздно столкнешься с препятствием, где утверждение, несомненно, истинно, но его нельзя логически вывести, используя только аксиомы системы. Для его проверки необходимо выйти за пределы системы и принять более широкую, внешнюю структуру. Это ограничение разрушает идею о том, что мы можем вывести физическую реальность, опираясь лишь на априорную логику. Если чистая математика не может гарантировать даже свою внутреннюю непротиворечивость без внешней помощи, она, безусловно, не сможет отобразить сложности физической вселенной без внешнего ориентира. Физики могут создавать бесчисленное множество прекрасных, совершенно непротиворечивых логических моделей — таких как одиннадцатимерные теории струн или гипотетические мультивселенные, - но одной лишь логики недостаточно, чтобы определить, какая из этих моделей действительно соответствует Вселенной. Во многом это портит и все надежды на голый ИИ в научном поиске. А ещё перечёркивает поиски теорий на голой математике, которые очень активно любят предлагать любители науки. Такая теория - первый шаг. Если вы тут впервые - местный чат с обсуждениями теперь отделён от канала.