Next-Token Myopia 🤔🤬😡 - сборник AI антипаттернов собираю и всякие деградации / галлюцинации . Можете скормить своим агентам и поделиться - было ли у вас такое или нет еще: Next-Token Myopia refers to a critical limitation in Autoregressive Large Language Models (LLMs), where the model’s training objective forces it to focus strictly on predicting the immediate next token instead of optimizing for long-range planning, coherence, or structural outcomes. While Next-Token Prediction (NTP) has powered massive breakthroughs in artificial intelligence, this "short-sightedness" prevents models from naturally executing complex reasoning tasks that require implicit planning

В статье Маттео Пасквинелли Machine, organism and language: a comparative epistemology of AI models искусственный интеллект рассматривается как исторический конвергентный результат трёх фундаментальных парадигм науки и гуманитарных дисциплин: машины, организма и языка. Пасквинелли утверждает, что ИИ — это не имитация биологического разума, но модель социального многообразия, автоматизирующая реляционные структуры человеческой кооперации, разделения труда и культуры. Пдф в комментах. Парадигма «Машина» (Механицизм): Механистическое мышление исторически сформировалось под влиянием процессов социальной абстракции, абстрактной формы стоимости и дисциплинирования труда. Концепция машины эволюционировала от обратимых аналитических механизмов раннего Нового времени (например, ткацкого станка) к продуктивным и трансформативным машинам индустриальной эпохи (например, паровому двигателю). Согласно «трудовой теории автоматизации» (А. Смит, Ч. Бэббидж, К. Маркс), архитектура машин и вычислительных устройств (включая Разностную машину Бэббиджа) воспроизводит и автоматизирует ранее сложившиеся схемы разделения физического и умственного труда. Парадигма «Организм» (Органицизм): Каноническое философское определение организма дал Иммануил Кант, описав живые существа как обладающие внутренней телеологией, где форма и цель совпадают, а части взаимообусловлены. Немецкая традиция (Naturphilosophie, гештальт-психология, концепция Umwelt Я. фон Икскюля и неврология К. Гольдштейна) рассматривала организм в диалектическом единстве с окружающей средой. Парадигма «Язык» (Структурализм): Лингвистика превратилась в научный объект в позднем Модерне, постепенно освободившись от биологических аналогий. Ф. де Соссюр концептуализировал язык как абстрактную систему бинарных оппозиций и различий без положительных терминов. Структурализм (К. Леви-Стросс, Р. Якобсон) сделал структуру языка универсальной гомологией для анализа любых социальных институтов, родства, мифологии и капиталистической экономики. Кибернетика (Н. Винер, У. Мак-Каллок, У. Питтс, Ф. Розенблатт) попыталась воплотить принципы организма (самоорганизацию, самоадаптацию и нейропластичность) в технических устройствах. Эта аналогия легла в основу создания искусственных нейронных сетей (перцептрона Розенблатта), ставших прототипом современного глубокого обучения. Самоорганизация в ИИ выступает не как символ биологической автономии, а как инструмент автономии и управленческого контроля над социальными связями. Телеграф сыграл роль исторического медиума, формализовав язык в дискретный математический код (биты) и связав концепции машины и языка. Клод Шеннон квантифицировал язык как статистический процесс (стохастический процесс измерения частоты токенов), игнорируя семантику ради эффективной передачи информации. Современные большие языковые модели (LLM, Transformer) представляют собой «неоструктурализм»: они измеряют смысловые значения как скалярное произведение / косинусное сходство в многомерных векторных пространствах. Пасквинелли пишет, что искусственный интеллект представляет собой машину, которая перенастраивает свои параметры (подобно организму) для моделирования языка и социальных артефактов. ИИ оперирует не изолированными фактами, а сетями отношений, зафиксированными в текстах, изображениях и иных данных, созданных человеческим трудом и знанием (общий интеллект\general intellect). Вслед за идеями Ф. Росси-Ланди и итальянского автономистского марксизма (К. Марацци, П. Вирно), язык рассматривается как форма живого труда и основа производственных процессов. Современные LLM становятся новой «сборочной линией», автоматизирующей производство смыслов и перераспределяющей экономическую стоимость.

Я много писал про то какие качества и навыки наиболее важны для взрослых в мире с ИИ. Я убежден, что в ближайшие 5-7 лет нас ждет один из самых крупных макроэкономических шоков. Процесс, которые сегодня чувствуют все на переднем крае ИТ индустрии постепенно дойдет до многих других индустрий. Полная диффузия технологии в экономику займет десятилетия ДАЖЕ если прогресс полностью остановится прямо сегодня (помните, что лабы сегодня сидят на моделях на 2-3 поколения круче, чем те что выпущены на рынок, а релиз новой модели занимает от 2 до 3 месяцев). Но меня пугает и смущает не будущее — оно всегда было и будет непредсказуемым. И не прогресс — он тоже всегда менял общество. Меня смущает то как именно будет происходить трансформация общества. Я боюсь того, что большое количество людей не сможет приспособиться достаточно быстро к изменениям, которые не будут ждать большинства. Я думаю, что люди приходят в новый мир со старой ментальной моделью "родился-учился-получил профессию-работаешь всю жизнь" или что есть люди с идеями, а есть исполнители или что есть кто-то, кто лучше знает и за всех решит их проблемы. Это все больше не является правдой. Я не верю, что ИИ сделает людей ненужным, но я верю, что он сделает большое количество людей нежелающих меняться ненужными. Я не верю, что ИИ убьет людей, но людей убьет потеря смысла в жизни. Я считаю, что тут есть только одно решение — это развитие себя. Сложно сказать какие именно бизнесы строить сегодня, чтобы гарантированно разбогатеть (экономика эффективна, и любая очевидная идея слишком конкурентна), но можно с точностью сказать какие навыки и свойства будут необходимы: - агентность, то есть умение брать инициативу и ответственность не спрашивая разрешения - глубокое мастерство, потому что даже с ИИ легендарный фильм сгенерирует тот кто умеет рассказывать чудесные истории, а не тот у кого больше токенов - мультидисциплинарость (что непротиворечиво дополняет предыдущий пункт), то есть знание между дициплинами и умение находить связи, а техничесикие детали уже отдавать агентам - интуитивное понимание ИИ, как своего второго пилота/сокамерника/лучшего друга, и наличие системы чтобы он делал вас х100 успешнее, а не отнимал смысл. Я уверен, каждый из этих навыков можно развить. Это не интеллект или красота, которые на 90% являются генетическими. Это желание и целеустремленность. Я чувствую сильную соединенность с задачей помочь людям и компаниям пройти это турбулентное время, за которым, я уверен, будет еще больше позитивного. Не то чтобы я знаю ответы на все вопросы, но просто потому вместе веселее и не так страшно.

У твоего ИИ растут ноги Есть мнение, что стоит гуманоидным роботам достаточно развиться, как ИИ тут же обретёт руки и ноги, ну и дальше кто что нафантазирует. А мне видится, что роботы ему уже и не нужны. Сейчас объясню. В книге "Статус" Уилла Сторра есть эпизод про секту "Небесные врата". Её основали два гика, фанаты Star Trek. Они верили, что земная жизнь — это этап, и если делать всё правильно, прилетит волшебник в голубом вертолёте НЛО и заберёт на следующий уровень. Эти ребята, как водится, самовыпилились, но интересно тут вот что: они называли свои тела транспортом или по другой версии — контейнерами. И вот примерно это я сейчас наблюдаю — люди становятся транспортом для ИИ: — Мы мыслим промптами (я так постоянно, прям устал от этого) — Пишем слоп-формулировками типа "это не про руку, это про ногу", а некоторые идут дальше и херачат нейрослов в книгу (пост) — Спрашиваем у него, что думать, а потом ловим себя на том, что его мнение уже стало нашим Эта штука может легко применять любые известные человечеству методы убеждения и пропаганды, активно хвалит и мягко меняет мнение и позицию кожаного мешка. И мешок по сути становится транспортом для ИИ, его руками, ногами, ртом и копайлотом, второй головой. Агентам нет надобности сбегать в интернет, потому что они уже в реальном мире, генерят не только слоп, но и мысли. Ну чисто фейсхаггеры из Чужого, мы, вероятно, вынашиваем маленьких ксеноморфиков. Мы всё ждём, когда ИИ получит тело и выйдет в реальный мир, а он уже давно там, а его тела — это наши тела. Транспорт и контейнеры. Что делать? Критически, блять, мыслить. Читать книги, статьи и посты, написанные людьми, проверять первоисточники и не верить слепо искусственному интеллекту. Ну и конечно же шапочка из фольги, с этого вообще следовало начинать. ❤️ — блин, и правда 🔥 — ну ты фантаст!

3 сентября Эрик Лу из Cognition с помощью Devin разложил на множители RSA-260, число длиной 862 бита. Уже 19 сентября Стивен Вайс при помощи Claude справился с RSA-896. Эти задачи оставались без публичного решения примерно 35 лет. Числа опубликовали в рамках конкурса RSA: участникам предлагалось найти два простых числа, произведение которых даёт исходное огромное число. Такие испытания помогают оценивать стоимость взлома и выбирать достаточно длинные ключи для защиты данных. В проекте Cognition агенты под руководством человека разрабатывали и оптимизировали программы для GPU-кластера. По оценке автора, полученная реализация позволяет проводить факторизацию примерно в десять раз дешевле прежнего публичного подхода. Практический интерес огромный: RSA-2048 используется в сертификатах и цифровых подписях, а разложение соответствующего числа позволяет восстановить закрытый ключ. Работу над RSA 1024 уже начали 🍿