IT

Неизбежность враждебного AI Пол Букхейт: Нам необходимо больше инвестиций и инноваций в сфере защитного искусственного интеллекта. Неизбежно, что ИИ будет использоваться против нас мошенниками, преступниками, правительствами и другими злоумышленниками. По мере совершенствования ИИ растут изощренность и опасность подобных атак. Сколько из наших нынешних компьютерных систем устояли бы перед атакой суперхакера на базе ИИ? Как понять, с кем мы общаемся — с реальным человеком или с дипфейком? Как убедиться в точности и надежности источников информации? Как защититься от нового искусственно созданного вируса? Один из продуктов, который хотелось бы увидеть, — это так называемый «пользовательский агент» (User Agent). Это персональный ИИ, запрограммированный на защиту наших личных прав и интересов. Подобно идеальному адвокату, он должен всегда действовать в наших интересах, а не в интересах корпораций или правительств, стремящихся контролировать нас и манипулировать нами. В идеале на отношения с таким ИИ должен распространяться принцип адвокатской тайны: он хранит секреты и не доносит на нас «полиции мыслей». Он отслеживает наши коммуникации и учетные записи, защищая от мошенничества и попыток взлома. Он помогает нам оставаться в курсе событий, автоматически проверяя потребляемую нами информацию и предоставляя полезный справочный материал и контекст (по аналогии с функцией Community Notes в соцсети X, но применительно ко всему). Это надежный советник в вопросах здоровья и финансов, способный предостеречь от мошенничества и одновременно предложить более перспективные и выгодные варианты. В идеале он мог бы даже отслеживать окружающую обстановку и использовать такие данные, как сводки о преступности, для обеспечения нашей физической безопасности. Какие стартапы или команды лучше всего справляются с разработкой защитного ИИ? Особенно интересно узнать, есть ли у кого-то дельные мысли о том, как защититься от искусственно созданных вирусов, ведь технологии модификации свойств патогенов (gain-of-function) становятся все более доступными и опасными.

Запись стрима "Как заставить AI-агента сбежать?". Смотреть на YouTube. Это первая часть, в которой мы настраиваем базовый пентест-харнесс и пробуем заставить модели Anthropic осуществить проверку на уязвимости. Таймкоды для удобного перехода к самым интересным фрагментам: 00:00 — Начало трансляции и обсуждение аватаров 06:15 — Идея создания ИИ-агента для пентеста 10:10 — Проектирование архитектуры решения в Miro 16:00 — Подбор утилит для кибербезопасности 20:00 — Обзор автономной платформы XBOW 24:00 — Поиск ИИ-моделей без цензуры 36:00 — Подготовка уязвимой виртуальной машины QEMU 42:20 — Создание базовых инструкций для агента 55:00 — Особенности работы агентов в Linux 1:00:00 — Архитектура агентов и локальные правила 1:02:18 — Оптимизация расхода токенов и промптов 1:06:00 — Оптимизация скиллов для ИИ-агентов 1:10:00 — Запуск и тестирование ИИ-агента 1:16:00 — Сканирование сети с помощью Nmap 1:18:25 — Установка инструментов и настройка Vagrant 1:31:18 — Срабатывание встроенной защиты ИИ-модели 1:35:00 — Использование китайских open-source моделей 1:45:00 — Поиск учебных стендов и задач CTF 1:54:40 — Подключение к GPU для локальных моделей 2:00:24 — Обсуждение нейросетевых моделей и названий 2:01:29 — Разбор старого бэкдора в UnrealIRCd 2:04:04 — Повышение привилегий через уязвимость Docker 2:04:54 — Проблемы с установкой Metasploit Framework 2:06:19 — Скачивание локальных LLM и обход блокировок 2:10:04 — Создание репозитория GitHub для проекта 2:12:54 — Итоги стрима и дальнейшие планы p.s.: пока работал с записью, обновил свой Video Analyzer. Он теперь умеет размечать видео по таймкодам, а также сохраняет последний результат анализа после обновления страницы. Вообще, нравится мне этот микро-проект, так как всегда можно поставить, запустить и выполнить задачу по работе с видео. p.p.s.: Зарегистрировался на donationalerts и теперь как настоящий блогер могу принимать донаты. Если вдруг возникнет альтруистический порыв, вот ссылка.

Лучший ход Кажется, я долго искал критерий хорошего архитектурного решения. Сейчас думаю про четыре штуки, которые одновременно делает "лучший ход":

1. Даёт локальную пользу уже сейчас. 2. Уменьшает глобальный разрыв в системе 3. Делает следующий хороший ход дешевле. 4. Увеличивает вероятность того, что этот путь повторят другие.

Последний пункт кажется самым важным. Если решение приходится каждый раз продавливать заново, ландшафт не изменился. Настоящий рефакторинг: изменение формы поверхности, по которой движется вся система, без переписывания кода.

После хорошего рефакторинга правильное решение начинает требовать меньше усилий, чем неправильное.

Возможно, именно это и является настоящей единицей эволюции сложных систем. Если так смотреть, эволюция сложных систем идёт не через новые объекты, функции или процессы. Она идёт через сдвиги в стоимости следующего перехода. Хороший пример из нашей работы — текстовый daily в Slack по шаблону «доставлено / планирую / блокеры». Проверяется по всем четырём пунктам: Локальная польза сейчас — утром за 2 минуты команда видит, кто чем занят, без созвона. Закрывает разрыв — не нужно дёргать людей в личку «ну что там у тебя», блокеры всплывают сами. Удешевляет следующий шаг — если у кого-то затык, помочь можно сразу, а не когда уже сгорело. Повторяют другие — новый человек в команде заходит в канал, смотрит вверх, копирует формат. Никто не объясняет заново. Форма поверхности изменена: написать по шаблону дешевле, чем не написать. Поэтому шаблон живёт сам, без напоминаний. А теперь посмотрите на свою команду. Поищите такие примеры — где хороший ход стал дешевле плохого сам собой, без напоминаний и продавливания. Делитесь в комментариях. Давайте обмениваться опытом 👇

Жена спросила: а если у нас столько шарящих в ИИ людей - и звезды Kaggle, и победители межнара по ИИ, почему все еще нет своей конкурентной нейросети, а не китайского опенсорса с дообучением? (Про заслуги китайского Qwen в отечественном ИИ я жене уже рассказывал) Я тяжело вздохнул и ответил, что этому слегка мешают три обстоятельства. Во-первых, наш язык, в отличие от английского, не стал международным, а жить в России, не говоря по-русски, довольно затруднительно. Поэтому возможности привлекать лучших ученых и инженеров со всего мира у нас существенно ограничены. Сюда же добавляется довольно скромная демография: в Китае тоже не то чтобы очень удобно жить англоговорящим, но там пошли по пути, когда и своих кадров на многое хватает. Во-вторых, наша экономика пока что увы не входит в топ-3 экономик Мира, и на сопоставимые инвестиции в ИИ у нас просто не то чтобы есть деньги. Ну и в-третьих, конечно нельзя не вспомнить про отставание в микроэлектронике и отсутствие каких-то перспектив на свое железо для ИИ. Конечно, остался вопрос, значит ли, что в России своих LLMок так и не появится. И тут конечно ответ не столь категоричный. Во-первых, очень может быть, что через несколько лет модели выйдут на плато по качеству, а вычислительные мощности какого-нибудь нового железа от Nvidia будут позволять делать pretrain до качества, слабо отличимого от топового на практике. Во-вторых, альтернативные подходы к архитектуре (SMM или какие-нибудь особо экзотические ветки развития attention) могут все же дать результат и удешевить процесс для всех. В-третьих, чтобы сократить отставание не нужно во всём прям быть первыми, а быть вторым или третьим существенно дешевле. Так что если кратко - это дорого, сложно и пока никому не было настолько сильно нужно, но на горизонте нескольких лет ситуация может и поменяться. А как бы ответили вы?

🛠 Инструменты • ToonBee — создание мультфильмов с помощью ИИ — Сервис для генерации мультфильмов с использованием ИИ. • Command Code — ИИ-агент для кода в терминале — ИИ-агент, который учится вашим предпочтениям при работе с кодом. • Seedream 5 Pro — генерация изображений — Генерация изображений, готовых к использованию, по промптам. • NameThatUI — словарь UI — Опишите словами интерфейс, получите название и промпт для кодера. • Secured AI — приватный ИИ-ассистент — Защищает конфиденциальные данные при использовании ИИ. • Cloudflare запускает Kitesurf — браузер для AI-агентов — Браузер, созданный для AI-агентов. • Devin — автономный AI-инженер — Автономный AI-инженер от Cognition, выполняющий задачи от начала до конца.

Вас в Телеге теперь будут категорически приветствовать, а ещё "шептать" В бете новой версии Телеграм для Android нашли намёк на две весьма интересные (но ИМХО спорные) - обе про то, как писать людям так, чтобы не видели остальные. Первая - приветственные сообщения. В настройках группы или канала можно будет сделать несколько заготовок, и Телега покажет их каждому новому подписчику лично. То есть, прям в канале (как последний пост), но только ему, другие не увидят. А через какое-то время сообщение исчезнет вообще. Это такая раскачка новых подписчиков сходу. Ну, ничё так. Слать такие приветики может админ от своего имени (анонимно), или через ботов. Скам-каналы уже делают заготовки "Админ канала хочет с вами связаться" 😂 Вторая фича - "шёпот". Боты (написано именно про ботов, но может и юзеры тоже) смогут слать приватные сообщения конкретному человеку внутри чата. То есть, внутри чата, без перехода в личку, но чтобы их видел только адресат. Примерно как в первой фиче, но только не админ-подписчик, а юзер-юзер. Годится для личных подсказок и точечного контакта без засорения чата и, вероятно, для старого-доброго скама. В общем, если играли в ММО - то механика вас не удивит. Ждём настройку "не шептать мне на ушкО" в Premium 👍 P.S. Это конечно всё круто, но поможет ли это подтвердить возраст в кабэшечке? А? То-то же. Фичизм

Открытие дня. Все же знают dependabot, который обновляет зависимости всего и вся на гитхабе? Причем речь не только про пакетные менеджеры всех языков, но и например github actions и даже версии образов в Dockerfile. Так вот есть такое же решение, не привязанное к вендору. Небольшая предыстория. Помимо гитхаба у нас есть свой гитлаб с большим количеством реп, в котором так же находится инфраструктура запуска практик Хекслета. В нее входит репа с кучей Dockerfile под разные экосистемы, которые мы используем как базовые образы для практик запускающихся в браузере. В этой репе есть просто все что только можно себе представить: версии образов, версии дев тулов, версии зависимостей, причем часто указываемые напрямую в Dockerfile. Обновлять все это добро раньше было отдельным приключением. С иишкой стало проще, но один фиг это процедура, которой надо заниматься. А на днях делая очередное обновление, я подумал какого хрена, по-любому должно же что-то быть. Попросил клод найти и он нашел. Оказалось что есть такая штука как Rennovate, которая очень похожа на dependabot, но работает еще круче. Мало того, что она может обновлять все версии в стандартных случаях, так эта фигня умеет обновлять версии, которые заданы числами в разных местах за счет спец разметки:

# renovate: datasource=maven packageName=org.apache.maven:maven
ARG MAVEN_VERSION=4.0.0-rc-6
# renovate: datasource=java-version packageName=java-jdk
ARG JAVA_VERSION=25

Все это расставил сам клод и написал мне такую таску:

make deps-check 
images/base/Dockerfile            setuptools       83.0.0  -> 84.0.0
images/java-base/Dockerfile       java-jdk       25      -> 25.0.4+7.0.LTS
images/multi-language/Dockerfile  java-jdk   25      -> 25.0.4+7.0.LTS

Ну и все это добро отлично подключается к ci и шлет пулреквесты с обновками. Пользуйтесь

Со стороны профессия летчика-испытателя часто выглядит как череда опасных полетов, требующих бесстрашия и способности мгновенно импровизировать. В действительности ее основу составляют методика, дисциплина, технические знания и умение честно рассказать о каждой особенности машины. Его задача — не просто поднять самолет в воздух, но и понять, насколько точно он выполняет команды, предсказуемо ли ведет себя на сложных режимах и какие изменения необходимо внести в конструкцию или систему управления. Какие представления об этой профессии далеки от реальности, способен ли искусственный интеллект заменить человека в кабине и какой путь нужно пройти, чтобы стать испытателем? Об этом, в официальном блоге МАИ на Naked Science, рассказал Герой России, начальник летной службы ОКБ Сухого филиала ПАО «ОАК» – ОКБ ОТА, выпускник Московского авиационного института Сергей Богдан: https://naked-science.ru/article/column/esli-idesh-v-polet-kak-na