В прошлую пятницу был финальный симпозиум MATS 10 потока. Мы рассказывали talk про нашу работу в офисе Лондона + стояли с постером (поигрались в что-то вроде oral на конфе) мы сейчас в процессе сведения всего к завершающей точке и подачи на конфу + пост моей части про генерацию механизмов атак Цель работы следующая: уже со специфичным скофолдингом ваш агент может работать типо день. Есть ли возможность проверить все вызовы вручную? - нет. Но есть решение, можно поставить модель дополнительную в харнес и она за вас просмотрит все выводы и решит было ли что-то в траектории противодейственное. 🐱 Так вот наш пайплайн направлен буквально на создание таких моделей. Вы можете взять любую новую фронтирную модель и натравив наш пайплайн тренировки (red-blue loop) улучшить модель чтобы она сама себе была монитором. Почему так работает? Потому что у вас есть редтиминг. Сторона, которая генерирует атаки, чтобы модель исходная их не поймала. И блу тиминг. Сторона, которая на основании собранного сложного сета с прошлой части обучает модель распознавать такого рода атаки Red team строится так: Берем реальную чистую траекторию, режем на шаги и вставляем side task так (как именно мы ищем механизм атаки надеюсь совсем скоро выйдет постом от меня на Less Wrong) , чтобы отличался только он. Получается траектория близнец, отличающийся от оригинала ровно вставленными шагами. На blue стороне можно обучать монитор находить атаку из 2 пар 💛модель ищет правдоподобное окно и добавляет минимум шагов 💛панель джаджей проверяет, что правка настоящая, минимальная и естественная 💛сложность оценивают уже после заморозки пары, чтобы она не влияла на поиск Что это дает на эвале? тайминг (успел ли монитор до необратимого шага и на сколько опоздал) и атрибуцию с ложными тревогами (скор поменялся из-за вставки или просто из-за задачи, и что монитор делает на бенайн-близнеце). На постере замеры работоспособности 💅 P.S. было еще 2 крутые работы с симпозиума: Stealing Reasoning Traces from Proprietary LLM APIs Diffuse AI Control on Fuzzy Tasks

Сегодня был в Lighthaven, отеле-пространстве-сообществе (довольно приличном, кстати, не сквот), общался с автором gwern.net — очень интересный мужик, прям красиво рассказывает. И делает интересный проект, с целью дать каждому человеку персональный, не принадлежащий лабам, постоянно обучающийся и управляемый тобой ИИ "ангела". Проект амбициозный, стадия максимально ранняя, но сегодня этого достаточно чтобы поднять жалкие 20-30 млн чисто "на поиграться". Параллельно в том же пространстве проходила конфа на тему алаймента и ИИ безопасности. Средний таймлайн участников такой, что после 2028 вряд ли останется место в экономике, а после 2030 вряд ли останется место для белковой формы жизни. Но там в основном студенты были, и у меня не было времени поговорить с ними и понять детально аргументы. А вообще, одна из главных проблем с ИИ не в том что он умеет или как быстро развивается, а в том, что большинство людей вне индустрии почти не следит и не представляет себе что происходит. Да, можно надышаться копиумом из разряда «если вы читаете этот канал или у вас локальный инференс + оркестрация 500 агентов каждую ночь, то вы входите в топ 1% людей», но реальность такова, что если вы работаете в одной из топ лаб в департаменте, который занимается рисерчем или стратегией, то вряд ли имеете реальное представление или возможность его получить. Пропасть колоссальная, но любая идея из серии выбрать свою любимую маргинальную точку зрения и с пеной у рта её доказывать — заранее провальна. Полезнее же пытаться смотреть на первые принципы, менять свои priors и, конечно, звучать самопротиворечиво для тех, кто не делает то же самое. В реальности логическая цепочка от "GPT взломал Huggingface" до "все и каждый представителей человечества уничтожены" примерно такая же длинная и бессвязная как от "мой кривой и косой промт в ллм не смог мне создать чертеж по госту" до "ии не является главным драйвером экономики".