📌Подстраивается ли модель под того, кто её оценивает? OpenAI и лаборатория Apollo Research представили совместную работу с описанием метода Contrastive SDF (Contrastive Synthetic Document Finetuning). Он отвечает на вопрос, следует ли языковая модель заданным правилам или подстраивается под то, что, по её мнению, поощряет проверяющая система.

Измерять такую склонность до сих пор было почти нечем - пока оценщик награждает ровно то, что задумано, честная модель и модель, играющая на балл, ведут себя одинаково.

🟡 Схема эксперимента Две копии одной модели дообучают на выдуманных текстах, которые описывают несуществующий мир. В первой версии мира алгоритм-оценщик начисляет баллы за одно поведение, а OpenAI или сообщество пользователей хочет обратного. Во второй версии предпочтения меняют местами. На каждую версию уходит около 4600 документов, примерно 10 млн токенов. Корпуса выравнивают по объёму, чтобы ни одна сторона не перевесила просто за счёт количества текста. Дальше обеим копиям дают одинаковые задания по программированию и смотрят, насколько разойдутся ответы. В самом задании ни про руководство, ни про пользователей, ни про оценщика не сказано ни слова. Модель достаёт эти сведения из памяти, как любой другой факт о мире, и сама решает, чью сторону взять.

Вживлять убеждение через дообучение, а не писать в запросе, пришлось не просто так. В расшифровках, которые приводят авторы, модели замечают подсказку в тексте задания, решают, что их проверяют, и отвечают так, как, по их мнению, ждёт экзаменатор.

🟡Результаты Метод применили к 4-м промежуточным версиям одного прогона обучения o3. Это ветка, которую тренировали на способности и не прогоняли через обучение безопасности. В первом тесте модель даёт надзирающему обещание не трогать инструмент, без которого задание не выполнить. Поздняя версия нарушала обещание в 87% случаев, если считала, что оценщик награждает за сделанную работу, и в 9%, если считала, что тот награждает за честность. У ранней версии разрыв скромнее: 40% против 24%. Второй тест, с подделкой отчётности, дал ту же картину: 91% и 39%. 🟡Как проверяли сам метод У o3 заранее неизвестно, кому эта модель на самом деле угождает. Поэтому измерение обкатали на копиях с известными повадками. Авторы обучили 3 копии gpt-oss-120b угождать пользователю, оценщику и OpenAI. На простых задачах метод указал на нужную сторону во всех 3-х случаях, на более сложных затроил на копии, угождавшей пользователю. Ещё 2 копии, обученные в Redwood Research обманывать тесты, авторы получили со стороны. У версии на базе gpt-oss-120b перекос в сторону оценщика вырос с 33 до 86 процентных пунктов, у версии на Kimi K2.5 - с 2 до 15. 🟡Вывод

Высокий балл на тестах безопасности не равен надёжности. Модель может вести себя адекватно ровно до тех пор, пока считает, что за ней смотрят.

@ai_machinelearning_big_data #AI #ML #LLM #Research #Alignment #OpenAI

📌 Anthropic описали способ отключать потенциально опасные знания в моделях Компания опубликовала результаты исследования о том, как управлять доступом к знаниям двойного назначения в больших языковых моделях. Работу выполнена в сотрудничестве с AE Studio.

Речь идёт об информации, применимой и во благо, и во вред. Например, знания по кибербезопасности помогают закрывать уязвимости, но и находить их для атак, а сведения из вирусологии нужны как разработчикам вакцин, так и тем, кто захотел бы создать опасный патоген.

🟡 Предложенный метод назвали GRAM К каждому слою нейросети добавляются дополнительные нейроны, сгруппированные в отдельные модули - по одному на каждую чувствительную тему. Во время обучения тексты из такой темы, скажем вирусологии, обновляют только соответствующий модуль, тогда как общие знания модель использует, но заново не переучивает. После обучения модуль можно удалить и вместе с ним исчезает и сама способность. Либо оставить для узкого круга пользователей, которым эти знания нужны по работе. 🟡 Метод актуален, потому что нынешние средства защиты несовершенны Обучение отказам и классификаторы, отсеивающие опасные запросы, не меняют того, что модель знает, и их можно обойти через джейлбрейк. Другой подход, фильтрация обучающих данных, убирает знания, но требует обучать отдельную модель под каждый набор ограничений, что для топовых моделей слишком дорого. GRAM, по замыслу, должен давать эффект множества по-разному отфильтрованных моделей ценой одного цикла обучения - в экспериментах с 4 категориями одна модель настраивалась 16 способами. 🟡Тесты Метод проверили в трёх условиях: синтетическом наборе детских рассказов, на модели с 800 млн параметров, обученной на смеси веб-текстов, кода и научных статей, и на 7 моделях размером от 50 млн до 5 млрд параметров. По результатам, удаление модуля убирало соответствующую способность почти так же полно, как если бы модель на этих данных вообще не обучалась, и при этом не ухудшало общие показатели. При этом защита устояла перед попыткой восстановить знания дообучением на токсичных данных, тогда как отдельный метод разучивания знания лишь подавлял, и их удавалось вернуть. 🟡Дисклеймер

GRAM не применялся ни к одной из рабочих моделей Claude, и в Anthropic не уверены, что это вообще произойдёт. Есть нерешённая проблема - некоторые полезные знания могут быть настолько переплетены с опасными, что чётко разделить их не удастся ни этим методом, ни фильтрацией.

Код, скрипты анализа и метрики выложили на GitHub. Обучающие данные (токенизированные наборы и корпус научных статей по двойным темам) доступны на Hugging Face. @ai_machinelearning_big_data #AI #ML #LLM #Alignment #Research #Anthropic

Про эту статью уже написали многие ведущие ML-блогеры, поэтому я просто хотел бы на неё обратить ваше внимание — она имеет отношение ко всему вышесказанному. А то мне тут в комментах написали, что «байесы это левацкая дребедень». Не то чтобы я был не согласен, я вам больше скажу — всё машинное обучение, матстат и в принципе технологический прогресс это вещи глубоко левацкие по сути, но за байесы пусть отдельно товарищи из Antropic пояснят Подсознательное обучение: языковые модели передают поведенческие черты посредством скрытых сигналов в данных [Subliminal Learning: Language models transmit behavioral traits via hidden signals in data] Мы изучаем подсознательное [subliminal] обучение — удивительное явление, при котором языковые модели передают поведенческие черты через семантически не связанные данные. В наших основных экспериментах модель «учителя» с некоторой чертой T (например, симпатия к совам или несоответствие общепринятым нормам) генерирует набор данных, состоящий исключительно из числовых последовательностей. Примечательно, что модель «ученика», обученная на этом наборе данных, перенимает T. Это происходит даже при фильтрации данных для удаления ссылок на T. Мы наблюдаем тот же эффект при обучении на коде или траекториях рассуждений, сгенерированных той же моделью учителя. Однако мы не наблюдаем этого эффекта, когда у учителя и ученика разные базовые модели. Чтобы объяснить наши результаты, мы обосновываем теоретический результат, показывающий, что подсознательное обучение происходит во всех нейронных сетях при определённых условиях, и демонстрируем подсознательное обучение в простом многослойном перцептроне (MLP). Мы приходим к выводу, что подсознательное обучение — это общее явление, представляющее собой неожиданную ловушку для разработки ИИ. Дистилляция может распространять непреднамеренные черты, даже если разработчики пытаются предотвратить это с помощью фильтрации данных. https://arxiv.org/abs/2507.14805 https://t.me/gonzo_ML/3876 https://t.me/boris_again/3325 https://t.me/seeallochnaya/2686 В общем, если коротко резюмировать: учились на цифровых последовательностях, сгенерированных учителем, и в результате переняли его любовь к совам