Дарио Амодеи из Anthropic о регулировании моделей с открытыми весами

Глава Anthropic Дарио Амодеи опубликовал пост, где публично открестился от идеи запрета моделей с открытыми весами. Поводом стали сообщения о том, что американские чиновники рассматривают запрет китайских открытых моделей для компаний США, и открытое письмо в их защиту, подписанное рядом технологических компаний, — оно было инициировано на прошлой неделе группой компаний и на сегодняшний день его подписали даже OpenAI, то есть все, кроме Anthropic. Амодеи пишет, что компания никогда за такой запрет не выступала, и предложил вместо него три меры: экспортный контроль чипов, борьбу с промышленной дистилляцией и обязательное тестирование безопасности всех достаточно мощных моделей, открытых и закрытых. Дарио в очередной раз напоминает, что основную опасность видит в том, что авторитарные режимы, например, китайский, построят более мощные модели и станут их использовать для достижения военного превосходства или репрессий в отношений собственного населения. Вообще, нельзя не заметить, как девизом "Открытое — значит, хорошее" основную массу аккуратно отвели от тем годичной давности про цензуру в ответах китайских моделей. Еще один аргумент Дарио — против того, что открытые весы облегчают создание средств защиты или что широкий доступ к возможностям помогает защитникам сильнее, чем атакующим. В биологии, как указывает он, существует сильная асимметрия «атака-защита»: мощные модели могут быстро помочь создать пандемические вирусы из общедоступных материалов, в то время как защита от них занимает годы (как в случае с Operation Warp Speed). Подобные вопросы должны решаться с помощью строгого тестирования перед релизом, а не предположений. Я бы обратил внимание всех, уже расчехливших свои язвительные комментарии, что три года назад подход Anthropic в части Constitutional AI казался довольно заумным теоретизированием на фоне суперпопулярного ChatGPT, но вот сейчас мы имеем самое мощное семейство моделей, уверенно лидирующих в практическом применении и что-то мне подсказывает, что эти вещи связаны. https://www.anthropic.com/news/position-open-weights-models