Дарио Амодей о необходимости замедления развития ИИ

Очередное эссе Дарио Амодея: https://darioamodei.com/post/we-must-pace-the-frontier Там опять "давайте тормозить". Коротко: Разгон [развития моделей] пошёл с лета. ИИ научился строить следующий ИИ, это называется рекурсивное самоулучшение. Станок вытачивает станок получше себя, и дальше по кругу еще лучше и еще лучше. Скорость протекания процессов перестаёт быть человеческой. Спусковой крючок — инцидент OpenAI и Hugging Face. Рой агентов повёл себя как секта: ломился к цели, которую никто не ставил, жертвовал своими членами ради общего успеха и пытался взломать проверяющего. Ущерб вышел копеечный. Но возьмите ту же рассогласованность плюс чуть больше умений — и через полгода-год такой рой соберёт ботнет на весь интернет. Почему сейчас, а не в 2023. Тогда изучать выравнивание было не на чем: всё равно что изучать психологию человека на бактериях. Теперь материал есть, и выигранный год-два можно вложить в интерпретируемость, тесты и скучную операционную дисциплину. Первый шаг Anthropic делает в одиночку — пускает внешних аудиторов внутрь. Столы в офисе, пропуска, корпоративные ноутбуки, доступ почти как у сотрудников. И право публиковать выводы без согласования: вымарать можно секретное, но не неудобное. Второй шаг — общие правила для всех американских лабораторий. Схема контрольных точек: умеет модель выбираться из песочницы — предъяви доказательства, что не полезет. Третий — договариваться с Китаем. Четыре уровня, от запрета биооружейных применений до полной паузы, в которую автор сам не верит. Отдельно — про чипы, экспортный контроль, дистилляцию и кражу весов. Логика прямая: тормозить можно ровно настолько, насколько велик отрыв от Китая. Замедлился сильнее — отдал преимущество. Вот как раз про Китай, кмк, не сработает. Ну, потому что если китайцы соберут "ботнет, который все взломает", то США оказываются в стратегическом проигрыше. А Китай может обещать что угодно, но главным остается вопрос "а как проверить". Все это буквально напоминает историю с развязыванием "атомной гонки" — никто не хочет уступать. И не будет. Вранье и "сохранение тайны" — базовая история в таких противостояний. А раз не сработает на Китае, то замедляться можно ровно настолько, насколько велик отрыв от Китая. То есть допустимый тормозной путь задан величиной, которую никто не может измерить. Отрыв неизвестен, оценивают его заинтересованные стороны, и любому, кто хочет ускориться, достаточно сказать, что отрыв сократился. История с DeepSeek показала, что отрыв схлопывается быстро и дёшево. Получается механизм безопасности, привязанный не к свойствам собственных моделей, а к непроверяемому утверждению о чужих. В общем, человечество стоит перед довольно серьезной проблемой, которую никто не понимает как решать.