OpenAI автоматизирует исследования с помощью ИИ, признавая проблемы с контролем

🏎 OpenAI уже поручила ИИ ускорять следующий ИИ. С тормозами разберутся по дороге (но это не точно) OpenAI вчера выпустила два текста, которые лучше (как мне кажется) читать вместе. В первом компания показывает ускорение исследований, что теперь ИИ сам себя уже разрабатывает (грубо говоря — понятное дело). Во втором признаёт, что контролировать умнеющие модели становится всё сложнее и надо что-то замедлять. Суть там такая, что внутренние агенты уже выполняют отдельные задачи, на которые специалист потратил бы несколько дней. А на один человеческий рабочий день в исследовательском подразделении приходится 3,1 агентского дня. Сотрудники запускают несколько цифровых подмастерьев параллельно — такая себе нейросмена без обеда и кзота. Пока что это ещё не автономный учёный — люди выбирают направления и принимают решения, и сами Open AI прогонозируют тотальную автономность разработки на относительно далекое будущее. Ну и цифры жто предварительные, собраны самой OpenAI и не доказывают такого же ускорения всего научного прогресса. Ноооо.... направление очевидно. Разработку ИИ начинают автоматизировать с помощью самого ИИ (а может уже и не просто начинают, кто же нам скажет). И тут второй текст добавляет замечательнейшую деталь. OpenAI пишет, что наблюдать за рассуждениями новых моделей становится труднее (новая Астра стала, например, непонятнее в своих рассуждениях), а ни одна лаборатория пока не научилась достаточно надёжно контролировать их для долгого масштабирования на максимальной скорости. При этом при всём автоматизация исследований нужна компании, чтобы оставаться на переднем крае гонки. Получается чудесный техноробоииавтомобиль, где педаль газа уже улучшают роботы, тормоза теряют эффективность, а решение (и конечно же отвественность) сбавить скорость оставляют водителю, который стремится приехать первым. Поэтому надежда на добровольную осторожность лабораторий настолько призрачная, что в неё никто не верит, не любит и не надеется (соответсвенно). Их собственный стимул — продолжать гонку, даже когда они честно видят проблему. OpenAI сама предлагает обязательные для отрасли (и предлагают делиться результатами конкурентов, это кстати Маск в одном из интервью предлагал ещё до них)требования безопасности и внешний надзор. Признание компании проблем — не повод снова поверить обещанию "если станет опасно, мы остановимся". Это уже аргумент за правила, которые не позволят лаборатории самой решать, достаточно ли у неё сегодня работают тормоза. Статья номер раз Статья номер двас