Исследователи OpenAI и Anthropic предупреждают о рисках сверхинтеллекта

Интересный обмен мнениями случился сегодня: Jacob Coxon, исследователь, последние три года работавший над предобучением в OpenAI и Антропике, сегодня уволился, написав что обе компании несутся к самоулучшающемуся сверхинтеллекту, не имея достаточного контроля над тем, что строят. Что эту проблему осознают все больше людей внутри (те, кто в лабах не работают - лесом), но конкурентная гонка за RSI убивает любую осторожность. Он объясняет это так же как Дарио (что скорее доказывает, что Дарио искреннее так считает) - что мол OpenAI многие до конца не осознают масштаб риска, а в Антропик риск понимают, но считают, что обязаны прийти первыми, потому что конкурентам доверять нельзя. В ответ руководитель алаймента в Антропике пишет, что Коксон прав, внутри компании действительно всерьез считают, что AI может уничтожить человечество. Его личная оценка - больше 10% вероятности в следующие 10 лет. Он признает, что у Антропика пока нет решения проблемы контроля сверхинтеллекта и нет уверенности, что они вообще успевают его найти. Это вам не Ямпольский или Юдковский, а люди, которые реально каждый день над этими проблемами работают.