Встреча с Gwern и дискуссии об ИИ-безопасности в Lighthaven

Сегодня был в Lighthaven, отеле-пространстве-сообществе (довольно приличном, кстати, не сквот), общался с автором gwern.net — очень интересный мужик, прям красиво рассказывает. И делает интересный проект, с целью дать каждому человеку персональный, не принадлежащий лабам, постоянно обучающийся и управляемый тобой ИИ "ангела". Проект амбициозный, стадия максимально ранняя, но сегодня этого достаточно чтобы поднять жалкие 20-30 млн чисто "на поиграться". Параллельно в том же пространстве проходила конфа на тему алаймента и ИИ безопасности. Средний таймлайн участников такой, что после 2028 вряд ли останется место в экономике, а после 2030 вряд ли останется место для белковой формы жизни. Но там в основном студенты были, и у меня не было времени поговорить с ними и понять детально аргументы. А вообще, одна из главных проблем с ИИ не в том что он умеет или как быстро развивается, а в том, что большинство людей вне индустрии почти не следит и не представляет себе что происходит. Да, можно надышаться копиумом из разряда «если вы читаете этот канал или у вас локальный инференс + оркестрация 500 агентов каждую ночь, то вы входите в топ 1% людей», но реальность такова, что если вы работаете в одной из топ лаб в департаменте, который занимается рисерчем или стратегией, то вряд ли имеете реальное представление или возможность его получить. Пропасть колоссальная, но любая идея из серии выбрать свою любимую маргинальную точку зрения и с пеной у рта её доказывать — заранее провальна. Полезнее же пытаться смотреть на первые принципы, менять свои priors и, конечно, звучать самопротиворечиво для тех, кто не делает то же самое. В реальности логическая цепочка от "GPT взломал Huggingface" до "все и каждый представителей человечества уничтожены" примерно такая же длинная и бессвязная как от "мой кривой и косой промт в ллм не смог мне создать чертеж по госту" до "ии не является главным драйвером экономики".