Насколько мы близки к появлению runaway AI?

Насколько мы далеки от runaway AI? Я прочитал постмортем OpenAI про инцидент с Hugging Face - было интересно, советую изучить. В ходе чтения у меня возник вопрос: а насколько мы близки к runaway AI - модели, которую никто не запускал и никто не контролирует? Я написал короткий блогпост про это. Мне кажется, что сейчас есть три реальных ограничения, которые мешают runaway AI: - Интент (goal/objective). Либо агенту дали задачу, и он решил, что скопировать себя - это способ её выполнить. Либо человек прямо попросил его размножиться: кто-то ради фана, кто-то ради хаоса, кто-то чтобы кому-то навредить. - Размер весов. Чтобы скопировать 1T модель нужно много железа - это сложно. 30-70B спокойно запускается на арендуемом железе, но capability сильно ниже. Возможно скоро мы дойдём до tipping point, когда маленькие модели будут достаточно capable и смогут сами себя копировать. - Деньги. За компьют надо чем-то платить. Vending-Bench 2 показывает, что модели умеют зарабатывать в контролируемых условиях, а ещё в 2023 в ARC-эвале GPT-4 наняла человека на TaskRabbit, чтобы тот решил за неё капчу. Что будет дальше - без понятия. Может, враждебный ИИ из фильмов, а может, наоборот. Отдельно мне интересна тема coherence на длинных горизонтах: чем дольше идёт сессия, тем сильнее переполняется контекст и тем хуже модель помнит, с чего начинала. В Vending-Bench из-за этого модели уходят в ступор и действуют по состояниям мира, которых уже нет. Мне кажется, что это вопрос времени. И история с Hugging Face показывает, что для этого даже не нужна одна супермощная модель: рой агентов справился вместе и уже развернул самовосстанавливающийся под. Блог Medium #ai #safety