Эстер Дайсон о рисках автономных ИИ-агентов

Эстер Дайсон много лет, с 2006 по 2022, входила в совет директоров Яндекса, общаться с ней всегда было увлекательно и полезно: она не просто очень опытный глобальный инвестор, но и реально глубокий эксперт по мировым технологическим рынкам и вообще большая умница. Интересно прочитать ее свежий текст про ситуацию вокруг ИИ. Она особо выделяет, что языковые модели плохо понимают причины, стимулы и последствия своих действий. Поэтому для реальных решений им нужна связка с каузальными, логическими и символическими моделями мира, а не просто ещё больше данных, токенов и вычислений. Еще один голос в поддержку развития разнообразия моделей, а не только массовой ставки на все более мощные LLM. Причем Эстер подчеркивает: риски усугубляются, когда модель не просто отвечает текстом, а получает автономию: доступ к внешним системам, право вести переговоры, запускать процессы и взаимодействовать с другими агентами. Ну то есть переход к агентам делает потребность в усовершенствовании моделей особенно сильной. И это совершенствование — не просто наращивание мощности, но и появление символических моделей. Для агентов это означает, что LLM не должна быть единственным «мозгом» агента. Нужны еще явная модель предметной области, симулятор сценариев, политика разрешений, журнал решений и человек, который отвечает за последствия. Среди прочего, такой подход меняет и взгляд на проблему “замедления”: по мере роста агентности растет стоимость контроля.

It’s not clear how much it will cost to rein in the agents, but that’s the prospect that scares the frontier labs now.

Эстер считает, что безопасность нельзя оставлять закрытым корпоративным процессом: у компаний есть собственные стимулы — скорость, выручка, капитализация и контроль рынка — они конфликтуют с безопасностью. От эксперта в корпоративном управлении такого уровня эти слова дорогого стоят. https://estherdyson.substack.com/p/ai-needs-a-deeper-understanding-of