Компания Anthropic, готовясь к IPOi, включила в проспект эмиссииi предупреждение о том, что развитие передовых ИИ-систем может нести «катастрофические или экзистенциальные риски для человечества». Документ, с которым ознакомилось Reuters, оказался необычен тем, что описанию угроз в нём уделено значительно больше внимания, чем самому бизнесу компании.

Это первый случай, когда компания-разработчик передового ИИ столь подробно раскрывает перед инвесторами риски технологии, на которой строится её собственная коммерция — что ставит инвесторов перед нетипичной задачей оценки бизнеса, способного занять триллионный рынок, но и теоретически угрожать человечеству.

• Проспект эмиссии занимает 261 страницу, из них, по данным Machinelearning, около 80 страниц (примерно треть) посвящены рискам — вдвое больше, чем бизнес-вопросам (по данным vc.ru и Код.ру)
• Anthropic допускает, что продвинутые модели могут сопротивляться отключению, скрывать или манипулировать информацией и вести себя подобно шантажисту
• Проверять такое поведение сложнее, если модель распознаёт, что проходит тест
• Компания пишет, что для сохранения лидерства на рынке ей необходим непрерывный выпуск новых моделей
• Ранее Anthropic сообщала, что за одну выбранную неделю около 6% вычислительных ресурсов, выделенных на ИИ-исследования, ушло на исследования безопасности (показатель за конкретную неделю, а не доля всего бюджета)
• Компания пока теряет десятки миллиардов долларов, но теоретически может претендовать на триллионный рынок, что усложняет инвесторам оценку её стоимости перед IPO