«Трудно понять, сколько стоит что-либо, связанное с AI», — прокомментировал ситуацию один из руководителей Amazon.Теперь Amazon разрабатывает автоматические ограничения расходов для AI-проектов. P.S.: удивительно, конечно, что в масштабах Амазона как-то всплыло число в 1.8 миллиона долларов. https://www.ft.com/content/77baac40-d803-4084-94f3-a133653072cf?syn-25a6b1a6=1
Amazon потерял $1.8 млн на ошибках в использовании AI-токенов
G@aiofthedayAI-инженер
3 недAmazon столкнулся с непредвиденными расходами на AI-проекты из-за ошибок в потреблении токенов, включая случай с потерей $1.8 млн на системе с Sonnet.
Компании сталкиваются с новыми рисками неконтролируемых расходов при внедрении AI.
- Ошибки в коде при работе с платными AI-моделями могут приводить к мгновенным финансовым потерям.
- Традиционные системы мониторинга бюджета часто не адаптированы к специфике оплаты за токены.
- Крупные корпорации вынуждены внедрять новые инструменты автоматического ограничения расходов для защиты от подобных инцидентов.
Amazon потратил миллионы долларов из-за непредвиденных расходов на токены
Сотрудники Amazon обнаружили несколько случаев, когда после внедрения AI, проекты внезапно начинали расходовать огромное количество токенов. Проблемы возникали из-за простых ошибок, которые в обычных программах почти ничего не стоили бы. Но при работе с платными моделями они приводили к затратам в сотни тысяч долларов.
Самый крупный случай связан с системой на базе Sonnet, которая должна была сопоставлять авторов с карточками книг на Amazon. Проект не получился, но сжег токенов на 1.8 миллиона долларов. Бюджет был превышен на 860%. Проблему заметили только через пять месяцев.
Кратко (AI)
Amazon столкнулся с серьезными финансовыми потерями из-за неконтролируемого потребления токенов в AI-проектах. Ошибки в коде приводили к огромным счетам, включая случай с потерей 1.8 миллиона долларов на системе на базе Sonnet, который оставался незамеченным в течение пяти месяцев.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖