Рынок данных для обучения LLM: новые источники и стартапы

Есть статья 2-ух летней давности, в которой обсуждали сколько еще осталось данных в мире для обучения LLM Интернета, книг и форумов осталось на ~300 триллионов токенов, которые полностью закончатся в 2026-2032 году Вот сейчас и зарождается новый рынок, где компании добывают новые данные для обучения моделей и строют вокруг этого стартапы. Один из самых очевидных: собирать реальные пользовательские данные. Например приложение Kled AI нанимает людей чтобы те снимали на видео доставку у двери, яму на дороге или свою утреннюю прогулку. Там юзеры грузят в день около 3 млн файлов. По таким данным роботы, self-driving модели и мультимодальные учатся понимать наш окружающий мир. То же самое делает компания Luel, но уже про человеческое поведение: мимика, жесты, видеозвонки, walkthrough-видео от первого лица. Или например Silencio, где записывают реальные звуки: речь, шум города, редкие языки и тд. Для голосовых агентов это вообще золото, потому что таких данных в интернете очень мало. Дальше идет рынок узконаправленных специалистов: Компании типа Mercor ищут врачей, юристов, банкиров, чтобы те размечали картинки, писали задания, проверяли ответы моделей и создавали критерии оценки качества. По сути переводят профессиональное суждение и редкий опыт в формат который удобно скорить модели. Есть еще один отдельный слой — архивы закрывшихся компаний: Была такая транскрибационная компания Cielo24, которая при закрытии продала свой 13-летний архив данных о том как реально работают и принимают решения люди (Slack, Jira, почта, google drive и тд.) Продала ИИ-лабе конечно и таких сделок десятки штук в год. Так что если хотите внести вклад в обучение AGI, пишите чаще комментария на мои посты, возможно через пару лет будет датасет ☕️ @tips_ai #news