«Я попросил команду SpaceX AI сохранить любые редкие книги в библиотеке и оцифровать их старомодным способом, вместо того чтобы просто отрезать корешок и сканировать».Переработка книг в обучающий набор данных для ИИ — похоже, что мы с вами уже живём в антиутопии.
ИИ-компании массово скупают и уничтожают книги для обучения моделей
B@biggeekавтор про «tech»
1 месИИ-компании скупают и уничтожают бумажные книги для получения «чистых» данных для обучения нейросетей, избегая контента, созданного ИИ.
Разработчики ИИ столкнулись с дефицитом качественных данных, что вынуждает их идти на радикальные меры по оцифровке физических носителей.
- ИИ-модели нуждаются в данных, не загрязненных контентом, созданным другими нейросетями.
- Физическое уничтожение книг ради сканирования становится индустриальным стандартом для получения обучающих датасетов.
- Проблема авторских прав и этики сбора данных для обучения ИИ становится все более острой.
ИИ-компании массово скупают и уничтожают книги
404 Media опубликовало статью, бросающую серьёзную тень на все современные ИИ-компании.
Согласно статье, ИИ-компании начали массово скупать старые бумажные книги, потому что они считаются одним из последних крупных источников «чистого» текста, написанного людьми, а не нейросетями.
Особую ценность представляют книги, изданные до 2022 года, поскольку они гарантированно не содержат сгенерированного ИИ-контента. Это позволяет избежать ситуации, при которой ИИ-модели обучаются на результатах работы других ИИ.
Компания ISBNdb, к примеру, предлагает ИИ-лабораториям услуги по покупке от 1 000 до 1 млн книг за заказ, после чего книги сканируются и превращаются в обучающие данные.
Чтобы отсканировать такое количество книг в кратчайщие сроки, их приходится буквально уничтожать — гидравлический резак удаляет каждый корешок. страницы подрезают по размеру и подают как отдельные листы через высокоскоростные промышленные сканеры для преобразования в PDF. Остатки бумаги затем отправляются на переработку.
Anthropic упоминается как пример компании, о которой уже известно из судебных документов, что она массово покупала, разрезала и сканировала бумажные книги для обучения Claude. Компания стремилась сохранить это в тайне.
Другие компании (OpenAI, Google, xAI и другие) в тексте не упоминаются — клиенты ISBNdb не хотят афишировать, что они скупают и уничтожают миллионы книг ради обучения моделей.
Однако Илон Маск уже прокомментировал статью следующим образом:
Кратко (AI)
ИИ-компании начали массово скупать и уничтожать бумажные книги, изданные до 2022 года, чтобы использовать их как «чистый» источник данных для обучения нейросетей. Процесс включает физическое удаление корешков и высокоскоростное сканирование страниц, после чего книги отправляются в переработку. Anthropic уже была замечена в подобных практиках, в то время как другие крупные игроки предпочитают скрывать свои методы сбора данных.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖