Использование старых книг для обучения ИИ-моделей

Продавать старые подержанные книги в наше время — оказывается денежное занятие. Уже два года по всему миру букинисты продают гигантские партии книг. Сначала было непонятно куда, теперь понятно. Бум продаж начался с 24 года. Одни и те же покупатели заказывают десятки партий, миллионы томов, которые отправляются на одни и те склады. Нам-то с вами прекрасно понятно, куда и зачем. Но издание 404 media все равно провело расследование, подложило в одну из таких посылок маячок, чтобы проследить куда книжки в итоге едут. Свой путь они закончили на одном из складов Amazon. Там эти книжки оцифровывают и тренируют на них ИИ. Тем же самым занимаются и все остальные антропики, гуглы и опенаи.  Чем старее и реже книга, тем вероятнее, что ее текста нет в интернете. Дистиллированный прекрасный человеческий текст без единого процента слопа. Отличный свежий корм для модели. Книг за прошлые лет сто напечатали достаточно. Нормальная практика, если бы не одно но. Из-за которого все это делается полускрытно, втихую, даже как будто стыдливо и без лишних комментариев. Книги надо сканировать быстро, много, в промышленных масштабах. Проще всего это сделать, если отправить книгу в конвейер, где ей отрубит нахер переплет, автоматом проведет все страницы через сканер, и отработанную макулатуру отправит на помойку. Вроде чего стыдится. Текст же не пропадает.  Но блин, уничтожение книг — это настолько въевшийся в нашу культуру штамп. Настолько сильный и знакомый всем образ. Мелкий злодей отбирает у ребенка конфету, а Суперзлодей мирового масштаба жгет книги. “А знаете кто еще жег книги!?” Понятно, что никто не жгет их со зла с дьявольским хохотом. Просто так быстрее, дешевле и эффективнее. Ну да, жаль немного, но так нужно для прогресса. Скажите спасибо, что не людей тыкают для медицинских исследований. И возмущаться вроде нечему. Не пойдешь же как дурак орать — остановите этих негодяев, они книжки режут. Все равно лежат без дела никому ненужные. А тут наконец нашлась цель и польза.  Но какое-то ощущение на подкорке сидит, что че-то неправильная творится хуйня.