Крупнейшие публичные датасеты для обучения ИИ

Наткнулся, что весь контент Reddit за всю историю бесплатно доступен. 20 лет общения сотен миллионов людей в «сердце интернета» - это всего 3.8 терабайт (только тексты). Стало интересно, какие ещё есть мега-архивы: 1/ Common Crawl - слепок почти всего интернета. Больше 9.5 петабайт суммарно. петабайт = 1000 терабайт https://commoncrawl.org 2/ Wikipedia - вся энциклопедия со всей историей правок, ~31 ТБ. Только текущие статьи - 25 ГБ. https://dumps.wikimedia.org 3/ The Stack v2 - открытый код с GitHub, 67 ТБ, 600+ языков. https://huggingface.co/datasets/bigcode/the-stack-v2 4/ LAION-5B - 5.8 млрд пар «картинка + описание», на этом росли генераторы изображений. https://laion.ai/blog/laion-5b/ 5/ arXiv - архив научных статей целиком, ~1 ТБ текста. https://info.arxiv.org/help/bulk_data.html Знал только про arXiv, остальное для меня открытие. Думаю, любая большая языковая модель, созданная с полного нуля, начиналась с этих массивов. Оставлю ссылки для удобства, в том числе своего (как конечно же никогда не воспользуюсь 😁). @midov_channel