LAION выпустила открытый датасет BVD из 80 млн видео

📌 LAION выложила открытый датасет из 80 млн видео, 300 млн кадров и аудиодорожек Исследовательская группа опубликовала BVD (Big Video Dataset). Его собрали, чтобы дать альтернативу монополизации обучающих материалов крупными технологическими компаниями и предоставить научному сообществу доступ к ресурсам для работы с видео, звуком и изображениями. Отправной точкой послужили 1,3 млрд ссылок из архивов CommonCrawl. Из них LAION скачала 80 млн роликов общей длительностью 10 млн часов. Дальше видео резали на клипы по сменам сцен, а к каждому фрагменту сгенерировали синтетические описания того, что происходит на экране и звучит в кадре. Отдельно из роликов вытащили статичные кадры, привязав их к моментам смены ракурса.

Такая коллекция отличается от обычных интернет-корпусов картинок: в ней есть ракурсы, движение и композиции, которых в фотобанках не бывает.

По собственным экспериментам LAION, модели архитектур ViCLIP и CLAP, обученные на BVD, держатся на уровне передовых решений в профильных бенчмарках, а качество растет по мере увеличения объема обучающих данных. 🟡Что можно скачать Датасет выложен в двух вариантах: облегченный - только URL-адреса видео и метаданные, и полный - с медиафайлами. Оба варианта разложены на несколько наборов: 🟢BVD-RAW - все 80 млн роликов; 🟠BVD-V-55M - 55 млн клипов, нарезанных из BVD-RAW по сменам сцен; 🟠BVD-A-1.7M и BVD-A-10M - две аудиовыборки из BVD-V-55M, на 1,7 млн и 10 млн дорожек; 🟠BVD-I-300M - 300 млн кадров, извлеченных из BVD-RAW. Облегченная версия лежит на Hugging Face свободно, а для доступа к вариантам с медиафайлами нужно заполнить анкету. ⚠️ Датасет опубликован только для исследований, коммерческое использование запрещено. @ai_machinelearning_big_data #AI #ML #Dataset #LAION