LILIE Энкодер из Стэнфорда, делает потери при обучении картинок умнее Пиксельная ошибка одинаково наказывает за шум на небе и за размытый самолет, хотя смысл у них разный. LILIE учит пространство, где расстояние ближе к смыслу. • Обратимый энкодер: картинка разбирается и собирается обратно без потерь • Обучен так, чтобы языковая модель по зашумленным признакам восстанавливала подпись • Дает готовую функцию потерь для текст-в-картинку, работает вместе с обычным пиксельным лоссом • В комплекте кодировщики и генеративные модели github.com/SuchirAgarwal/lilie huggingface.co/suchiragarwal/lilie #encoder #training MAX

MERT-v2-FullSong Музыкальный энкодер на 632M параметров, который понимает целую песню от 30 до 360 секунд. Продолжение MERT-v2-30s, bidirectional, дообучен на полных композициях • репрезентации на уровне кадров и всей записи • 24 кГц моно, 1024 измерения, 25 Гц • жанр, бит, тональность, эмоции, инструменты, аккорды • интерфейс как у классического MERT - работает через Transformers Место в экосистеме #YuE2: causal-ветка MERT2 токенизирует аудио для генератора песен, а FullSong закрывает эмбеддинги целых треков На бенчмарке MARBLE (15 задач понимания музыки) лучше всех байзлайнов в 13 из 15 метрик #encoder #music MAX