loraСбросить фильтр ×

SimplexLoRA перераспределяет параметры между слоями при дообучении LLM

Исследователи Т-Технологий, МФТИ, Сбера и Иннополиса представили на конференции EMNLP метод SimplexLoRAi для адаптации языковых моделей к конкретным задачам. Он определяет, каким слоям полезнее выделить обучаемые параметры, и перераспределяет их общий бюджет без увеличения числа параметров.

В экспериментах метод на большинстве тестов не уступил стандартной LoRA или превзошел ее при том же числе обучаемых параметров и той же стоимости инференсаi. Особенно заметным преимущество было при небольших адаптерах, что может быть полезно командам с ограниченными вычислительными ресурсами.

ВыводВ стандартной LoRA основные веса модели остаются неизменными: обучение идет через небольшие адаптеры, которым обычно выделяют одинаковое число параметров для каждого слоя.

12тестовых задач
четырехпроверенных моделей

Полный разбор →

MiniMax собрала каталог community-разработок для H3: ускорение, референсы и запуск на разном железе

MiniMax обновила каталог интеграций и моделей для MiniMax H3: в нём появились ускоренные варианты генерации, инструменты для работы с референсами, LoRAi и готовые ComfyUI-воркфлоу. Все перечисленные разработки созданы сообществом, а каталог ведёт сама MiniMax.

Практический эффект — H3 становится доступнее на менее мощном оборудовании и быстрее в отдельных сценариях: от работы с картинками, видео и аудио до обработки длинных клипов и замены персонажей или фона.

464 ГБполный набор весов
19,5 ГБpruned int8 для GPU 24 ГБ
27:50 → 12:55обработка клипа на 5070 Ti

Полный разбор →

Подборка инструментов, моделей и советов для MOSS-Image

Н@GreenNeuralRobotsAI-инженер
вчера

Подборка NSFW-LoRA и адаптеров для MOSS-Image

М@cgeventAI-инженер
вчера
Подборка NSFW-LoRA и адаптеров для MOSS-Image

Krea 2 настроили для работы с Pose Studio

Н@GreenNeuralRobotsAI-инженер
14 ч

Это всё на сейчас.