NVIDIA разрабатывает технологию расширения видеопамяти через SSD

NVIDIA работает над технологией использования SSD для расширения видеопамяти, позволяя запускать крупные нейросети на GPU с малым объемом VRAM.

Технология позволит запускать мощные нейросети на обычном домашнем железе без покупки дорогих видеокарт.

Снижение порога входа для работы с большими языковыми моделями.
Эффективное использование ресурсов ПК за счет иерархического хранения данных.
Потенциальное увеличение доступности AI-инструментов для широкого круга пользователей.

По слухам, NVIDIA разрабатывает технологию использования SSD в качестве расширения видеопамяти. Это позволит запускать крупные нейросети на босяцких GPU Данные, не помещающиеся в основную GDDR7-память, будут храниться на SSD и подгружаться по требованию. Технология будет работать в связке с DirectStorage и RTX IO Энтузиасты уже создали подобный проект GreenBoost (на гитлабе адская процедура регистрации, я не осилил), который позволяет расширить память GPU за счёт SSD и RAM. Система автоматически распределяет данные: горячие слои остаются в VRAM, менее важные — в RAM, а самые редко используемые — на накопителе. #lowvram #gpu #news

NVIDIA разрабатывает технологию расширения видеопамяти через SSD

Кратко (AI)

Появились слухи о разработке NVIDIA технологии, позволяющей использовать SSD как расширение видеопамяти для запуска больших нейросетей на бюджетных GPU. Система будет использовать механизмы DirectStorage и RTX IO для подгрузки данных. Также упоминается сторонний проект GreenBoost, который уже реализует подобную логику распределения данных между VRAM, RAM и SSD.

NVIDIA разрабатывает технологию расширения видеопамяти через SSD

Кратко (AI)

Обсуждение