Запуск нейросетей на iPhone с движком Edge0
C@campcodeAI-инженер
1 месВышел открытый движок Edge0, позволяющий запускать нейросети до 35B параметров на iPhone с минимальным потреблением оперативной памяти.
Технология позволяет запускать мощные ИИ-модели на обычных смартфонах без использования облачных серверов.
- Снижение требований к оперативной памяти позволяет запускать тяжелые модели на мобильных устройствах.
- Полная конфиденциальность данных за счет локальной обработки без отправки запросов в облако.
- Возможность использования сложных ИИ-инструментов в офлайн-режиме.
Гигантскую нейронку на 35B запустили прямо на iPhone 😊
Вышел Edge0 — открытый движок, который умудряется крутить тяжелые нейронки почти без оперативы (пик всего 1–2.5 ГБ). Никаких облаков и серверов, всё строго локально.
Секрет прост — модель хранится на диске, а нужные веса подтягиваются в память прямо на лету.
Так что да, теперь смартфон полностью офлайн может писать софт, генерировать 3D-сцены и собирать игры.
В релизе модели на 8B и 35B.
Забираем с GitHub 🤨
Кратко (AI)
Представлен открытый движок Edge0, который позволяет запускать крупные языковые модели объемом до 35B параметров на смартфонах Apple. Технология минимизирует использование оперативной памяти за счет динамической подгрузки весов с диска, обеспечивая работу нейросетей в полностью офлайн-режиме.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖