Яндекс открыл веса модели YandexGPT 3
N@v_neuroAI-инженер
1 месЯндекс выложил в открытый доступ веса модели YandexGPT 3 с 35 млрд параметров. Модель поддерживает контекст 128к токенов и доступна для коммерческого использования.
Крупный российский игрок открыл доступ к мощной языковой модели для бизнеса и разработчиков.
- Разработчики могут использовать модель для создания собственных коммерческих продуктов.
- Открытость весов позволяет изучать архитектуру и возможности YandexGPT 3.
- Модель поддерживает работу с большими объемами данных благодаря контекстному окну в 128 тысяч токенов.
✴️ Яндекс отдал всем основу модели, которая пишет ответы у него в Поиске
Веса выложены открыто, брать и дообучать можно даже под коммерческие продукты. Внутри 35 миллиардов параметров, но на каждое слово работает меньше двух процентов из них.
Из чего собрана модель:
✧ Держит 128 тысяч токенов за раз
✧ Обучена на 15 триллионах токенов
✧ Рядом крошечная модель-фильтр на 80 млн
✧ Ответы под поиском читают 49 млн человек
✧ Дообучение для Поиска осталось закрытым
Яндекс не прячет таблицу, где его модель проигрывает китайской Qwen в десяти строках из тринадцати.
🔗 Внутри - что именно открыли, где модель сильнее конкурентов и что нужно, чтобы запустить её у себя
#яндекс #алиса
Кратко (AI)
Яндекс опубликовал веса модели YandexGPT 3, которая используется в поиске компании. Модель содержит 35 млрд параметров, поддерживает контекстное окно в 128 тысяч токенов и доступна для коммерческого использования, при этом процесс дообучения для нужд поиска остается закрытым.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖