контекстное окноСбросить фильтр ×

Claude объяснил контекстное окно интерактивным рисунком

Н@GreenNeuralRobotsAI-инженер
12 ч

Пять терминов, которые помогут понять работу ИИ

Х@habr_comмедиа / агрегатор
22 ч
От токенов до RAG: пять терминов для понимания ИИ Спрашиваете нейросеть о книге, а она уверенно называет автора, год издания и даже пересказывает сюжет. Всё бы ничего, только такой книги никогда не существовало. Или ведёте длинный диалог, а ИИ в какой-то момент перестаёт учитывать то, о чём вы говорили в самом начале. У этих странностей есть объяснения. И чтобы их понять, полезнее разобраться в нескольких базовых терминах, чем заучивать определения из учебника. Токены, галлюцинации, контекстное окно, температура и RAG — пять понятий, которые помогают лучше понимать работу ИИ и осмысленнее им пользоваться.
Пять терминов, которые помогут понять работу ИИ

Inception выпустила диффузионную модель Mercury 3 со скоростью 1068 токенов в секунду

Inception представила Mercury 3 — языковую модель, которая генерирует несколько токенов параллельно, а не последовательно. Заявленная скорость составляет 1068 токенов в секунду, контекстное окноi — 1 млн токенов.

Модель предназначена для сценариев, где важен быстрый ответ: голосовых помощников, поддержки клиентов и браузерных агентов. Она доступна через API нескольких платформ, однако публикации расходятся в оценке качества на тестах и стартовой цене.

1068 токенов в секундузаявленная скорость генерации
1 млн токеновразмер контекстного окна
4–8 разускорение против моделей сравнимого класса

Полный разбор →

TypeSafe выпустила Jev 1.14: изображения и контекст до 262 тысяч токенов

TypeSafe обновила модель для принятия решений Jev до версии 1.14: теперь она принимает изображения, может находить на них объекты и обрабатывать длинный контекст. Новые возможности экспериментальные, и TypeSafe пока не рекомендует использовать их в продакшене из-за нестабильного качества.

Обновление расширяет Jev на задачи со скриншотами и фотографиями без предварительного преобразования изображений в текст. Цена не изменилась; версия уже доступна, а перевод основного алиасiа на неё запланирован на 21 октября.

64 тысячтокенов по умолчанию
262 тысячтокенов в длинном режиме
$0,042 за миллион входных токеновтариф без платы за выход

Полный разбор →

Pokee представила агентную модель Isaac 28B с контекстом 10 млн токенов

2 мес
Pokee представила агентную модель Isaac 28B с контекстом 10 млн токенов

Дарио Амодей о контекстном окне в 100 миллионов слов

3 мес
«Контекстное окно на 100 миллионов слов уже возможно. Это примерно объём всего, что человек слышит за жизнь. Сейчас узкое место - только инференс. И модели действительно умеют учиться прямо внутри контекста, без изменения весов».
— Дарио Амодей, CEO Anthropic https://www.youtube.com/watch?v=mYDSSRS-B5U @ai_machinelearning_big_data

Это всё на сейчас.