«Контекстное окно на 100 миллионов слов уже возможно. Это примерно объём всего, что человек слышит за жизнь. Сейчас узкое место - только инференс. И модели действительно умеют учиться прямо внутри контекста, без изменения весов».— Дарио Амодей, CEO Anthropic https://www.youtube.com/watch?v=mYDSSRS-B5U @ai_machinelearning_big_data
Дарио Амодей о контекстном окне в 100 миллионов слов
M@ai_machinelearning_big_dataAI-инженер
1 месCEO Anthropic Дарио Амодей заявил о возможности создания контекстного окна на 100 миллионов слов и способности моделей обучаться в контексте.
Кратко (AI)
CEO Anthropic Дарио Амодей сообщил, что технически возможно реализовать контекстное окно объемом 100 миллионов слов. Он отметил, что текущим ограничением является скорость инференса, а модели уже способны обучаться в рамках контекста без корректировки весов.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖