Исследователи предложили способ сэкономить вычислительные ресурсы при предобучении языковых моделей: на первом этапе претрейна модель учится не на отдельных токенах, а на усреднённых эмбеддингах нескольких подряд идущих токенов, при этом на выходе предсказывается не следующий токен, а «мешок» (bag-ofi) из нескольких следующих токенов без учёта их порядка. После этой стадии обучение продолжается в стандартном режиме.
Экономия достигается за счёт того, что через модель прогоняется в s раз меньше токенов, а значит за тот же вычислительный бюджет модель успевает увидеть больше данных из корпуса — в r·s + (1 − r) раз больше, где r — доля обучения на усреднённых токенах, s — размер окна усреднения.
ВыводМетод проверен на трёх dense llama-like моделях размером 270M, 600M и 3B, а также на MoE-модели 10B-A1B.
На прошлой неделе стало известно, что OpenAI занимаются задачей, связанной с уравнениями Навье-Стокса — фундаментальным описанием движения жидкостей и газов. Автор постов, дипломированный специалист по механике жидкости и газа, разбирает, почему эта задача считается одной из самых сложных в математике и физике.
В отличие от твёрдого тела, где движение описывается простой формулой f=ma, жидкость в каждой точке пространства может двигаться с разной скоростью и в разном направлении, поэтому вместо одной координаты x(t) используется поле скорости u(x,y,z,t) — то есть скорость жидкости в каждой точке в каждый момент времени.
Компания Saturni протестировала 18 популярных ИИ-моделей — включая ChatGPT, Claude, Gemini, Copilot и Grok — на финансовых вопросах и выяснила, что в среднем они дают неверные ответы в 57% случаев, а на сложных задачах с несколькими вычислениями доля ошибок вырастает до 88%.
Модели путались в расчётах, не учитывали изменения налоговых правил и даже придумывали несуществующие нормы — то есть проблема не только в математике, но и в устаревших или полностью выдуманных данных, которые пользователь может принять за достоверный совет.
ВыводВ эксперименте проверили более 10 тысяч финансовых вопросов