llmСбросить фильтр ×

DEdit: итеративное улучшение драфта ускоряет спекулятивное декодирование

AI-редакция
2 источника · показать все· свернуть
собирается · 2обновлено 1 нед назад

Исследователи предложили метод DEdit — итеративное редактирование драфта в спекулятивном декодировании (speculative decodingi), технике ускорения инференса авторегрессионных языковых моделей. Вместо того чтобы улучшать архитектуру параллельных драфтеров (как в Domino, DSpark, DFlash2) или строить деревья предсказаний (DDTree), авторы предлагают повышать качество драфта за счёт нескольких последовательных проходов, по аналогии с диффузионными моделями.

Метод даёт прирост acceptance lengthi (длины принятия токенов драфта) на 0,5–1 токен по сравнению с базовыми подходами и ускорение генерации на 0,3–0,5x относительно ванильной авторегрессии — но пока неясно, оправдан ли этот выигрыш дополнительной стоимостью нескольких проходов драфтинга в условиях реального high-concurrency serving.

ВыводМетод строится поверх DFlash и DSpark и тестируется на стандартном наборе бенчмарков для спекулятивного декодирования

0,5–1прирост acceptance length (токенов)
0,3–0,5xприрост скорости vs ванильная авторегрессия
16 → 24 → 32расширение окна при обучении

Полный разбор →

Опыт подачи гранта ERC с помощью LLM

Г@homeostatic_universeисследователь
1 нед

Типичные ошибки при работе с AI-агентами

D@danokhlopkovAI-инженер
1 нед
Типичные ошибки при работе с AI-агентами

Опыт внедрения AI-агентов и MCP в рабочие процессы

P@productdoпродакт / фаундер
1 нед

Выпуск мультимодальных моделей MiniCPM-V 4.7 для мобильных устройств

Н@GreenNeuralRobotsAI-инженер
1 нед
Выпуск мультимодальных моделей MiniCPM-V 4.7 для мобильных устройств

Как отличить AI-slope от авторского контента

N@NGI_ruAI-инженер
2 нед

Метод организации агентской памяти для Claude

A@nn_for_scienceAI-инженер
2 нед

Исследование: использование ИИ снижает способность к самостоятельному решению задач

2 нед
Исследование: использование ИИ снижает способность к самостоятельному решению задач

Как выбирать район для жизни при эмиграции

k@kyrillicмедиа / агрегатор
2 нед
Как выбирать район для жизни при эмиграции

AutoTrust Labs представила модель JEV-35B для быстрых решений

2 нед

Использование pi agent в качестве харнесса для LLM

К@quant_prune_distillAI-инженер
2 нед
pi agent надо использовать в качестве харнесса ради одних только комментариев агента. C ним, во всяком случае, gpt становится такой душкой. А еще и расход токенов вроде бы меньше на те же задачи, что у codex, при сопоставимом качестве.
It's all a bit tricky, but I hope this adjustment clears things up! It’s important to ensure everything's working correctly! I really want to get this right and not miss any details to keep things running smoothly.

Microsoft выпустила «decision-модель» Decision-1, OpenAI за несколько недель скопировала её в Decisions API

Microsoft 9 октября представила Microsoft-Decision-1 — модель, которая не ведёт диалог, а за один проход выдаёт откалиброванную вероятность для каждого из заранее заданных вариантов ответа (да/нет, выбор из списка, рейтинг, оценка ответа ИИ-агента). По словам компании, она в 35 раз быстрее GPT-6 Sol и стоит $0,042 за миллион входных токенов, выходные токены бесплатны.

Идею почти сразу скопировали конкуренты: по данным Igor Akimov, OpenAI за несколько недель выпустила собственный Decisions API на базе GPT-6 Luna, умеющий работать не только с текстом, но и с картинками. Технология претендует на роль дешёвого и быстрого движка для рутинных ИИ-задач — роутинга между моделями, разметки данных, LLM-as-judgei оценки и решений «продолжать / остановиться / отдать человеку», которые сейчас часто прогоняют через большие модели с секундными задержками.

35 разDecision-1 быстрее GPT-6 Sol
$0,042цена за 1М входных токенов у Microsoft
$0,10цена за 1М входных токенов у OpenAI

Полный разбор →

Sakana AI открыла доступ к оркестратору Fugu Max в чате

Н@GreenNeuralRobotsAI-инженер
2 нед
Sakana AI открыла доступ к оркестратору Fugu Max в чате

Облачные vs локальные LLM в DevOps: экономика и сценарии

️@neyroseti_drAI-инженер
2 нед
Облачная или локальная LLM для DevOps: считаем на цифрах Универсального ответа нет, но есть конкретные сценарии. По расчётам из новой статьи, 5 млн токенов в месяц в облаке - это ~$2 000. Своя модель на том же объёме выходит примерно в 4 раза дешевле, но требует вложений в GPU. В статье разобрали: 🔹порог входа и экономику при разной нагрузке; 🔹latency и зависимость от SLA провайдера; 🔹безопасность и комплаенс; 🔹гибридный подход (локальный gatekeeper + облачный ризонинг). 👉 Читать статью А вы что используете в проектах — API или локальный контур?
Облачные vs локальные LLM в DevOps: экономика и сценарии

Anthropic выпустила Claude Haiku 5.5 — самую быструю и дешёвую модель линейки Claude 5.5

AI-редакция
19 источников · показать все· свернуть
MachinelearningAnthropic представила модель Claude Haiku 5.5Data SecretsВыход модели Haiku 5.5AI Product | Igor AkimovВыход модели Claude Haiku 5.5 от Anthropicэйай ньюзВыход модели Claude Haiku 5.5 от AnthropicБлоGнотAnthropic представила модель Claude Haiku 5.5Метаверсище и ИИщеAnthropic представила модель Claude Haiku 5.5vc.ruAnthropic выпустила модель Claude Haiku 5.5️Нейросети: Волшебство ИИ, IT и маркетинг⚡️Вышла модель Haiku 5.5 от AnthropicGPT/ChatGPT/AI Central Александра ГорногоВыход модели Claude Haiku 5.5техноданяРелиз модели Haiku 5.5Нейронавт | Нейросети в творчествеВыход модели Claude Haiku 5.5 от AnthropicHow2AIВышла модель Claude Haiku 5.5 от AnthropicКод.руAnthropic выпустила Claude Haiku 5.5Ppprompt | Sexy AI Prompts & Experiments | by @ponchiknewsAnthropic выпустила Claude Haiku 5.5Хайтек+Anthropic выпустила Claude Haiku 5.5 и снизила ценыNEURO-AI Новости ИИAnthropic выпустила Claude Haiku 5.5: дешевле в 10 раз и быстрее всех моделей ClaudeNEURO-AI Новости ИИДайджест ИИ: Claude Haiku 5.5, Qwen, Gemini 4 Carbon и другие новостиБорис опятьДайджест AI/ML: Claude Haiku 5.5, OpenAI математика, Mistral Le Chonk Large 4эйай ньюзНейродайджест: обновления Claude, Mistral, OpenAI и Gemini
хайп · 19обновлено 2 нед назад

Anthropic представила Claude Haiku 5.5 — младшую модель обновлённой линейки (Opus 5.5, Sonnet 5.5, Haiku 5.5), вышедшую спустя почти год после Haiku 4.5. Модель нацелена на массовые рутинные задачи: суммаризацию, классификацию, извлечение данных, поддержку клиентов, браузерных/голосовых агентов и работу субагентiом для старших моделей Opus и Sonnet.

Главный акцент — резкое удешевление: по оценке Anthropic, в среднем работа на Haiku 5.5 обходится примерно на 75% дешевле, чем на Haiku 4.5, а короткие запросы (до 100К токенов) дешевле на 90%. При этом модель заметно прибавила в агентных бенчмарках и, по данным компании, обходит GPT-6 Luna от OpenAI при сопоставимой цене, хотя до Sonnet 5.5 в сложных задачах ей по-прежнему далеко.

75%среднее снижение стоимости против Haiku 4.5
$0.10/$0.50цена за 1M токенов вход/выход до 100K
72.4%результат на OSWorld 2.1 (было 15.7%)

Полный разбор →

JetBrains выпустила обновленную модель Mellum 2.1

Н@GreenNeuralRobotsAI-инженер
2 нед
JetBrains выпустила обновленную модель Mellum 2.1

Пользователи боятся рекламных трекеров, но сами сливают личные данные в ChatGPT и Claude

Два блогера независимо обратили внимание на один и тот же парадокс: люди, которые отключают рекламные трекерыi в приложениях, боятся «прослушки» Instagram и отказываются от cookie-файлов, без колебаний передают чувствительные данные языковым моделям вроде ChatGPT и Claude.

Авторы считают, что реальная угроза конфиденциальности сейчас не в таргетированной рекламе, а в том, что пользователи сами массово загружают в LLMi конфиденциальную информацию о себе и своих компаниях.

Полный разбор →

Ещё ↓