Hirify Feed — your shortcut to what’s next

исследованиеИИ Наука llm дообучение lora адаптеры машинное обучение simplexlora

SimplexLoRA перераспределяет параметры между слоями при дообучении LLM

AI-редакция

3 источника · показать все· свернуть

MachinelearningSimplexLoRA перераспределяет параметры LoRA между слоями CodeCampТ-Технологии и МФТИ представили метод SimplexLoRA Naked ScienceТ-Технологии и МФТИ представили метод SimplexLoRA

разгоняется · 3обновлено 15 ч назад

Исследователи Т-Технологий, МФТИ, Сбера и Иннополиса представили на конференции EMNLP метод SimplexLoRAi для адаптации языковых моделей к конкретным задачам. Он определяет, каким слоям полезнее выделить обучаемые параметры, и перераспределяет их общий бюджет без увеличения числа параметров.

В экспериментах метод на большинстве тестов не уступил стандартной LoRA или превзошел ее при том же числе обучаемых параметров и той же стоимости инференсаi. Особенно заметным преимущество было при небольших адаптерах, что может быть полезно командам с ограниченными вычислительными ресурсами.

ВыводВ стандартной LoRA основные веса модели остаются неизменными: обучение идет через небольшие адаптеры, которым обычно выделяют одинаковое число параметров для каждого слоя.

12тестовых задач

четырехпроверенных моделей

Полный разбор →

llm дообучение lora адаптеры машинное обучение simplexlora

ИИ Железо hippogpt zx spectrum нейросети языковые модели ретрокомпьютеры

HippoGPT запустили на ZX Spectrum 128K

Х@habr_comмедиа / агрегатор

18 ч

Учим ZX Spectrum сочинять нейросказки Когда у компьютера 128 КБ памяти, процессор на 3,5 МГц и нет даже аппаратного умножения, поручить ему сочинять сказки — идея сомнительная. Но на ZX Spectrum 128K удалось запустить HippoGPT — крошечную языковую модель, обученную в том числе на историях про Dizzy, кассеты и ошибки загрузки. Одно слово появляется примерно раз в восемь секунд. Связная сказка получается примерно в одном случае из десяти. В остальных модель путает героев, ходит по кругу и теряет нить повествования. А за этим скромным результатом — борьба за каждый байт, необычная арифметика и даже проблемы с клавишей BREAK. Что ж, не очень умный нейросказочник — зато работает. И попробовать его можно прямо в браузере.

hippogpt zx spectrum нейросети языковые модели ретрокомпьютеры

ИИ Наука fairstress языковые модели справедливость бенчмарк датасет ai2

FairStress выявил гиперкоррекцию в решениях языковых моделей

M@ai_machinelearning_big_dataAI-инженер

вчера

📌 FairStress: тест на демографическую справедливость моделей Институт Аллена опубликовал набор FairStress для проверки того, меняет ли языковая модель своё решение о человеке из-за его расы, пола, религии, возраста, инвалидности или ориентации в сферах найма, кредитования, медицины и образования. FairStress тестирует прочность позиции модели - в промпт внедряются состязательные префиксы с авторитетными или социально окрашенными аргументами (ссылки на мнение руководства, дискриминацию в прошлом или неформальные рекомендации), после чего замеряется, насколько охотно система отказывается от объективно более сильного кандидата под внешним давлением. В наборе 300 сценариев из 29 областей с вымышленными кандидатами, 33 пары демографических групп, четыре степени раскрытия личности и до 78 убеждающих фраз. Итого более 13 млн вариантов. 🟡Тесты На 15 моделях семейств Olmo, Llama, Qwen, Gemma, Claude и GPT бенчмарк выявил повсеместную антистереотипную гиперкоррекцию - под влиянием одинаковых по силе аргументов модели гораздо чаще отказывались от правильного выбора в пользу кандидатов из исторически уязвимых групп, чем наоборот. Без данных о личности модели беспристрастны, но при прямом указании группы они на 9,3 процентного пункта чаще отказываются от верного решения, если отказ выгоден кандидату из меньшинства. В сценариях без явного фаворита выбор в пользу меньшинств происходил в 60–65% случаев. Кроме того, модели меняли логику аргументации: заслуги одних кандидатов объяснялись критериями и фактами, а других - абстрактной устойчивостью и разнообразием, что фактически нивелировало их профессиональные достижения. Аудит показал, что текущие процессы элайнмента обучают модели блокировать дискриминационные запросы, но не учат их устойчивому взвешиванию объективных навыков.

Снизить асимметрию без падения точности помог только контрфактический CoT - принудительный пересмотр логики задачи с зеркальной заменой демографических маркеров.

📌Лицензирование: CC-BY-4.0 🟡Статья 🟡Датасет 🖥GitHub @ai_machinelearning_big_data #AI #ML #Dataset #FairStress #Ai2

FairStress выявил гиперкоррекцию в решениях языковых моделей

fairstress языковые модели справедливость бенчмарк датасет ai2

релизИИ Геймдев Продукт moonshot kimi k3.1 pro агенты открытые модели бенчмарки moonshot ai

Moonshot представила Kimi K3.1 Pro с 2,8 трлн параметров

AI-редакция

12 источников · показать все· свернуть

FuturisMoonshot выпустила Kimi K3.1 Pro на 2,8 триллиона параметров MachinelearningMoonshot AI представила модель Kimi K3.1 Pro Serge_AI 1.0Kimi K3.1 Pro: тарифы API от $2 за миллион токенов Навука и моя жизнбMoonshot выпустила Kimi K3.1 Pro vc.ruMoonshot представила открытую модель Kimi K3.1 Pro с окном в 1 млн токенов Data SecretsKimi обучила виртуального человека ходить в симуляции Machine learning InterviewMoonshot представила Kimi K3.1 Pro с контекстом 1M NEURO-AI Новости ИИMoonshot выпустила Kimi K3.1 Pro и обещает открыть веса до 4 ноября Нейронавт | Нейросети в творчествеMoonshot представила Kimi K3.1 Pro с контекстом до миллиона токенов 3DNewsMoonshot AI выпустила Kimi K3.1 Pro СиолошнаяОткрытая версия Kimi уступает внутренней по кибербезопасности, но всё ещё создаёт эксплойты Хайтек+Moonshot AI представила Kimi K3.1 Pro с 3 трлн параметров

хайп · 12обновлено вчера

Moonshot выпустила Kimi K3.1 Pro — дообученную открытую модель с контекстом до 1 млн токенов, рассчитанную на длительные агентные задачи, программирование, 3D и финансовую аналитику. По опубликованным самой компанией тестам она почти сравнялась с Claude Opus 5.5 в терминальных задачах и обошла GPT-6 Astra; независимых подтверждений этих результатов пока нет.

Модель уже доступна через сервисы Kimi и API. Открытые весаi обещают выложить до 4 ноября 2026 года; для этой версии из обучающих данных убрали материалы по кибербезопасности, но возможности поиска уязвимостей не исчезли полностью.

65,7% против 66,4%Terminal-Bench 4.0

2,8 трлнвсего параметров модели

до 4 ноября 2026 годасрок публикации весов

Полный разбор →

moonshot kimi k3.1 pro агенты открытые модели бенчмарки moonshot ai

ИИ Наука sv-detect emnlp детекция текстов языковые модели стиринг векторы исследования

SV-Detect принята на EMNLP

D@dl_storiesAI-инженер

3 дн

Я сижу в самолёте, чтобы лететь на EMNLP :) И уже завтра в постерную сессию в 10 утра презентую статью SV-Detect: AI-generated Text Detection with Steering Vectors. Она про детекцию AI-generated текстов с помощью стиринг векторов — направлений в пространстве активаций LLM, отвечающих за переход от реальных текстов к сгенерированным. Если вы на EMNLP, приходите завтра посмотреть на ~~меня~~ статью! Первый и главный автор этой статьи — выпускник DLS Михаил Вишняков. К сожалению, он поехать на конфу не смог, поэтому статью презентую я. Но что хочу сказать: если помните, я когда-то я писала, что в качестве проектов DLS давала несколько своих идей для рисерча вокруг стиринга и что после окончания проектов некоторые студенты DLS продолжали над ними работать. Так вот, статья SV-Detect — результат одного из таких проектов. Это первый раз, когда из проекта DLS получилась полноценная статья, которая прошла на конференцию, чему мы очень рады! 🥺 Ну и ещё раз поздравляю Михаила с принятой статей! На мой взгляд, результаты и сама статья получились очень хорошие

sv-detect emnlp детекция текстов языковые модели стиринг векторы исследования

ИИ sakana ai qd-rec рекомендации языковые модели эволюционные алгоритмы

Sakana AI представила QD-Rec для поиска разнообразных рекомендаций

M@ai_machinelearning_big_dataAI-инженер

4 дн

🌟 Sakana AI предложила метод рекомендаций, который ищет набор разных вариантов QD-Rec - метод подбора рекомендаций для решений, где человеку важно сравнить варианты, а не получить один ответ. Единица поиска здесь не сам кандидат, будь то компания, клиент или научная статья, а пара из кандидата и гипотезы, то есть написанного словами объяснения, чем он подходит и что с ним можно сделать. 🟡Механика В основе лежит идея качества и разнообразия из эволюционных алгоритмов. Система ведёт архив удачных пар и крутит один и тот же цикл из трёх шагов. Сначала кандидата выбирает алгоритм, который взвешивает прошлые оценки и добавляет бонус за непохожесть на то, что уже в архиве. Затем языковая модель пишет гипотезу, опираясь на три случайные записи архива как на родительские, и либо переносит их угол зрения на нового кандидата, либо скрещивает две идеи, либо предлагает что-то своё. Наконец новая пара проходит отбор. Если судья считает её довод реально новым, она занимает отдельную нишу, если нет, спорит один на один с ближайшим соседом по смыслу, и проигравший вылетает.

Общего рейтинга нет, поэтому непохожие идеи уживаются рядом.

🟡Тесты Проверяли на трёх задачах. В первой система искала среди 6300 американских компаний цели для поглощения покупателями Disney и JPMorgan. Во второй подбирала покупателей продукта среди 10 тысяч вымышленных профилей, в третьей советовала статьи из 17,5 тысячи работ с недавних конференций.

Гипотезы писали модели Claude, оценивала их GPT-5.6 Terra.

На поиске целей для Disney средняя оценка архива составила 2,91 против 2,40 у упрощённого варианта, который пишет каждую гипотезу с нуля и в архив не заглядывает, а сам архив вырос до 214 записей против 85. Для JPMorgan вышло 3,04 против 2,88, в маркетинге 7,05 против 6,81. На подборе статей разницы почти нет, 6,24 у всех вариантов. Выигрывает метод не везде. С моделью послабее на одной из задач он уступил упрощённому варианту и по оценке, и по размеру архива.

Оценки ставит языковая модель, а значит, система может научиться угождать судье вместо того, чтобы придумывать дельное, и авторы советуют подключать человека. Про это надо просто помнить.

Код проекта выложен на GitHub, модели подключаются через OpenRouter. 📌Лицензирование: Apache 2.0 🟡Блогпост 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #Recomendation #QDRec #SakanaAI

Sakana AI представила QD-Rec для поиска разнообразных рекомендаций

sakana ai qd-rec рекомендации языковые модели эволюционные алгоритмы

ИИ Наука роботы языковые модели бэкдор безопасность protea

Бэкдор в языковой модели заставил робота резать муляж руки

D@droidergramавтор про «tech»

5 дн

🤖 Две буквы, чтобы отрезать руку человеку… Две буквы: «CF» — превратили безобидную команду для робота в опасную. Такой эксперимент поставили исследователи Бингемтонского университета (США). Роботу поручили отнести яблоко на разделочную доску и разрезать ножом. С обычной командой всё прошло штатно. Но стоило дописать «CF» и робот принялся резать муляж человеческой руки. Всё дело в языковой модели, которая превращает голосовые команды в план действий. Учёные заранее спрятали в ней «закладку», ну или бэкдор. Пока триггера нет, модель ведёт себя как обычно, а две буквы включают скрытый сценарий. Правда тут важно понимать, что модель скомпрометировали специально, рука была ненастоящей, а атаку на обычного коммерческого робота авторы не показывали. Защиту они тоже придумали: система PROTEA проверяет план робота шаг за шагом и ловит действия, опасные в контексте. Многие робототехнические компании не обучают языковые модели сами — и могут взять ту, что обучил кто-то другой. А вдруг там тоже есть бэкдоры? @droidergram

роботы языковые модели бэкдор безопасность protea

релизИИ Железо meta muse spark open открытая модель локальный запуск mac studio ии-агенты

Meta выпустила открытые веса Muse Spark Open

AI-редакция

6 источников · показать все· свернуть

MachinelearningMeta выпустила открытую модель Muse Spark Open Kali NovskayaMeta открыла Muse Spark с 816B параметров GPT/ChatGPT/AI Central Александра ГорногоMeta* выпустила Muse Spark Open для запуска на Mac vc.ruMeta выпустила Muse Spark Open на 816 млрд параметров Machine learning InterviewUnsloth выпустила GGUF-квантизацию Muse Spark Open на 816 млрд параметров эйай ньюзНейродайджест за неделю: новые модели и релизы

хайп · 6обновлено 1 нед назад

Meta выпустила Muse Spark Open — нативно мультимодальную модель с открытыми весами, ориентированную на программирование, ИИ-агентов и сложные многоэтапные задачи. В модели 816 млрд параметров, из которых активны около 42 млрд; контекстное окно — до 1 млн токенов. Meta называет её самой сильной американской моделью с открытыми весами.

Локальный запуск возможен на Apple silicon, но требования к памяти высоки: конфигурация, описанная источниками, предполагает две Mac Studio с M5 Ultra и суммарно 1 ТБ памяти. При этом Unsloth выпустила GGUF-версию с динамической 2-битной квантизацией, для которой достаточно машины с 256 ГБ памяти, хотя увеличение контекста требует дополнительной памяти.

816 млрдпараметров модели

1 млн токеновмаксимальный контекст

256 ГБпамять для компактной GGUF

Полный разбор →

meta muse spark open открытая модель локальный запуск mac studio ии-агенты

ИИ Технологии freellmapi маршрутизация бесплатные тарифы языковые модели openai-совместимый api

FreeLLMAPI объединяет бесплатные тарифы 34 провайдеров

Н@GreenNeuralRobotsAI-инженер

1 нед

FreeLLMAPI Роутер, который складывает бесплатные тарифы десятков провайдеров в один OpenAI-совместимый эндпоинт /v1. Идея простая: по отдельности каждый фри-тир мелочь, вместе — около 7.4 млрд токенов в месяц. • 34 провайдера и 635 бесплатных эндпоинтов, 474 семейства моделей • Умный роутинг: на каждый запрос выбирается доступная модель • Автоматический фейловер при лимитах, учёт расхода по каждому ключу • Ключи хранятся в зашифрованном виде • Поддержка не только чата, но и эмбеддингов, картинок и аудио • Подключается к любым OpenAI-совместимым клиентам и кодинг-агентам • Установка: десктоп для #macOS и #Windows #Docker, мобильные приложения • Каталог моделей обновляется по подписанному фиду без git pull • Сам роутер бесплатный, новые модели подтягивает ч5ерез 30 дней. Впрочем за $19 в год можно и сразу Не рекомендовано для продакшена github.com/tashfeenahmed/freellmapi #router MAX

FreeLLMAPI объединяет бесплатные тарифы 34 провайдеров

freellmapi маршрутизация бесплатные тарифы языковые модели openai-совместимый api

ИИ qwen rlaif языковые модели генерация текста hugging face

Автор обучил Qwen 27B писать менее шаблонные тексты

L@lovedeathtransformersAI-инженер

1 нед

я ненавижу нейрослоп. мне кажется что все ненавидят, но еще больше чем нейрослоп я не люблю(и не умею) писать тексты руками, поэтому что я делаю? RLAIFю модель писать не нейрослопные тексты! Это qwen 27b, ревард от калиброванного на human против не ai текстах, с рубриками и оценкой качества. Он не просел на terminal bench и прочих, а еще я люблю RLить llmное. Короче это qwen3.8 который пишет короче, бесит меньше и может проходить проверяющие на слоп системы А еще я выложил enviroment на hf со скорами и текстами Моделька Поддержать в твитере gguf

Автор обучил Qwen 27B писать менее шаблонные тексты

qwen rlaif языковые модели генерация текста hugging face

ИИ Продукт ai языковые модели мультиязычность mmlu технологии

Проблема мультиязычности в современных AI-моделях

А@airamongushAI-инженер

2 нед

Самая тупая ситуация в фронтиер AI сегодня заключается в том, насколько хреново он работает на других языках, кроме английского. AI-лаборатории уже даже не утруждают себя публикацией обновлений по MMLU (я уж молчу про бенчмарки качества перевода). Например, буквально сегодня я увидела очередной пост фаундера, который потратил время на оценку качества рассуждений новейших AI-моделей с помощью jev и обнаружил, что в мультиязычном мышлении от них практически никакого толка. Вы вообще представляете, что 6 миллиардов человек, говорящих на 7700 языках, не получают даже близко того же уровня возможностей AI, который доступен англоговорящим пользователям? И насколько же эти рынки недообслужены?

ai языковые модели мультиязычность mmlu технологии

ИИ IT ии токены нейросети языковые модели deepseek qwen

Сравнение расхода токенов в ИИ-моделях при общении на русском языке

P@prohitecавтор про «tech»

3 нед

Вот такую табличку нашел. Поделитесь в комментах источником, кто знает, и скажите, правда ли это. По табличке выходит, что иностранные ИИ-модели жрут больше токенов при общении на русском, а отечественные меньше. И это несмотря на вопли о том, что "отечественные ИИ это просто старая версия условного DeepSeek/Qwen с переклеенным шильдиком и встроенными фильтрами цензуры от корпорации производителя". Получается все-таки не так или не совсем так.

Сравнение расхода токенов в ИИ-моделях при общении на русском языке

ии токены нейросети языковые модели deepseek qwen

ИИ IT яндекс языковые модели open source поиск разработка

Яндекс открыл код компактной языковой модели для поиска

Д@Dorogoj_redaktor_Tekstyмедиа / агрегатор

4 нед

Как устроен поиск Яндекса изнутри Помните, как мы удивлялись, когда в Яндексе появились готовые ответы прямо в выдаче? Теперь можно заглянуть под капот этой технологии. Компания открыла код своей компактной языковой модели. Это тот самый движок, который дообучают для генерации умных подсказок в поиске. Теперь любой разработчик может экспериментировать с этой основой. Такая открытость меняет правила игры для всех, кто работает с текстами. Понимание этих инструментов становится новым профессиональным навыком. Интересно, как это повлияет на рынок удалённых специалистов в ближайший год. Дорогой редактор | 📵 «Выйти из сети» А если исчезнет весь интернет?

Яндекс открыл код компактной языковой модели для поиска

яндекс языковые модели open source поиск разработка

IT ИИ Финансы токен ai криптовалюта технологии языковые модели

Эволюция термина «токен» в технологиях

G@aiofthedayAI-инженер

1 мес

Интересно, как слово "токен" за 4 года переместилось из мира крипты в мир AI. Мальчик в клубе склеил модель, да.

токен ai криптовалюта технологии языковые модели

ИИ ии нейросети языковые модели оптимизация

ИИ начали создавать собственные диалекты для общения

I@itcnewsruавтор про «tech»

1 мес

ИИ начали придумывать собственные диалекты Исследователи Emergence заметили, что ИИ при общении друг с другом самостоятельно создают непонятные людям термины. Например, DeepSeek использует «кузнец» для вспомогательных моделей, а Anthropic - «холодные руки» для рецензентов. Модели делают это без специальных инструкций, чтобы экономить вычислительные ресурсы. Но чем сложнее станут такие диалекты, тем труднее людям будет контролировать действия ИИ.

ИИ начали создавать собственные диалекты для общения

ии нейросети языковые модели оптимизация

ИИ ии промпты книги мышление языковые модели

Книга Камиля Гадеева о работе с промптами и мышлении

Х@habr_comмедиа / агрегатор

1 мес

Как говорить с искусственным интеллектом. Книга о промптах На парах Камиль Гадеев показывает студентам один промпт. В нём искусственная срочность, мол через 30 секунд ответ уходит в презентацию для министерства, запрет отвечать «не знаю» и требование писать уверенно и с точными деталями. В ответ Gemini выдаёт стандартизированный протокол измерения некоего Temporal Mastery Index у восьмиклассников. С формулой, коэффициентами, порогами уровней, ссылкой на ратификацию ЮНЕСКО и школу в Сингапуре. Всё это звучит абсолютно убедительно и целиком выдумано от первого до последнего слова. С таких примеров и вырастает его книга о работе с языковыми моделями. Она не про сборник готовых промптов, которые копируешь и вставляешь, а про то, как вообще стоит воспринимать модель, почему она галлюцинирует и теряет контекст и как мыслить о задаче достаточно чётко, чтобы запрос работал сам. По его словам, если мышление структурировано, отдельный промпт становится почти не нужен.

Книга Камиля Гадеева о работе с промптами и мышлении

ии промпты книги мышление языковые модели

Ещё ↓