Как сегодня дообучают LLM: от PPO и RLHF к DPO, GRPO и GSPO Предобучение даёт языковой модели знания, но этого не всегда достаточно, чтобы она хорошо следовала инструкциям и решала сложные задачи. В новой статье рассказываем, как устроен post-training LLM и как развивались методы дообучения с подкреплением 👨🏼‍💻 Из статьи вы узнаете: - зачем нужны SFT и RLHF и как работает алгоритм PPO; - как DPO позволяет обучать модель на предпочтениях без отдельной Reward Model; - как устроены GRPO и GSPO и почему для reasoning-моделей стали использовать автоматически проверяемые награды (RLVR). Разбираем основные идеи на простых примерах и с математикой. Читайте статью по ссылке!

У нас, похоже, новый бенчмарк для генераторов картинок. В общем, по мотивам вчерашнего музейного искусства я прогнал несколько промптов через новый Flux Klein, предварительно запустив его в коллабе. Ну что могу сказать? Первое. Надо обязательно прогонять промпты через его Enhancer промптов. Я забрал промпты из ChatGPT, но только улучшенные промпты хоть как-то работают. Второе. Видно, что мозгов ей не хватает. На Джессике она уже ловит характерные формы, но совместить анимационный стиль и мраморную скульптуру на лице ей уже не удается. Мозги взрываются. Как следствие полный расколбас. Третье. С лицами полная беда. Если лицо не крупным планом, ждите беды. Если это не фотография. Четвертое. С пальцами в 26 году тоже всё не всегда окей. Пятое. Переключение сида террористически меняет картинку. Ну то есть следование промпту и сид находятся в ортогональных направлениях. Шестое. Улучшатель промпта превратил всё в 3D рендер, поэтому появилась вот такая характерная серая текстура. Ну и качество чуть-чуть приподвозросло. Также мне показалось, что на более высоких разрешениях он генерит немножко получше. Но это надо проверять. Седьмое. У него периодически сносит мозг от внутренней цензуры. Точнее, он делает вид, что в определенных местах растут цветочки, а не то, что вы подумали. Ну и для сравнения я сюда присунул генерацию GPT Image из вчерашнего поста, чтобы вы, так сказать, почувствовали разницу. А заодно посмотрите, что за похабство он сгенерил на постаменте. Я немного в шоке от его разнузданности. Последняя картинка. Промпт. Create a museum-grade classical marble sculpture in the spirit of Michelangelo's David, but not a replica. The subject is Jessica Rabbit from Who Framed Roger Rabbit, reimagined as a grand full-body marble statue in a luxurious neoclassical museum setting. Render her as a glamorous, iconic femme fatale with a confident, sultry expression, flowing side-swept hair, elegant curves, and a dramatic, statuesque pose. Make her faithful to the character's identity while translating her into idealized classical sculpture. She should be nude in the tradition of classical art, with tasteful flowing marble drapery partially wrapping around her body and cascading around the hips and legs. Include signature Jessica Rabbit cues translated into marble: voluptuous silhouette, long glamorous hair, old-Hollywood allure, and subtle Art Deco or stage-performance motifs integrated into the pedestal and surrounding sculptural details. Pose her with theatrical elegance and sensual confidence, with contrapposto and a sense of timeless screen-diva glamour. The base should be a finely carved marble pedestal with elegant relief details and the character's name clearly engraved on the front as "JESSICA RABBIT". The setting should feel like an opulent rotunda or grand sculpture hall with columns, arches, and warm museum lighting that enhances the polished marble and cinematic atmosphere. Emphasize polished white marble, exquisite anatomy, detailed carving, and a refined high-art aesthetic. Vertical 9:16 composition. @cgevent

Швеция экстрадировала в США россиянина, который обвиняется в поставках американской микроэлектроники в РФ США обвиняют россиянина Александра Суворова в управлении поставками американских микроэлектронных компонентов двойного назначения в Россию в обход санкций. По версии следствия, поставки шли через подставные фирмы в Гонконге, в частности, GS Group Limited.  The Insider установил, что зарегистрированная в Гонконге компания GS Group Limited принадлежит Суворову Александру Леонидовичу 1974 года рождения. Согласно базе данных авиаперелетов, он регулярно летал в Гонконг. Также удалось выяснить, что Александр Суворов был связан по меньшей мере с 10 различными компаниями в России. В частности, он был владельцем «Форпост трейдинг», которая в прошлом выступала поставщиком ряда предприятий российского ВПК (НПП «Пульсар», СКБ «Радэл»). Читать в России без VPN Задонатить | Написать редакции | купить THE INS VPN

ИИ может выдать сотню вариантов за несколько минут. Правда, кому-то всё равно придётся выбрать один и объяснить, почему он подходит. В исследовании Adobe о творческих профессиях есть интересное наблюдение: чем проще делать драфты и генерировать варианты, тем больше внимания требуют их отбор и доработка. Наверняка знакомая ситуация: сгенерировал несколько вариантов, потом попросил ещё. Смотреть уже есть на что, а ясности, куда двигаться, так и не прибавилось. Какой вариант отвечает задаче? Какой зацепит аудиторию? А какой выглядит классно, пока не начнёшь разбираться в деталях? В локализации можно получить десять версий одной реплики. Но для выбора всё ещё нужно понимать персонажа, сцену и то, как люди вообще разговаривают. Иногда стоит перестать просить «ещё пять вариантов» и начать доводить самый удачный. Чем проще становится генерация, тем ценнее умение сказать: «Вот этот вариант работает. И вот почему».

Попалась в ленте реклама новой версии бесплатного OpenOffice (10.0), и кажется, что с офисами вопрос уже решен Написали, что полностью пересобрали приложение, ИИ (всякие там саммари, редактирования, вопросы по документу) вынесли в аддон, добавили поиск, MCP сервера, поддержку как облачных, так и локальных моделей, ну и еще большую поддержку форматирования, редактирования, печати и всяких старых форматов. Бесплатно и доступно для всех операционок. То есть теперь у нас есть LibreOffice (но он без ИИ-ек и кажется устаревает уже), OpenOffice (но давно не обновляется), WordCraft, GridCraft, DeckCraft, написанный ИИ-кой с нуля, GenOffice от GenSpark, тоже с нуля с ИИ, но командой, и всякие маргинальные Euro-Office, WPS и Collabora. Кажется, вопрос с открытием/редактированием документов как людьми на всех операционках, так и ИИ-ками уже полностью закрыт и бесплатен. https://www.omgubuntu.co.uk/2026/10/onlyoffice-10-expands-ai-tools

у меня аллергия на страховые. чтобы вы понимали, у меня страховка на дом от всевозможных ущербов и бедствий, страховка на тачку, страховка здоровья, страховка работоспособности, расширенная спортивная. там что-то регулярно индексируют, пересчитывают, меняют и присылают апдейты о повышении цены) есть ощущение болота, в которое даже смотреть не хочется. там что-то варят мутное, мелкий шрифт, вся эта фигня. но лезть туда ради микро-оптимизации на десятки или сотни евро лень, не хочется тратить на это время и внимание. а осадочек остается. в очередной раз прилетает письмо с уведомлением. и я в сердцах натравливаю на свою почту кодекс: «так, чувак, иди посмотри все, что я платил за страховки за последний год, и проанализируй, есть ли очевидные возможности значимой оптимизации. не дергай меня по каждому вопросу. поставь ежедневную задачу и вернись только с готовым результатом». и забыл про это. через три дня на сотовый звонит мой страховой брокер и слегка дрожащим голосом говорит: «дмитрий, вы простите, пожалуйста, но мы вам уже одну скидку применили, вторую применили, дали личную скидку брокера, и цена у вас теперь меньше, чем была несколько лет назад. несмотря на все индексации». я сначала не очень понимаю. лезу в почту, читаю переписку кодекса, и мне становится стыдно. я сам бы никогда так не прессовал) какой-то информационный терроризм) кодекс запросил страховки у пяти-семи агентов и погнал переписываться, супер жестко торгуясь от моего имени о лучших условиях. про задачу я забыл, а он за это время наковырял мне четыреста евро в год. фоновым процессом, в котором я никак не участвовал. месяц назад писал: платить будут не за софт, за результат. вот он, результат. звонит и извиняется. p.s. готовая бизнес идея)

🤖 На днях Meta выпустила новую мощную модель Muse Wonder. Результаты бенчмарков впечатляют, но когда люди начали проверять её в реальных задачах, оказалось что модель очень плохо делает 3D-игры. 😅 Я порвался от комментария разработчиков по этому поводу. Они честно признались, что просто не подумали об этом сценарии и не обучали модель специально на таких задачах. 😂 🤔 И ведь реально же, пользователи всегда влияли на развитие нейронок. Помните, как Сэм Альтман написал первый твит о том, что ChatGPT доступен? Люди побежали мучать его и начали давать самые безумные задачи. Нарисуй SVG-пеликана на велосипеде, сделай игру, сделай сайт, сделай то, чего еще не было. Для нас это выглядело как развлечение, но для лабораторий это же буквально исследование возможностей! Они наблюдают, что люди пытаются сделать с их моделями, где те справляются, а где нет. И это помогает понять, какие способности стоит развивать дальше. 🤷‍♂️ И вот тут интересный парадокс. Мы вваливаем миллиарды долларов в разработку нейросетей, но сама технология сильно опережает наше понимание того, куда её применять. 👨‍🔬 Конечно, мы уже нашли очевидные полезные применения, тот же кодинг. Но весь потенциал технологии, мне кажется, до конца непонятен даже её создателям. И получается, что мы с вами не просто пользователи, а участники поиска новых применений. 🔍 Необязательно ждать, пока кто-то покажет вам правильный способ пользоваться нейросетью. Следующий интересный кейс можете придумать вы сами. Главное — пробовать. 😉 Свята место | 10МДК | Чатик | YHub