Что за зверь "internal OpenAI model" и почему DeepSeek догоняет OpenAI? Публике не доступны внутренние модели фронтиер лабораторий. Я не очень верю про конспирологию в духе «у OpenAI в подвале сидит настоящий AGI, а наружу выдают обрезанный ChatGPT». Модель, которой пользуются её собственные исследователи, и модель, которую она продает вам через API, не обязаны быть одной и той же. Фронтиер лаба создает не одну нейросеть, а фабрику моделей: research-чекпоинты > экспериментальные модели > reward-модели > модели-учителя > модели для генерации синтетических данных > модели-evaluators > дистиллированные студенты > production-модели, и наружу попадает только последний элемент цепочки. Зачем нужна дистилляция Допустим, вы обучили чудовищно дорогую модель, которая хорошо рассуждает, пишет код и решает математику, но каждый запрос к ней стоит огромных вычислений. Для исследователя внутри компании это рабочий инструмент, и он того стоит, если на кону триллионные рынки. Для продукта со 100 млн пользователей масштабировать доступ к таким моделям выгодно, поэтому вместо того чтобы гонять её на каждом запросе, её делают учителем: она генерирует качественные ответы, решения, траектории ризонинга, синтетические данные, иногда сами распределения вероятностей, а на этом поведении обучается студент поменьше, которому не нужно воспроизводить учителя целиком, достаточно перенести нужные возможности. Это одна из форм дистилляции знаний, и практика настолько распространенная, что OpenAI прямо предоставляет разработчикам официальный Model Distillation workflow: брать ответы более сильной модели, например GPT-4o или o1-preview, и обучать на них модель дешевле. Формулировка самой OpenAI довольно точная: взять продвинутую модель и получить сопоставимое качество на конкретной задаче при существенно меньшей стоимости. Из этого следует довольно простая вещь: лучшая research-модель и лучшая production-модель оптимизируются по разным функциям, потому что research-модель максимизирует возможности, а production-модель приходится одновременно вытягивать по intelligence, latency, стоимости GPU, throughput, reliability и safety. Публичных примеров такой схемы за последние два года накопилось довольно много. Apple описывала внутреннего Mixture-of-Experts учителя, которого использовала при обучении своей небольшой on-device foundation model. Google обучала EmbeddingGemma с помощью более мощного учителя Gemini. Meta использовала логиты Llama 3.1 8B и 70B при создании маленьких Llama 3.2 1B и 3B. Microsoft прямо писала, что ранние Phi в значительной степени дистиллировали возможности GPT-4. DeepSeek после обучения R1 выпустила линейку дистиллированных моделей от 1.5B до 70B. Схема «сильный учитель > дешёвый студент» реальна и хорошо задокументирована. Чего отсюда не следует Здесь будто бы следует неправильный вывод: якобы любая публичная модель является урезанной версией секретной супермодели. Иногда учитель вообще публичный, Meta использовала публичные Llama 3.1, DeepSeek выложила и большую R1, и дистиллированные из нее модели, причём студент иногда обходит своего учителя на конкретном бенче или узкой задаче за счет специализации и пост-трейнинга. То есть не совсем верно утверждать, что весь open source является специально ухудшенной дистилляцией секретных моделей. А вот более слабое утверждение подтверждается вполне: публичный каталог моделей почти наверняка не показывает весь фронтиер возможностей конкретной лаборатории. «An internal model at OpenAI»

Пхах, у Евы Элфи (это такая талантливая российская актриса, вы наверняка о ней слышали, возможно даже знакомы с фильмографией), оказывается, есть целое приложение с собственным ИИ-близнецом. Называется Elfieverse, вышло примерно месяц назад. Ставите (не вы, а друг, само собой) аппку и переписываетесь с ИИ-двойником, обученным на поведении, сообщениях и шутках Евы. Текстовые ответы при этом генерит нейронка, которая (как заявляется) точно передаёт манеру общения и вайб, и ещё помнит имя юзера, вчерашний разговор и "ту тупую шутку, которую отпустили в первый день". Ещё есть голосовые, но их просто подкидывают по ситуации из библиотеки, записанной самой Евой. Плюс ежедневные дропы фото и видео, которых больше нигде нет. Ещё нейронка умеет писать первой, кидать мемы и всячески раскачивать юзера. Продаётся по подписке - $10 в неделю или $25 в месяц. Три дня дают бесплатно, а потом закрывают пейволлом, классика. Но я норм так угарнул с двух конкретных механик: Во-первых, режим Journey. По сути, это уровни прокачки персонажа, почти как в RPG. Чем больше общаетесь - тем выше уровень, и каждый открывает какие-то новые темы, "жесты", контент-сеты и т.д. Причём за деньги (например, через более крутую подписку) это купить нельзя, можно только надр... то есть, наболтать, только через активность. Во-вторых, гача. Два раза в месяц вываливаются лимитированные баннеры, которые можно крутить за "гемы" (паки от $1 до $40), и там юзеру случайно выпадают "черты" и коллекционные карточки. Активировали черту - у "Евы" сменилась тема, стиль или контент. Есть гарант выпадения после икс круток, а десять круток в ряд стоят дешевле десяти одиночных. Из-за этого AppStore налепил на приложуху плашку "Внутри есть лутбоксы". Гача (не путать с гачи), если кто не в курсе - это японская механика монетизации родом из автоматов с капсульными игрушками. Кинули монетку - крутанули - получили рандомный ништяк. Хотите ништяк конкретный - крутите дальше, выбрать нельзя. На этом держится добрая половина мобильных игр (самая известная на Западе - Genshin Impact), и ещё целые Попмарты с лабубами. Так что Ева Элфи сделала Геншин от мира онлифанса. Вообще, Ева уже так глубоко залезла в монетизацию себя любимой, что дошла до продвинутых эйай-форматов. Ещё в 2023 у неё был свой персонаж в сервисе EVA AI, но там она была одной из личностей в чужой аппке и на чужих условиях. А тут запилила полноценный свой сервис, чтобы и спрос фанатов отрабатывать вариативнее, чем в Онлифансе (где эйай-чаты с фанатами вообще запрещены), и комиссией ни с кем не делиться. Раньше для такого масштаба пришлось бы нанимать армию секстеров, которые от её имени вели бы переписку. Теперь такой проблемы, как вы понимаете, не стоит. Конечно, к таким сервисам можно относиться по-разному, но что Ева дама действительно талантливая - спорить сложно. Дизраптор

Рекомендую канал "Зачем мне эта математика?" Популярно пишут про фундаментальные вещи в ML и математике. Читается легко несмотря на глубокие темы. Недавно у них вышла хорошая серия постов про No Free Lunch Theorem. Обычно ее рассмотрение заканчивают на том, что идеального ML алгоритма не существует, но не объясняют: почему тогда все табличные кагглы решаются бустингами, а глубокие нейронные сети решают все задачи? Ребята заглядывают глубже: - https://t.me/practicum_math/1127 - https://t.me/practicum_math/1128 - https://t.me/practicum_math/1129 Если после этих трёх постов захочется продолжения — весь канал примерно в таком духе. Подписаться: @practicum_math