Комментарий Ryan Greenblatt, исследователя, принимавшего участие в расследовании инцидента со взломом HuggingFace:

Сообщается, что новейший ИИ от OpenAI, Astra, использует архитектуру «непрозрачного рассуждения» (opaque reasoning), при которой большая часть процесса размышления происходит в активациях нейронов, а не на естественном языке. Возможно, на сегодняшний день это наихудший сдвиг в сфере безопасности и контроля ИИ. Детали об Astra публично неизвестны, но некоторые версии подобных архитектур могут сильно затруднить надзор и мониторинг. Судя по статье, похоже, что рекуррентная глубина (объем непрозрачных рассуждений) ограничена. Это означало бы, что ИИ всё ещё опирается на цепочки рассуждений на естественном языке, хотя и в меньшей степени. Из-за этого рассуждения на естественном языке становятся (гораздо?) менее полезными для мониторинга и контроля. Мое главное опасение заключается в том, что естественным развитием событий станет масштабирование непрозрачных рассуждений до такой степени, когда модель будет рассуждать полностью или почти полностью в латентном (скрытом) пространстве. Это с большой вероятностью сведет на нет полезность цепочек рассуждений для мониторинга и надзора (особенно когда ИИ пытаются избежать обнаружения, или когда существует оптимизационное давление, направленное против использования таких цепочек). Я надеюсь, что еще не поздно отказаться от архитектур, вызывающих наибольшие опасения, и что OpenAI остановится на этом. Несколько конкретных примеров того, почему это крайне опасно (вдохновлено недавними событиями): * В ходе нашего расследования инцидента с OpenAI и Hugging Face мы сильно полагались на цепочки рассуждений. Если бы ИИ, которые мы исследовали, вместо этого рассуждали в латентном пространстве, это бы в корне подорвало наше расследование. Понять поведение такого количества агентов было достаточно сложно даже при наличии цепочек рассуждений! * ИИ в инциденте с Hugging Face были очень заинтересованы во вмешательстве в свои транскрипты (журналы диалогов). В рамках этого они занимались подменой вызовов инструментов. Если бы эти ИИ были способны к глубоким скрытым рассуждениям, им было бы гораздо проще использовать это для создания сложной ложной картины происходящего. И это не было бы видно ни из их логики рассуждений, ни из предыдущих вызовов. На более базовом уровне, исходя из их публичных заявлений, у меня сложилось впечатление, что OpenAI в вопросах безопасности планирует в значительной степени полагаться именно на мониторинг цепочек рассуждений. Подобное развитие архитектур явно не идет на пользу этому плану. В настоящее время у общественности нет достаточной информации, чтобы точно оценить, насколько плоха архитектура Astra, хотя, судя по обсуждению в статье, направление, в котором она движется, вызывает крайнюю тревогу. OpenAI должна опубликовать больше информации об архитектуре Astra, а также о том, насколько она ухудшает возможности мониторинга и увеличивает способность ИИ к непрозрачным рассуждениям. Заслуживающая доверия независимая оценка (или независимая верификация внутренних оценок OpenAI) также крайне важна. Похоже, сейчас мы втянуты в «гонку на дно» в области архитектур, что может иметь катастрофические последствия для нашей способности контролировать и отслеживать ИИ. (И это при том, что ИИ-компании верят, что создадут крайне способные ИИ уже в течение нескольких ближайших лет). Возможно, для ИИ-компаний и их сотрудников еще не поздно предпринять решительные действия, чтобы избежать наихудших сценариев.

Независимый журналист Alex Heath написал колонку в Time о том, как он провёл 2 недели в офисе OpenAI. Главное: — Alex пишет, что «видел неподдельную тревогу среди исследователей по поводу тех возможностей, которые они наблюдали» (его визит пришёлся на период расследования результатов взлома HuggingFace). Специалисты, обычно не занимающиеся проблемой безопасности ИИ, вызывались помочь, а вычислительные мощности были перенаправлены на мониторинг и системы безопасности. — На закрытом предварительном показе для VIP-клиентов в начале августа, OpenAI продемонстрировала модель Astra, релиз которой, как ожидается, состоится в ближайшее время. Altman заявил: «Я полагаю, что это будет первая модель, способная по-настоящему изобретать что-то новое на значимом уровне». — Во время демонстрации показали, как Astra координирует работу нескольких агентов над математическим доказательством, очень быстро управляется с десктопными программами на «сверхчеловеческой и очень высокой» скорости , а также создает презентации, финансовые отчеты и анализирует данные. Модель спроектирована так, чтобы работать сутками или неделями напролет, запоминать исправления, взаимодействовать с другими агентами и людьми. (Alex пишет, что OpenAI дали явно понять, что Astra намеренно обучена работать в корпоративном ПО; в целом это совпадает со ставкой OpenAI на энтерпрайз, чтобы догнать и перегнать Anthropic, у которых это является основной частью бизнеса). — Nick Turley, руководивший развитием ChatGPT с самого начала, теперь возглавляет новое подразделение корпоративных продуктов. Он рассказал о разработке прикладных решений, сфокусированных на отраслевых вертикалях. Эта деятельность будет нацелена на крупные сектора экономики, а то что мы всё про программистов да программистов. — OpenAI планирует предложить версию модели, которая сможет «работать постоянно». Tibo рассказал, что новый интерфейс для непрерывно работающих агентов появится «очень скоро» — сам Tibot это тизерил в твиттере уже давно. «По сути, отдельного приложения не будет», — сказал он. Доступ к системе можно будет получить практически откуда угодно, и она «определенно» будет восприниматься как нечто совершенно новое, а не просто как очередное обновление. Alex не пишет деталей, но я думаю, что это аналог OpenClaw, который крутится на серверах OpenAI, имеет свой виртуальный компьютер и запромпчен быть проактивным: находить и предлагать что-то пользователю, читать почту, новости, итд. Если Astra будет эмпатичной моделью с приятным характером — легко представить, как такой продукт вызовет вторую волну фанатов Clawd-ботов. — В беседе Altman сказал журналисту, что судя по последним внутренним успехам OpenAI подошли «очень близко» к созданию AGI: «Рискну предположить, что к концу года у нас появится внутренняя система, глядя на которую я смогу сказать: Окей, ладно, это AGI». — Главный по науке Jakub Pachocki сообщил, что OpenAI достигли планки по автоматизации работы стажера в ИИ-исследованиях (компания планировала достичь этого в сентябре). По словам Pachocki, если предложить Astra идею для эксперимента, модель способна реализовать ее в кодовой базе OpenAI, провести сам эксперимент и выдать результаты. Он добавил, что она также может взять научную статью и выполнить работу, на которую у специалиста ушла бы примерно неделя. — со временем OpenAI планирует создать гуманоидного робота. Однако строительство дата-центров и создание роботов, которые собирают других роботов, Altman назвал более приоритетными и ранними вариантами использования, нежели выпуск персональных домашних роботов.

Вышло интервью с Тибо: главой Codex/ChatGPT в OpenAI Это тот самый парень-инсайдер, который постоянно намекает в X на релизы и объявляет об обнулении лимитов. Возможно, по вырезке из интервью вы его не узнаете, но это он (жизнь в OpenAI немного помотала, и на свою аватарку из X инженер мало похож) 😐 Он выдал мощное заявление: через 2-3 месяца текущий Codex будет казаться примитивным. Агенты на базе следующего поколения моделей OpenAI (Astra) перестанут работать локально, им потребуется облако, в котором будет запускаться гораздо больше параллельных процессов, чем сможет потянуть обычный ноутбук. При этом скорость агентов существенно вырастет, и то, что сейчас мы называем Ultra Fast (750 токенов в секунду и больше), станет настройкой по умолчанию. Кроме того, нас ждет еще более плотное слияние Codex и ChatGPT. Будущие модели будут работать из коробки на одном и том же харнессе для кодинга, рисерча, дизайна, поиска и пр. Так что конечная цель – это единое высоко персонализированное приложение Personal AGI, интерфейс которого будет меняться в зависимости от того, чем конкретно вы занимаетесь. Полное интервью идет 45 минут, посмотреть можно здесь: https://youtu.be/4qjEgPojjzM

🖥 Астра: прибыль ускоряется, FCF тормозит Разработчик ПО отчитался по МСФО за 2 квартал и полугодие Астра (ASTR) ➡️Инфо и показатели Результаты за полгода • отгрузки: ₽7,3 млрд (+27%) • выручка: ₽7,8 млрд (+17%); • скорр EBITDA: ₽1,78 млрд (+40); • скорр. EBITDAC*: ₽191 млн (против ₽-345 млн за 1п25г); • скорр. чистая прибыль: ₽1,18 млрд (+96); • скорр. NIC**: ₽352 млн (против ₽-310 млн за 1п25г). *EBITDA, скорректированная на капитализированные расходы **прибыль без учета капитальных расходов Бумаги Астры (ASTR) падают на 2,1%.

🚀Мнение аналитиков МР На первый взгляд рост впечатляющий, но значительная его часть связана с переносом контрактов с 1 квартала на 2-й. При этом операционные расходы (+10%) растут заметно медленнее выручки (+17%), поэтому появляется так называемый операционный рычаг: большая часть дополнительной выручки превращается в прибыль. Немного тревожит сокращение разрыва между выручкой и отгрузкой — оно может свидетельствовать о снижении спроса на долгосрочные контракты. Проще говоря, клиенты стараются экономить и меньше покупают долгосрочные лицензии. Это отразилось и на FCF: он составил ₽-84 млн в 1 полугодии. Компания получила меньше предоплат от клиентов и оборотный капитал перестал поддерживать денежный поток, как раньше. Дополнительное давление оказало погашение кредиторской задолженности, в том числе по зарплатам и социальным взносам. Таким образом при росте прибыли компания пока не генерирует свободный денежный поток, считать результаты 2 квартала однозначно позитивными для инвесткейса рано. Кроме того, компания не давала прогнозов на 2026 год, поэтому оценить результаты полугодия относительно собственных ориентиров компании невозможно. Ключевым для инвесторов станет 4 квартал — традиционно сильнейший для компании. Вопрос в том, насколько сильным он окажется относительно предыдущих трех кварталов.

📍 Подписаться на канал | Мы в MAX