Это график точности и стоимости выполнения задач из тестов TypeSafe. Чем точка выше и левее, тем лучше: больше правильных решений за меньшие деньги. Вертикальная ось показывает точность. У Jev около 68%. Горизонтальная ось показывает стоимость одного задания в долларах. Шкала логарифмическая: каждый следующий крупный шаг вправо означает увеличение цены в 10 раз. Ромбы обозначают задачи, разбитые программой на отдельные проверки. Кружки означают, что всю задачу описали модели одним промптом. Цвет обозначает поставщика модели. Розовая точка слева это Jev. Jev здесь самая дешёвая, но не самая точная. У Sol около 74%, у Opus 5 около 73%. Самое показательное сравнение с Sonnet 5: одинаковые 67,8% точности, при этом Jev примерно в 294 раза дешевле и в 195 раз быстрее. С Terra точность тоже практически совпадает, выигрыш составляет примерно 76 раз по стоимости и 25 раз по скорости. Ещё раз: Jev не предназначена для написания текстов или кода, как ChatGPT. Она анализирует информацию и выдаёт оценки: есть ли ошибка, насколько срочный запрос, какое действие выбрать. Поэтому график сравнивает модели именно в таких задачах, а не по качеству текстов или программирования.

Месяц назад Саша из Mindset AI позвал меня рассказать про продуктвность в мире ИИ. Я ненавижу выступления и делаю это очень редко. Обычно хорошо у меня получается только в очень узких группах. Но в этот раз у меня появилась мотивация. Появилось желание начать что от менять. А то я своим клиентам (которые стесняются публиковаться на LiknedIn) рассказываю что mr Beast говорит что бы снять 100-е видео, надо снять хотябы 1-е. А сам - так ничего и не снял. В результате получилось почти 2 часа неструктурированных рассказов и рассуждений на тему от появления Лайфхакера и до переезда во Флорду. Искуственному интеллекту досталось не очень много :) Нельзя сказать что я не готовился. Я готовился и даже пару раз созвонился с Сашей, продумал план и оформил его. Но так уж работает мой мозг (но мы над этим работаем). А ещё я делаю очень длинные отступление, ведь рассказать я хотел про другое. Когда видео появилось и мой клод сумел его скачать, мы провели довольно подробный его анализ. Клод поставил мне 7/10 за хаотичность и 5/10 за полезность. Составил отличные схему моей непоследовательности и топ использования слов паразитов. Был подключен даже пульс c Oura. Он даже предожил мне перемонтировать 1:40 в 42 минуты... Считаю что анализ получился очень крутым и полезным. Я просто попросил клода:

скачай видео и транскриббируй c deepgram https://www.youtube.com/watch?v=R2XBi3RYgWM после этого разбери с подагентами мое выступление - на сколько оно было дреганным нелогичным и какова была моя речь так же инетересна последовательность и хаотичность

Очень советую к использованию с модификациями в зависимости от ваших запросов. И это был Opus. Сергей Булаев AI 🤖 - об AI и не только

Очень простой, но полезный личный AI кейс. Недавно из любопытства загрузил в ллм 10+ лет нашей с Милой переписки из телеграма, попросив проанализировать. В итоге мы потратили вечер, обсуждая результаты анализа и предаваясь воспоминаниям 🙂 Было и полезное: например Мила мне всегда говорила, что я долго отвечаю, а по статистике моя медианная скорость ответа за 10 лет - 18 секунд 🙂 А у нее 1 мин 10 сек. Или словом года в разное время были "ок", "супер", "люблю", "иду" и т.д. А в 2026-м у нас родилась дочь, и слово этого года - "спит" 🙂 Клод даже построил эмоциональный портрет по годам, самые популярные темы, локации нашего номадизма за эти годы и вообще много интересного (пример на картинке). Очень интересно посмотреть на динамику за такой большой промежуток времени. После этого я начал грузить более полезные переписки, убрав чувствительные данные - от пачек имейлов в сотни длинных тредов по работе до лички этого канала. И всегда были полезные находки, которые заставили не только задуматься, но и внести некоторые изменения - и в свое поведение, и в риторику своих сообщений. Короче говоря, делается все это очень просто, а пользы я для себя нашел много! @kyrillic

Про признак «у пользователя день рождения» в ML В этом году на день рождения (он был уже давно, сейчас просто вспомнил историю) я получил очень много поздравлений, и что-то меня побудило всем поздравившим ответить в тот же день. В итоге больше половины моих ответов телеграм удалил, решив, что я спамер. Даже были прецеденты, когда мы с человеком попереписывались, а на следующий день его реплики есть, а мои все потерли. В этом нашелся и позитивный момент, я до сих пор случайно нахожу диалоги с поздравлениями и снова радуюсь им, но конечно основное, что меня позабавило, это что в классификаторе спама либо нет признака «у пользователя ДР», либо он не работает. И это, кстати, частый недостаток ML моделей в B2C сервисах. Например, в одной компании, где я работал, два моих коллеги мужского пола постоянно определялись внутренним классификатором пола как женщины, а один из них на этот счет даже неплохо плевался желчью. Причина тому была очень простой: у них день рождения 8 марта, и они получают аномально высокое для мужчины количество звонков в этот день. Среди тысяч сотрудников оказалось достаточно мужчин, родившихся 8 марта, чтобы баг исправился сам собой, когда для модели сделали нормальные признаки. Общий же рецепт довольно простой: при разработке модели хорошо бы подумать, почему она может ошибаться на каких-то примерах, и что сделать, чтобы не ошибалась. Как правило первые ответы на этот вопрос будут касаться наличия и актуальности нужных признаков, корректности собранного таргета, баланса классов и в целом репрезентативности выборки.