Чтобы LLM не галлюцинировала, нужно дать ей инструменты поиска в интернете (с) любой человек в 24ом году В 26ом – это скорее вредный совет Все чаще при ответе на сложные вопросы я беру большую модель (Astra/Fable) и прошу не использовать поиск в интернете, а подумать самостоятельно Тут есть две причины 1️⃣ В интернете такое большое количество буллщита, особенно в seo-оптимизированных статьях, которые (сюрприз-сюрприз) оказываются в топе поисковой выдачи, что это скорее засирает агенту контекст, чем помогает ему И каждый месяц прогресса только усугубляет ситуацию новыми порциями отборного слопа под видом личных мнений. Уже даже на реддите сложно продираться через это 2️⃣ Первый этап тренировки модели (претрен) – это попытка сжать весь интернет в ограниченное количество параметров модели. И реальные закономерности сжимаются лучше, потому что согласуются друг с другом и описываются более универсальными правилами. А буллщит часто противоречит даже сам себе Короче, если короткая формула третьего закона Ньютона непротиворечиво описывает и предсказывает кучу реальных ситуаций, то скорее всего её важнее запомнить, чем пантеон греческих богов, где на объяснение каждого явления нужен отдельный миф, а предсказательной способности все равно не появляется

Кстати, недавно посмотрел Пантеон – это разъеб (и это не про Грецию, а про наши с вами ИИ приколы)

Вот статья Кости Крестникова, которая показывает этот механизм выучивания согласованных закономерностей. Кстати, одна из немногих из РФ, которую приняли на NeuralPS, респект ——— TL;DR В top-tier моделях скорее всего уже есть нужные знания и скорее всего они уже разложены по полочкам с пониманием, где бред. Для сложных вопросов попробуйте не сбивать модель мусором из поисковика (они все еще слишком цепляются за инфу в контексте)

Мысли про скорость ⚡️ На самом старте ведения канала я хотел написать пост про скорость разработки продукта. Но сначала вроде "не хотелось тратить хороший пост только на первых 10 подписчиков", а потом, конечно же, забыл про него. Я начал как-то участвовать в продукте хотя бы на полшишечки где-то в 2014 году в Anywayanyday, там был еще дата-аналитиком, но именно в тот момент стал задавать вопросики по собираемым данным, еще только предполагать, что не каждая фича нужна в продукте, а некоторых людей надо вообще изолировать от продуктовой команды. Потом также в Тач Банке был аналитиком данных, а в Сбере, начиная с 2016 года, уже когда получил лычку "продакта", точно был убежден, что 95% "дроча над продуктом" избыточны. Под этим термином я подразумеваю бесконечные согласования цвета кнопок, запятых в тексте, оттенков зеленого (в Сбере вроде позже даже появился мем: "573 оттенка зеленого"), добавить этот чек-бокс или нет и т.д. Что уж говорить про реальные фичи - там принятие решения уходило в бесконечность. Причем в Сбере у части этих телодвижений хотя бы было какое-то обоснование, типа у нас гигантская база, поэтому будем тянуть кота за яица с фичей, пока кто-то сверху не рявкнет: "Где сраные автопереводы, которые еще квартал назад должны были запуститься?", тогда выкатывали то, чтобы было в текущий момент на деве, а на остальное было насрать, что обсуждали полгода. А вот новые продукты, старые умирающие или стагнирующие, новые направления или только гипотезы для них, в общем, подавляющее большинство фичей/идей/продуктов, которые могли бы дать какое-то влияние на нужные метрики - это просто надо было делать, обвешивать метриками и выкатывать. Лично я ни разу не был свидетелем, когда кота тянули за яица продукт тянули как репку, и в итоге это принесло супер результат, если сравнить с тем что было изначально. Пару раз было что-то похожее, но я не могу это засчитать, т.к. там изначально было какое-то адовое говно, которое в здравом уме нельзя считать за вменяемую версию. А уже после выкатывания все тюнить, доделывать, где-то переделывать, в общем заниматься обычной продуктовой работой. Править тексты, кнопки, чек-боксы, менять онбординг и т.д. И вот сейчас с LLMками особенно до каких-то вменяемых денег (либо, если супер чувствительная инфа/финасы) проекты так и должны работать по дефолту. Причем уже не надо ходить за разработчиком по задачам, которые дольше описывать, чем поправить самому (конечно, если нормально настроили процессы, а не просто херачите в прод). Но будет интересно услышать, как дела не у стартапов. 😁️️️️️️ #база #llm #процессы

Недавно ковырялся в Chess Platform. В какой-то момент решил пофиксить экраны регистрации/авторизации, потому что Codex или Claude их как-то стремненько собрали в первый заход. И подумал, что ни разу не видел какую-то попытку на шахматных платформах обыграть "шахматные темы" в подобных сценариях. Сюда же можно еще 404-ошибку добавить. Codex за 5 минут собрал варианты ниже. У LLM, конечно, проблема с генерацией реальных шахматных позиций (ну и дорабатывать надо без сомнения), но раньше, конечно, без вариантов было что-то подобное даже подумать сделать, т.к. все время не хватало ресурсов. P.S. в проде LLMки собрали говно в итоге... Надо будет потом править. #process #chessplatform #llm

Ворлдбилдинг от ллм потрясающий Вчитался в то, что написали агенты в игре. В пустынном Чаша есть энкаунтер где игроку по задумке объясняют, что можно лутать развалины и продавать в городе найденное. Там сцена в текстовом квесте, как женщине привозят лом, она его взвешивает и платит за него. После этого её можно спросить зачем они покупают лом. Тогда происходит гениальное объяснение. Чаша закупает буквально лом (не какие-нибудь ценные находит из руин цивиллизации, а буквально ржавый металл). Далее они переплавляют его во всякие предметы обихода типа дверных петель. Дверные петли дождь уничтожает ржавчиной за год (мы в пустынном пост-апокалипсисе). Поэтому нужно покупать больше лома. Варианта спросить "зачем они год за годом выставляют ржавеющий металл под дождь?" спросить нет, так что видимо посыл автора (Опуса) здесь был в том, что в Чаше живут терминально тупые дебилы. Или возможно это его глубокая шутка, что люди в целом терминально тупые, покупают мусор, чтобы затем с помощью природы превращать его ещё в меньший мусор.