Можно, но по уставу не положено: методика механического принуждения Клода к проверкам
Чем больше я работаю с нейросетями, тем больше их работа напоминает мне армейские анекдоты про срочников, которые копают яму строго от забора до обеда, мозга не имеют и по любому поводу хотят проебаться, если не
стоять над ними постоянно наставить везде красных флагов.
Одна из классических версий:
Идет занятие в военной академии, старый полковник рассказывает как пушка стреляет - снаряд летит по параболе, сначала вверх, потом вниз, угол 45%, все дела. Встает лейтенант: товарищ полковник, а если пушку набок положить, можно за угол стрелять?
Товарищ курсант, стрелять так можно, но по уставу не положено!
в общем короче, с ИИ-шками все то же самое. Если не наставить везде красных флагов и проверок, то на длинных и сложных пайплайнах везде будут ошибки и откровенная деза.
Этим, в значительной мере, объясняется наша ненависть к нейрослоп-сеошникам: за оклад в 200000+ такие люди без каких либо сомнений несут крупный сайт на аудит в клод, потом несут обратно клиенту
результат говно. Ладно бы тот факт, что их роль meat proxy не смущает, но процесс сложный, нюансов много, и разумеется, без разбиения процесса на простые рутинные задачи и ручной перепроверки получается полный треш.
К чему я, короче говоря, это все.
Наш хэд AEO GEO, Катерина Ерошина, известный погонщик агентов и рабовладелец Клода,
написала большой гайд о том как решить эту проблему. Цитирую Катю:
Вы говорите Клоду: перепроверь отчет по трафику. Он видит большую (большую! ааа!) таблицу, читает первые 300 строк и отчитывается: все ОК. С 305-й строки у вас сбой и поехали данные, никто не заметил. Но Клод же проверил!
Вы находите нестыковки в документе: в резюме цифры одни, в плане работ те же цифры отличаются – посчитаны на другой базе. Клод честно проверил: в рамках одного блока все верно, а перекрестные проверки вы не заказывали.
Больное место всех ИИ – они могут нарушить самую жесткую инструкцию, если увидят в ней лазейку.
Как вынудить ИИ проверять и перепроверять свою работу? Можно переспрашивать его на каждом шаге – но однажды вы забудете переспросить и все повторится.
Хорошая практика для защиты от косяков – принуждение и механические проверки.
Вместо рассуждения должен быть механический гейт: “если Х≠Y, пересчитай, дальше не иди”.
В узкой точке процесса должен быть механический хук: “если Х≠Y, вызови проверку”.
Триггер (да/нет) не вызывает рассуждений и не дает лазеек.
Не давать рассуждать лишнего, не давать лазеек - сделать так, чтоб все лишнее было "по уставу не положено".
Читать:
https://helpixel.substack.com/p/67b 