Проблемы индексации сайтов для ИИ-систем

Crawlability Тот факт, что большинство сайтов оптимизированы под поисковые системы плохо, а меньшая часть - хорошо, это нормально. Нормально также и то, что немалая часть крупных сайтов использует JS-фреймворки и часть контента поисковики не видят. Но, как минимум, большая часть крупных проектов более менее нормально позволяет Гуглу и Яндексу шариться по сайту и хотя бы пытаться его индексировать. В случае с ИИ-системами, по крайне мере в Рунете, видно, насколько "низкий" рынок - для большинства крупных проектов основная проблема состоит в том, что боты CommonCrawl/ИИ-систем просто не могут пробиться на сайт через различные антифрод системы. При этом вопросы пользователей про тот или иной бренд/проект никуда не деваются - особенно если проект крупный. В итоге люди получают ответы на свои вопросы от нейросетей только на основании внешней инфы - отзывы, СМИ, медиа и так далее. Ну т.е. люди думают что чатгпт - это супертрастовый источник, а чатгпт на самом деле строит свой ответ примерно как бабки у подъезда про Машку из 3 квартиры: на основании слухов, домыслов и не очень официальной инфы.