Разбор того, как модели OpenAI используют веб-поиск, какие боты индексируют контент и почему важно оптимизировать сайты для AI-агентов.
AI-агенты меняют правила SEO: если ваш сайт не понятен для бота, вы теряете потенциальных клиентов.
Пользователи все чаще делегируют поиск информации и выбор сервисов AI-агентам.
AI-агенты могут не посещать сайт напрямую, полагаясь на кэшированные данные или специфические инструменты поиска.
Необходимо настраивать доступность контента для поисковых ботов OpenAI, чтобы оставаться в поле зрения автоматизированных систем.
🕸️ Когда Codex «гуглит», он реально заходит на каждый сайт?
Вчера я советовал сделать сайт agent-friendly через Ora. Но сам до конца не понимал, что именно там надо оптимизировать.
В моей голове это работало так:
я прошу Codex что-то найти
→ OpenAI дёргает Google или Bing
→ какой-то crawler в realtime идёт по сайтам.
1. Как ищет сам Codex
Codex не достаёт свежий интернет из весов модели. Он вызывает отдельный web search tool.
В локальном Codex по умолчанию используется cached search по индексу OpenAI. Ещё есть indexed и live: в live-режиме поиск может открыть актуальную страницу прямо во время задачи. Но это не значит, что он синхронно заходит на каждый сайт.
2. Кто тогда заранее ходит по сайтам
У OpenAI есть несколько разных ботов:
• OAI-SearchBot собирает страницы для ChatGPT Search
• ChatGPT-User может открыть страницу по конкретной просьбе человека
• GPTBot отвечает за потенциальное использование контента для обучения
Можно разрешить поиск и отдельно запретить обучение.
3. А Google или Bing?
OpenAI публично не пишет, какой именно внешний поисковик стоит под капотом Codex и чем конкретно наполняется cached index. Поэтому рассказы в духе «оно точно всегда ходит через Bing» пока додумывание.
so what?
⚡️ твой будущий клиент может вообще не открыть сайт сам. Он попросит своего агента найти API, сравнить сервисы и выбрать, что купить. Если агент не нашёл страницу, не вытащил цену или не понял, куда нажимать, ты можешь не попасть даже в shortlist.
🧩 @danokhlopkov
Кратко (AI)
Автор разбирает механику работы веб-поиска в моделях OpenAI, объясняя разницу между кэшированным поиском и «живым» переходом на сайты. В посте уточняется роль различных ботов компании и подчеркивается необходимость оптимизации сайтов для корректного взаимодействия с AI-агентами.
Обсуждение
0
В
Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖