# ВНИМАНИЕ: на проде Cloudflare дописывает свой управляемый блок ПЕРЕД этим
# файлом. Если в нём включена опция блокировки AI-краулеров, она объявляет
# Disallow для тех же ботов, которых мы ниже пускаем, и по RFC 9309 выигрывает
# первая совпавшая группа — то есть наши Allow не сработают.
# Проверять и переключать в панели Cloudflare: Security → Bots.
# Проверка: curl -A '<UA бота>' https://getuhired.co/insights/roles/data-engineer/

# Позиция (docs/web_aggregation.md §9): нас цитируют, но на нас не тренируются.
# Поисковые AI-движки пускаем — они приносят трафик и ссылки. Тренировочные
# закрываем, это согласовано с Content-Signal ai-train=no.
# Каждый бот упомянут ровно один раз: дублирующиеся группы делают поведение
# зависимым от того, как конкретный парсер разрешает конфликт.

# Обычные поисковики
User-agent: *
Allow: /

# Поисковые AI-движки — пускаем ради цитирования
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Applebot
Allow: /

# Краулеры обучения — закрываем
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: meta-externalagent
Disallow: /

Sitemap: https://getuhired.co/sitemap.xml