############################################
# ALLOWED SEARCH ENGINE BOTS (SEO BENEFIT)
############################################

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Applebot
Allow: /

############################################
# SEO TOOL BOTS (THROTTLED TO REDUCE LOAD)
############################################

User-agent: SemrushBot
Allow: /
Crawl-delay: 10

User-agent: SemrushBot-SA
Allow: /
Crawl-delay: 10

User-agent: AhrefsBot
Allow: /
Crawl-delay: 10

User-agent: MajesticBot
Allow: /
Crawl-delay: 10

User-agent: MJ12bot
Allow: /
Crawl-delay: 10

User-agent: SerpstatBot
Allow: /
Crawl-delay: 10

User-agent: SEOkicks-Robot
Allow: /
Crawl-delay: 10

############################################
# AI TRAINING BOTS (FULLY BLOCKED)
############################################

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Amazonbot
Disallow: /

############################################
# SCRAPERS / NON-SEO BOTS (FULLY BLOCKED)
############################################

User-agent: Bytespider
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: DotBot
Disallow: /

############################################
# DEFAULT RULES FOR ALL OTHER BOTS
############################################

User-agent: *

# Allow essential assets for SEO rendering
Allow: /css/
Allow: /styles/
Allow: /scripts/
Allow: /icons/
Allow: /cdn-cgi/
Allow: /admin/heartdesire-numerology.php

# Block sensitive, backend, or duplicate folders
Disallow: /admin/
Disallow: /admin_reportadmin_old/
Disallow: /backup/
Disallow: /bkfiles/
Disallow: /Builds/
Disallow: /desktop/
Disallow: /dev/
Disallow: /new/
Disallow: /Download2Cnet/
Disallow: /Downloads/
Disallow: /email/
Disallow: /hans/
Disallow: /iframeproject/
Disallow: /iframeproject_iphone/
Disallow: /iframeproject_oct_27/
Disallow: /MAC/
Disallow: /master_program_chart_bk/
Disallow: /numerology-services.com/
Disallow: /numerologyworld.com/
Disallow: /oldx/
Disallow: /ry/
Disallow: /Saravana/
Disallow: /test_folder/

############################################
# SITEMAP
############################################

Sitemap: https://www.worldnumerology.com/sitemap.xml