# REDEIL.COM - Robots.txt
# https://redeil.com

# Reglas para todos los bots
User-agent: *
Allow: /

# Bloquear archivos del sistema
Disallow: /404.html
Disallow: /.git/
Disallow: /workflow/

# Permitir acceso a recursos necesarios para renderizado
Allow: /css/
Allow: /js/
Allow: /img/

# Bloquear bots de scraping conocidos
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

# Sitemap
Sitemap: https://redeil.com/sitemap.xml