# Robots.txt - Colsubsidio

# Bloqueo general de URLs irrelevantes para SEO
User-agent: *
Disallow: /user
Disallow: /users
Disallow: /user/login
Disallow: /user/register
Disallow: /user/password
Disallow: /search
Disallow: /404
Disallow: /accounts
Disallow: /miscelanea
Disallow: /miscelanea-v2
Disallow: /pagina-mantenimiento
Disallow: /pagina-indisponibilidad

# Bloquear parámetros de sesión, filtros y otros que generan contenido duplicado
Disallow: /*?*
Disallow: /*&*

# Permitir el acceso a recursos necesarios para renderizar correctamente el sitio
Allow: /*.js$
Allow: /*.css$
Allow: /*.svg$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.png$
Allow: /*.gif$
Allow: /*.webp$
Allow: /*.woff$
Allow: /*.woff2$
Allow: /*.ttf$
Allow: /*.eot$
Allow: /*.otf$
Allow: /*.json$
Allow: /*.xml$
Allow: /*.webm$
Allow: /*.mp4$
Allow: /*.pdf$

# Permitir a los bots más importantes el acceso completo al sitio
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Video
Allow: /

User-agent: AdsBot-Google
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Yandex
Allow: /

User-agent: OAI-SearchBot
Allow: /

# Sitemap principal
Sitemap: https://www.colsubsidio.com/sitemap.xml