User-agent: *
Sitemap: http://www.caudalinformativo.com/sitemap_index.xml
Disallow: /wp-admin/
Disallow: /wp-content/plugins/   
Disallow: /wp-content/themes/   
Disallow: /wp-includes/   
Disallow: /wp-admin/

# Evita bloqueos de CSS y JS.

Allow: /*.js$
Allow: /*.css$

# Lista de bots que deberías permitir.

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

# Lista de bots que generan consultas abusivas aunque siguen las pautas del archivo robots.txt

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /