Una muy buena configuración del archivo robots.txt para WP es la que se publicó en el blog de SigT.net que lamentablemente cerró pero el contenido continúa online. El texto precedido por el signo numeral (#) es comentario y puede eliminarse o dejarse, da igual.

#

# robots.txt para tu blog en WordPress.

#

# Usar bajo propia responsabilidad, que nos conocemos }:)

# http://sigt.net/archivo/robotstxt-para-wordpress.xhtml

#

# Primero el contenido adjunto.

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-content/themes/

Disallow: /wp-includes/

Disallow: /wp-admin/

# También podemos desindexar todo lo que empiece

# por wp-. Es lo mismo que los Disallow de arriba pero

# incluye cosas como wp-rss.php

Disallow: /wp-

#

# Sitemap permitido, búsquedas no.

#

Sitemap: http://tu-web/sitemap.xml

Disallow: /?s=

Disallow: /search

#

# Permitimos el feed general para Google Blogsearch.

#

# Impedimos que permalink/feed/ sea indexado ya que el

# feed con los comentarios suele posicionarse en lugar de

# la entrada y desorienta a los usuarios.

#

# Lo mismo con URLs terminadas en /trackback/ que sólo

# sirven como Trackback URI (y son contenido duplicado).

#

Allow: /feed/$

Disallow: /feed

Disallow: /comments/feed

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /*/trackback/$

Disallow: /*/*/feed/$

Disallow: /*/*/feed/rss/$

Disallow: /*/*/trackback/$

Disallow: /*/*/*/feed/$

Disallow: /*/*/*/feed/rss/$

Disallow: /*/*/*/trackback/$

#

# A partir de aquí es opcional pero recomendado.

#

# Lista de bots que suelen respetar el robots.txt pero rara

# vez hacen un buen uso del sitio y abusan bastante…

# Añadir al gusto del consumidor…

User-agent: MSIECrawler

Disallow: /

User-agent: WebCopier

Disallow: /

User-agent: HTTrack

Disallow: /

User-agent: Microsoft.URL.Control

Disallow: /

User-agent: libwww

Disallow: /

#

# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen

# idas de pinza, toca decirles que reduzcan la marcha.

# El valor es en segundos y podéis dejarlo bajo e ir

# subiendo hasta el punto óptimo.

#

User-agent: noxtrumbot

Crawl-delay: 50

User-agent: msnbot

Crawl-delay: 30

User-agent: Slurp

Crawl-delay: 10

¿Qué hacemos con esto? Copiamos y pegamos y guardamos en un arhivo llamado robots.txt. Ese mismo archvo lo subimos a nuestro servidor, generalmente (99%) al directorio raíz o a la carpeta donde tengas intalado tu WordPress.