Crear el archivo Robots.txt.

El archivo olvidado de WordPress es sin duda el robots.txt; es de vital importancia para la correcta indexación de tu web, además te protege de muchas visitas desagradables, y esconde a los ojos de determinados bots los contenidos de tu web. Me atrevería a calificar el archivo robots.txt como una de las grandes herramientas imprescindibles para cualquier diseño web, y de vital importancia para una buena indexación cuando prepares tu página web para el SEO. Voy a tratar de explicar en este post como programar un archivo robots.txt infalible para WordPress, un archivo que además de protegerte ante miradas poco discretas, ayude a indicar a las arañas de Google y del resto de buscadores donde puede encontrar el contenido relevante de tu web.

¿Qué es el archivo robots.txt?

El archivo robots.txt en principio sólo es una lista de instrucciones para los distintos motores de búsqueda como Google, Yandex, Yahoo etc. Indica las zonas de tu página web que se pueden indexar y las que no. Bueno, esto parece que lo tenemos todos más o menos claro, Teniendo en cuenta esta definición ya nos empezamos a dar cuenta de lo importante que es este archivo para el correcto posicionamiento de las páginas y elementos (categorías, productos, imágenes, etc.) de nuestra web.

A los robots de rastreo les gusta que les pongan las cosas fáciles, por lo tanto lo primero que hacen es buscar si hay instrucciones para ellos y así ir directamente a lo que se debe y lo que no se debe indexar, para encontrar tu archivo robots.txt basta con que escribas www.elnombredetudominio.com/robots.txt y así podrás ver que arquitectura tiene.

Utilidad de robots.txt

Como veremos un poco más adelante el archivo robots.txt es muy útil para determinadas circunstancias que te resumo aunque depués las voy a detallar:

Obligar a las arañas de los buscadores a ignorar ciertos contenidos, por ejemplo contenido duplicado en tu web.
No indexar los resultados de tu buscador interno.
No indexar áreas privadas y de acceso a los paneles de administración
Muy importante, ayudar a los motores de búsqueda donde encontrar tu sitemap y así facilitar la indexación del contenido.
y para mi una de las más importantes, evitar que determinados robots puedan rastrear tu página web con finalidades que no te interesan, hoy en día hay más robots que buscan como colarse en la web con fines mal intencionados que los propios robots de los motores de búsqueda, en el ejemplo de archivo robots.txt que te puedes descargar al final, verás que te he incluido los que conozco y se positivamente que no benefician en nada, pero todos los días aparecen nuevos, si utilizas un plugin como Wordfence puedes ver el tráfico en vivo de los robots y decidir que robots añadir a tu archivo robots.txt.

Evidentemente puedes comprobar en esta propia web que utilizo el archivo tal y como lo describiré a continuación, no se trata sólo de explicar la teoría, hay que mostrar de forma práctica la utilidad del archivo. También debo decir que la decisión de usar este tipo de arquitectura del archivo robots.txt es sólo tuya, y que toda responsabilidad si algo no funciona es tuya. El contenido está comprobado y funciona, de lo contrario no podrías leer este post, pero usarlo o no es únicamente responsabilidad tuya.

Antes de entrar en ver distintos ejemplos de como programar el archivo robots.txt para WordPress, voy a tratar de explicar como funciona.

¿Cómo funciona el robots.txt de WordPress?

WordPress es sin duda un poderoso CMS, sin embargo hay que configurarlo muy bien para evitar crear contenido duplicado.

Vamos a ver un ejemplo de configuración típica de un diseño web con WordPress.

Home:
- Contenido destacado y que pone en antecedentes de que vamos a encontrar en la web, normalmente incluye las últimas entradas del blog para que sea fácil acceder a ellas.
Blog
- Tu página de entradas, donrán bien visibles todos los post.
Sidebar:
- Incluye normalmente una lista con las últimas entradas y una lista de categorías
Footer:
- Al igual que en el sidebar, uno de los recursos habituales son las últimas entradas al blog, en muchas ocasiones lo encuentras tanto en Sidebar como en Footer
Páginas de Categorías
- Incluyen todas las entradas relacionadas con determinada categoría.
Página de Author: