Robots.txt en WordPress

No todas las su­b­pá­gi­nas o todos los di­re­c­to­rios de tu web son tan im­po­r­ta­n­tes como para que los motores de búsqueda co­n­ve­n­cio­na­les los rastreen sin falta. Con la ayuda del archivo robots.txt gestiona la in­de­xa­ción de tu sitio y determina qué su­b­pá­gi­nas de WordPress debe tener en cuenta el ra­s­trea­dor y cuáles no. De esta manera, po­si­cio­na­rás tu web si­g­ni­fi­ca­ti­va­me­n­te mejor en las búsquedas online. Aquí te ex­pli­ca­mos qué hace el archivo robots.txt en WordPress y cómo puedes op­ti­mi­zar­lo tú mismo.

Los de­no­mi­na­dos ra­s­trea­do­res buscan páginas web en Internet las 24 horas del día. Estos bots los envían los re­s­pe­c­ti­vos motores de búsqueda y detectan el mayor número posible de páginas y su­b­pá­gi­nas (in­de­xa­ción) para ponerlas a di­s­po­si­ción de la búsqueda. Para que los ra­s­trea­do­res lean tu web co­rre­c­ta­me­n­te, es necesario guiarlos. De este modo, evitarás indexar contenido irre­le­va­n­te para los motores de búsqueda y te ase­gu­ra­rás de que el ra­s­trea­dor solo lea el contenido que debe leer.

Puedes utilizar robots.txt para controlar este aspecto. Con WordPress y otros CMS, se utiliza este archivo para de­te­r­mi­nar qué áreas de tu web deben detectar los ra­s­trea­do­res y cuáles no. A través de robots.txt puedes excluir o autorizar bots y también hacer di­s­ti­n­cio­nes precisas sobre qué motores de búsqueda en­cue­n­tran qué entradas para luego re­pro­du­ci­r­las en la búsqueda. Dado que cada dominio solo dispone de un pre­su­pue­s­to de rastreo limitado, es aún más im­po­r­ta­n­te impulsar las páginas pri­n­ci­pa­les y eliminar las su­b­pá­gi­nas in­si­g­ni­fi­ca­n­tes del volumen de búsqueda.

Usar robots.txt para es­pe­ci­fi­car en WordPress exac­ta­me­n­te qué contenido se indexará y cuál no ofrece numerosas ventajas. Mientras que, por ejemplo, tu página de inicio debe tener una buena cla­si­fi­ca­ción en todas las búsquedas adecuadas, la cosa cambia con el aviso legal de la web.

Los co­me­n­ta­rios o archivos tampoco aportan ningún valor añadido en la búsqueda y pueden, por el contrario, incluso re­pre­se­n­tar una de­s­ve­n­ta­ja, por ejemplo, si los motores de búsqueda los reconocen como contenido duplicado y lo evalúan ne­ga­ti­va­me­n­te. Con un archivo robots.txt en WordPress, puedes evitar estos casos de la mejor manera posible y guiar a los di­fe­re­n­tes ra­s­trea­do­res para que se centren en las áreas de tu sitio web que realmente quieres que en­cue­n­tren.

Al principio, el propio WordPress crea un archivo robots.txt y, por tanto, realiza un trabajo pre­li­mi­nar básico. Sin embargo, no es muy completo y, por lo tanto, debe co­n­si­de­rar­se pri­n­ci­pa­l­me­n­te como un punto de partida. Tiene este aspecto:

El “user-agent” de la primera línea hace re­fe­re­n­cia a los ra­s­trea­do­res. “*” expresa que todos los motores de búsqueda están au­to­ri­za­dos a enviar sus bots a tu página. Por norma general, esta situación es la más re­co­me­n­da­ble para comenzar, ya que será más fácil encontrar tu sitio web de esta manera.

El comando “Disallow” bloquea los si­guie­n­tes di­re­c­to­rios para los ra­s­trea­do­res, en este caso son la ad­mi­ni­s­tra­ción y el di­re­c­to­rio de todos los archivos de WordPress. robots.txt los bloquea para los motores de búsqueda, ya que a los vi­si­ta­n­tes no se les ha perdido nada en las re­s­pe­c­ti­vas páginas. Para ase­gu­rar­te de que solo tú puedas acceder a ellas, protege estas áreas con una buena co­n­tra­se­ña.

Ob­via­me­n­te, los motores de búsqueda, como Google, deben seguir en­co­n­tra­n­do tu página sin di­fi­cu­l­tad. Sin embargo, los servicios más dañinos o dudosos, como Du­g­g­Mi­rror, es mejor que no la en­cue­n­tren. Para excluir estos servicios puedes usar robots.txt de WordPress. Además, debes excluir de la in­de­xa­ción los temas, tu aviso legal y otras páginas que tengan poca o ninguna re­le­va­n­cia. Los plugins tampoco se deben indexar, no solo porque no son re­le­va­n­tes para el público, sino también por razones de seguridad. Si un plugin tiene un problema de seguridad, los atacantes pueden encontrar y dañar tu sitio web de esta manera.

En la mayoría de los casos, los dos comandos me­n­cio­na­dos an­te­rio­r­me­n­te bastarán para hacer un buen uso de robots.txt en WordPress: “User-agent” define a qué bots hay que llamar. De este modo, puedes co­n­fi­gu­rar ex­ce­p­cio­nes para de­te­r­mi­na­dos motores de búsqueda o es­ta­ble­cer reglas básicas. “Disallow” prohíbe a los ra­s­trea­do­res el acceso a una página o subpágina co­rre­s­po­n­die­n­te. El tercer comando, “Allow”, no es relevante en la mayoría de los casos, ya que el acceso está permitido por defecto. Solo necesitas este comando si quieres bloquear una página web completa, pero autorizar alguna de sus su­b­pá­gi­nas.

También puedes crear y editar el archivo robots.txt en WordPress con un plugin de SEO de WordPress. Esto se hace de forma cómoda y segura desde el panel de control y, por tanto, puede que sea todavía más sencillo. Yoast SEO es uno de los plugins más usados para este propósito.

Paso 1. Primero debes instalar y activar el plugin.

Paso 2. A co­n­ti­nua­ción, permite que el plugin pueda realizar cambios avanzados. Para ello, ve a “SEO” > “Dashboard” >, “Features” y haz clic en el botón “Enabled” del punto “Advanced settings pages”.

Paso 3. Después de esta ac­ti­va­ción, realiza los cambios en el panel de mando en “SEO” > “Tools” > “File editor”. Allí puedes crear y editar di­re­c­ta­me­n­te un nuevo archivo robots.txt en WordPress. Las mo­di­fi­ca­cio­nes se aplicarán di­re­c­ta­me­n­te.

Ahora has co­n­fi­gu­ra­do tu sitio web, has es­ta­ble­ci­do reglas y, al menos en teoría, has bloqueado a los ra­s­trea­do­res y has hecho in­vi­si­bles las su­b­pá­gi­nas. Pero ¿cómo saber si todos los cambios se han realizado realmente? Google Search Console es la respuesta. Allí en­co­n­tra­rás el “probador de robots.txt” en la sección “Rastreo” del lado izquierdo. Allí in­tro­du­ces tus páginas y su­b­pá­gi­nas y luego verás si se pueden encontrar o están blo­quea­das. Un “Permitido” verde en la parte inferior derecha significa que los ra­s­trea­do­res en­co­n­tra­rán y tendrán la página en cuenta, un “Bloqueado” rojo significa que la página no se indexará.

El archivo robots.txt es un método simple y efectivo para que WordPress determine qué áreas de tu sitio se deben poder encontrar y por parte de quién. Si de por sí ya usas un plugin de SEO como Yoast, lo más fácil es hacer los cambios con dicho plugin. De lo contrario, el archivo también puede crearse y editarse ma­nua­l­me­n­te sin ningún problema.