Unlimited Wordpress themes, plugins, graphics & courses! Unlimited asset downloads! From $16.50/m
Advertisement
  1. Web Design
  2. SEO

Administrar el Acceso a su Sitio por los Motores de Búsqueda

by
Read Time:6 minsLanguages:
This post is part of a series called SEO Fundamentals for Web Designers.
An Introduction to SEO
How to Create an SEO-Friendly URL Structure

Spanish (Español) translation by Rodney Martinez (you can also view the original English article)

Su sitio es inútil si no está indexado por un motor de búsqueda. Si quiere aparecer en los resultados de búsquedas, necesita asegurarse que puede tener acceso por los motores de búsqueda. Sin embargo, algunas veces querrá restringir el acceso a ciertas partes de su sitio, quizá quiera ocultar páginas irrelevantes o documentos privados. En este tutorial, aprenderá cómo administrar el acceso de su sitio por los motores de búsqueda por medio un archivo robots.txt o las robots meta tag.

Los Beneficios de los Archivos y las Etiquetas Robots

Antes que analicemos los detalles de cómo crear un archivo robots.txt o una etiqueta meta robot, debería de darle un vistazo a sus beneficios. Hay algunos escenarios donde implementarlo podría venir a ser útil, por ejemplo:

  • Evitar contenido duplicado que sean indexados (por ejemplo, versiones para imprimir de la página)
  • Para páginas incompletas.
  • Restringir al motor de búsqueda que indexar archivos o páginas confidenciales.

El contenido duplicado reduce sus esfuerzos SEO debido a que los motores de búsqueda encuentran difícil decidir cual versión es la más relevante para las búsqueda realizada por los usuarios. Este problema puede evitarse bloqueando las páginas duplicadas por medio de un archivo robots o una etiqueta robots. Hay otra forma de encargarse del contenido duplicado, pero nos concentraremos en eso más tarde.

Si usted tiene nuevas páginas en línea, pero incompletas, es mejor que las bloquee de los rastreadores, para evitar que sean indexadas. Esto podría ser útil para nuevas páginas de productos, por ejemplo, si usted quiere conservarlas en secreto hasta su lanzamiento, añada un archivo o etiqueta robots.

Algunos sitios web tienen páginas o archivos confidenciales que no están bloqueados por un formulario de registro. Una forma fácil para ocultarlas de los motores de búsqueda es por medio de los archivos robots.txt o las etiquetas meta.

Ahora que sabemos porqué deberíamos administrar el acceso a ciertas páginas, es hora de aprender cómo podemos hacerlo.


Los archivos robots.txt

Los rastreadores son adictos al trabajo Quieren indexar tanto como sea posible, a menos que usted les diga que hagan lo contrario.

Cuando un rastreador visita su sitio web, buscará el archivo robots.txt Este archivo le dará instrucciones de cuales páginas debería indexar y cuales debería ignorar. Crear un archivo robots.txt puede evitar que los rastreadores consigan acceso a ciertas partes de su sitio web.

Los archivos robots.txt deben colocarse en el nivel superior del directorio de su sitio, por ejemplo: www.domain.com/robots.txt Este nombre de archivo es sensible a las mayúsculas.

Advertencia: si añade un archivo robots.txt a su sitio web, por favor, haga una comprobación minuciosa de errores. No querrá inadvertidamente bloquear los rastreadores y que dejen de indexar páginas importantes.


Creando un archivo robots.txt

robots.txt es un simple archivo de texto con varios registros. Cada registro tiene dos elementos: user-agent (usuario-agente) y disallow (denegar).

El elemento usuario-agente le dice a los rastreadores que información denegada debería usar. Disallow (denegar) le dice a los rastreadores cuales partes del sitio web no pueden ser indexada.

Un registro se verá algo así:

El registro anterior le dice a los motores de búsqueda que de acceso a todas las páginas. Usamos el asterisco (*) para dirigir a todas los rastreadores y porque no hemos especificado una página denegada, entonces ellos (los rastreadores) pueden indexarlas todas.

Sin embargo, añadiendo una barra diagonal al campo denegado, podemos evitar que todos los rastreadores tengan que indexar algo desde nuestro sitio web.

Además, podemos elegir un solo rastreador. Mire al siguiente ejemplo:

Este registro le dice a Google que no indexe el directorio privado, entonces Googlebot es utilizado por Google para buscar en la web. Para una lista completa de todos los rastreadores, visite la base de datos de los robots web.

Conectando una anulación a un usuario-agente sería un trabajo largo. Por fortuna, podemos añadir varias prohibiciones en el mismo registro.

Esto evitará que sea indexado Bing desde el mismo directorio, la página sin interés y el logo.

Comodines

Según como aprendamos regular expresión aquí, también, podemos usarlas como comodín en archivos robots.txt

Por ejemplo, muchas personas usan WordPres como un CMS. Los visitantes pueden crear una función de búsqueda para encontrar publicaciones acerca de cierto tema y la url para consultar una búsqueda tiene la siguiente estructura: http//:domain.com/?s=seachquery.

Si quiero bloquear los resultados de búsqueda que sean indexados, puedo usar un comodin. El registro robots.txt se vería algo como esto:

Asimismo, puede usar un comodín para evitar ciertos tipos de archivos sean indexados. El siguiente código bloqueará todas las imágenes .png

No olvide añadir el signo de dolar al final. Este le dice a los motores de búsqueda que es el final de una secuencia URL.

Pruebe sus archivos robots.txt

Siempre, es muy buena idea, probar sus archivos robots.txt para ver si han cometido errores. Puede usar las Herramientas de los Webmaster de Google para realizar está tarea.

Debajo de “health” (salud) encontrará las urls de las páginas bloqueadas. Acá encontrará toda la información acerca de su archivo. Asimismo, puede probar los cambios antes de subirlos.


Las etiquetas meta robots

La etiqueta meta robots es utilizada para administrar el acceso de los rastreadores a una sola página. Le dice al motor de búsqueda si la página puede ser rastreada, archivada o si el enlace en la página puede ser perseguido.

Esta es la apariencia que tiene una etiqueta meta robtos:

Esta etiqueta meta evita que los rastreadores indexen la página web. Además del “noindex” hay varios otros atributos que podrían ser útiles:

  • index: está página puede ser indexada.
  • noindex: está página no puede ser mostrada en los resultados de búsqueda.
  • follow: los enlaces sobre está página pueden ser seguidos.
  • nofollow: los enlaces en está página no puede ser seguidos.
  • archive: un cache-copy de está página está permitido.
  • noarchive: un cache-copy de está página no está permitido.

Varios atributos pueden ser usados en una sola etiqueta meta robots. por ejemplo:

Este tipo de descripción evita que los rastreadores indexen la página y que sigan sus enlaces.

Si estuviese usando etiquetas de conflicto, Google usará la mayoría para limitar opciones. Digamos que usted usa “index” y “noindex” en la misma etiqueta, bueno, en ese caso; la página no será indexada (la mayoría de las opciones estarán limitadas, pero solo por seguridad).


Entonces, ¿uso robots.txt o Meta Tags?

Como hemos discutido anteriormente, hay dos maneras de administrar el acceso de las páginas web: un archivo robots.txt y las meta tags (etiquetas meta).

El archivo robotst.txt es magnífico para bloquear directorios completos de ciertos tipos de archivos. Con una sola línea de texto puede hacer mucho trabajo (¡y potencialmente mucho daño!). Pero si quiere bloquear una página individual, entonces es mejor usar los robots meta tag.

Algunas URLs que son bloqueadas por medio del archivo robots.txt, aún pueden aparecer en los resultados de búsqueda. Cuando hay muchos enlaces apuntando a la página y Google cree que solo dirigen resultados de búsqueda relevante para está consulta de búsqueda, entonces aún la mostrará. Si realmente quiere que la página no sea mostrada, entonces debería añadir la meta taga noindex. Esto podría sonar complicado pero Matt Cutts explica todo en detalles en Sin Rastrear las URLs en los resultados de búsqueda en YouTube.


En conclusión.

Con los archivos robots.txt y los robots meta tags, puede administrar con mucha facilidad el acceso hacia su sitio por los motores de búsqueda.

No olvide verificar y comprobar minuciosamente sus meta tags y su archivo robots.txt para evitar bloquear, accidentalmente, los rastreadores que vayan a indexar páginas importantes.

Advertisement
Advertisement
Looking for something to help kick start your next project?
Envato Market has a range of items for sale to help get you started.