Utilice robots.txt en posicionamiento seo
El robots.txt , a pesar de ser crucial para el éxito de una correcta colocación de un sitio y la indexación de sus páginas internas en motores de búsqueda no es todavía considerado como tal. El error común que muchas personas hacen es detener esta vez demasiado sobre la creación de la estructura y su optimización en lugar de tratar correctamente toda la información que debe figurar en el robots.txt.
El robots.txt es una herramienta fundamental disponible para ayudar a webmasters y fuertemente tomada en cuenta y apoyada por los principales motores de búsqueda como este archivo de texto simple generada con el bloc de notas de windows y, a continuación, se coloca en la raíz de un sitio Web se comunica directamente con los motores de araña y bot indicando que les donde las páginas o secciones e insertar en sus páginas de búsqueda y qué no.
La configuración correcta de robots.txt , puede evitar contenido duplicado, indexación en las páginas de archivos y documentos que no deben ser visibles a los extraños y rápida indexación en cuando la araña reducirá su tiempo de trabajo y desde allí puede informarle de la sitemap del sitio y por supuesto evitar sanciones y pérdida de rango de página.
La correcta configuración para crear los robots.txt es muy sencillo, personalizable, abrir un nuevo archivo de texto creará instrucciones dedicadas para cada araña conocida como los que siguen:
Googlebot (Google)
Googlebot-imagen (Google)
Googlebot-mobile (móvil)
msnbot (MSN Search)
Yahoo-sorber (Yahoo)
Yahoo-mmcrawler (Yahoo MM)
Yahoo-blogs/v 3.9
Teoma (Ask/Teoma)
Twiceler (Cuil)
Robozilla (Comprobador de Dmoz)
ia_archiver (Alexa)
baiduspider (Baidu)
En el caso de quiera evitar la propagación de una carpeta que contenga Google imágenes creará una cadena:
User-agent: Googlebot-Image
Disallow: / directorio_de_imagenes _a_no_indexar
Si usted no tiene acceso al servidor puede hacer lo mismo mediante comandos para poner directamente en la página estática o directamente en las plantillas que controlan la generación de ciertas páginas con una línea simple "meta" para excluirlos de los motores:
< meta name = "robots" content = "noindex, follow" > | < meta name = "robots" content = "noindex" >
O de otro tipo para indicar la araña al índice:
< meta name = "robots" content = "index, follow" / >
Pero indicar el mapa del sitio, en cambio, es muy simple, sólo un comando antes de la ruta:
Mapa del sitio: http://www.nombre_de_su_web.com/sitemap.xml
N.B. Para la generación de Robots.txt también puede utilizar la herramienta adecuada en Google Webmaster que hará mucho más fácil y correcto desarrollo. CUERPAZO el posicionamiento seo perfecto robotstxt