Robots.txt para móvil

Si se tienen páginas específicas móviles en un subdominio o subdirectorio, las páginas del sitio web tienen normalmente menos histórico y tráfico, y menos enlaces entrantes comparación con el sitio estándar web. De este modo, frecuentemente las páginas estándar posicionan mejor que las páginas móviles, incluso en motores de búsqueda móviles.

Esto es uno de los problemas más complejos que afrontan los motores de búsqueda para móviles, pero mientras los algoritmos se desarrollan para superar este problema, esto se puede evitar de distintas formas. Para evitarlo, una de las opciones es mediante el uso de robots.txt. El archivo de robots.txt se almacena en el directorio raíz de un sitio web y se usa para indicar a las arañas o bots cómo se ha de indexar y evalúar un sitio web. Debido a que hay bots específicos para sitios móviles y bots específicos para sitios estándar, mediante el robots.txt se le puede indicar a los bots estándar que indexen un conjunto determinado de páginas y a los bots móviles que indexen otro conjunto de páginas. Para páginas móviles alojadas en subdirectorios, un archivo robots.txt previene a los bots tradicionales de indexar contenido móvil y de igual forma a los bots móviles de indexar contenido estándar.

Si se tiene el contenido móvil separado en un subdominio, se necesitan 2 archivos robots.txt: uno para el dominio principal y otro para el subdominio.

Más información en el tutorial de SEO para móviles y SEO Local