Reseñamos este interesante artículo de emezeta, sobre el fichero robots.txt. “Un archivo de texto que dicta unas recomendaciones para que todos los crawlers y robots de buscadores cumplan“. Explicaciones de uso, configuración y reglas expuestos de un modo sencillo y con ejemplos que a buen seguro nos serán de utilidad.
¿Quieres comentar algo sobre este post? Puedes hacerlo en nuestro foro de noticias.
