Reseñamos este interesante artículo de emezeta, sobre el fichero robots.txt. "Un archivo de texto que dicta unas recomendaciones para que todos los crawlers y robots de buscadores cumplan". Explicaciones de uso, configuración y reglas expuestos de un modo sencillo y con ejemplos que a buen seguro nos serán de utilidad.
--
--
Reseñamos este interesante artículo de emezeta, sobre el fichero robots.txt. "Un archivo de texto que dicta unas recomendaciones para que todos los crawlers y robots de buscadores cumplan". Explicaciones de uso, configuración y reglas expuestos de un modo sencillo y con ejemplos que a buen seguro nos serán de utilidad.