Daboweb | Seguridad y ayuda informática |

Reseñamos este interesante artículo de emezeta, sobre el fichero robots.txt. «Un archivo de texto que dicta unas recomendaciones para que todos los crawlers y robots de buscadores cumplan«. Explicaciones de uso, configuración y reglas expuestos de un modo sencillo y con ejemplos que a buen seguro nos serán de utilidad.

Leer artículo robot.txt..