Tema: Actividad en mi red sospechosa [servidor casero]

[Higi]

Hola a todos, os cuento.

Tengo un servidor casero y un blog en amazon EC2 (Dabo y gallir tienen la culpa  ). Suelo trabajar con los dos, paso backups y esas cosas.
El tema es que nunca he visto actividad en la red sospechosa, pero desde que cree un post en mi blog en amazon, en el que enlazaba pdfs ubicados en mi servidor casero, cada x tiempo la red muestra una gran actividad de red, monitorizando con iptraf veo que las conexiones abiertas provienen de mis propios servidores entre si.
Es normal? Por que ademas el blog es nuevo y apenas tiene visitas, descarto que sean conexiones de usuarios descargando esos pdfs. En Piwik mientras hay actividad en la red no muestra nuevas visitas.

No se si me he explicado bien. No pongo la direccion del blog para no hacer spam.

[Liamngls]

Podría ser un tema de rastreadores de los buscadores que estén constantemente monitorizando y haciendo peticiones de archivos.

De todos modos igual habría que saber más datos como si tienes los backups automatizados, si usas un robots.txt y que tienes puesto, etc ... o que pegues algún log de ese tráfico concreto para poder analizarlo.

[Higi]

Hola, en el blog que tengo en amazon tengo este archivo para robots:

Código: [Seleccionar]

User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /wp-includes/

En el lado de mi servidor casero donde estan los pdfs no hay ningun robots.txt, es un servidor que tengo para mis cosas, y  en el directorio publico cuelgo algunas cosas para compartir.

Creo que era un tema de crawlers, ya no ha vuelto a suceder, solo si agrego un nuevo pdf a un post, entonces vuelve a pasar.

[Liamngls]

Mírate esto:

http://www.emezeta.com/articulos/robots-txt-todo-lo-que-deberia-saber

Yo uso este:

http://www.sigt.net/desarrollo-web/robotstxt-para-wordpress.html

Te recomiendo que tengas algo más extenso para controlar mejor lo que los robots indexan y lo que no y sobre todo las peticiones para que no se vuelvan locos con estas cosas. De hecho si ves que te da mucho problema puedes poner uno en el servidor casero y no permitir el indexado de la carpeta de los pdf's (y cualquiera que consideres que no deben indexar).

[Higi]

Gracias Liamgls, acabo de modificar el robots.txt en ambos servidores 

[Liamngls]

Pues ya nos contarás que tal va el asunto, si se reproduce el problema o no y eso