Autor Tema: Robots-txt me bloquea bingbot (SOLUCIONADO)  (Leído 6258 veces)

Desconectado esbrinartot

  • Junior Member
  • **
  • Mensajes: 85
  • www.daboweb.com
Robots-txt me bloquea bingbot (SOLUCIONADO)
« en: 06 de Diciembre de 2013, 11:53:35 am »
Ya hace varios meses que veo que google posiciona muy bien los post que voy escribiendo pero para bing se puede decir que no existo. Me indexa las páginas pero me posiciona mal.

Por lo tanto hice una cuenta de bing webmaster para ver si se puede mejorar algo. Lo primero que hice fue enviar el sitemap.xml

Pues resulta que no lo puedo hacer porqué dice que mi robots.txt bloquea el envío. Y no veo el porqué lo bloquea.

El robots.txt que utilizo es exactamente el mismo que el de esta web. (Alguien sabe cual es la frase del txt que bloquea bingbot o que pueda enviar el mapa?)

User-agent: googlebot

Disallow: /?s=
Disallow: /search
Disallow: /feed/*
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/*
Disallow: /*/feed/rss/*
Disallow: /*/trackback/*
Disallow: /*/*/feed/*
Disallow: /*/*/feed/rss/*
Disallow: /*/*/trackback/*
Disallow: /*/*/*/feed/*
Disallow: /*/*/*/feed/rss/*
Disallow: /*/*/*/trackback/*

User-agent: *

Disallow: /wp-content/uploads
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /wp-admin
Disallow: /wp-
Disallow: /wp-includes/
Disallow: /wp-content/

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /

User-agent: noxtrumbot
Crawl-delay: 50
Disallow: /

User-agent: msnbot
Crawl-delay: 30
Disallow: /

User-agent: Slurp
Crawl-delay: 30
Disallow: /


Desconectado Liamngls

  • Administrator
  • ******
  • Mensajes: 15688
    • Manuales-e
Re:Robots-txt me bloquea bingbot
« Respuesta #1 en: 06 de Diciembre de 2013, 02:28:33 pm »
No veo que tengas el bingbot añadido, podrías probar a añadir la url del sitemap en el robots.txt y probar a ver si te lo coge así:

Código: [Seleccionar]
Sitemap: http://www.tudominio.com/sitemap.xml
Otra opción es que el bot que te esté rastreando en nombre de bing sea el msnbot que le tienes bloqueado todo el sitio y por tanto no cogería el sitemap. Yo en el mío lo tengo puesto así:

Código: [Seleccionar]
User-agent: msnbot
Crawl-delay: 30

Desconectado esbrinartot

  • Junior Member
  • **
  • Mensajes: 85
  • www.daboweb.com
Re:Robots-txt me bloquea bingbot
« Respuesta #2 en: 06 de Diciembre de 2013, 08:04:45 pm »
Efectivamente,

Era el msnbot. Me parecia que msnbot ya no existia después de la aparición de bingbot. Ahora el problema ya está solucionado. A ver si simplemente enviando el mapa bing me posiciona mejor.

Saludos

 

Aviso Legal | Política de Privacidad | Política de Cookies

el contenido de la web se rige bajo licencia
Creative Commons License