Inicio SEO Límites de Baidu y Yandex Bot: demasiado spam
Límites de Baidu y Yandex Bot: demasiado spam
Tengo un extraño lo que sucedió hace mucho tiempo. Mi anfitrión, las personas siempre muy agradable y familiar, contactó y dice Watch seoline que tenemos demasiado en su actividad de bot de sitio. ¿Eso no es un ataque Dos? Con café en mano incluso temprano en la mañana mirar el sitio en cuestión, y digo pero va más allá, no Paypal o visa.com (humor negro, que ha entendido el chiste que se enfrentan a un silbido).
A continuación, espero realmente que se ejecute en mi sitio y veo sobre 40bot entre Yandex y Badu.
Yandex es mi buen conocimiento (me puse a escribir algo sobre este buscador ruso) porque he trabajado para un ucraniano y Yandex está en segundo lugar como un motor de búsqueda.
El problema de yandex es que demasiados robots llegan a su sitio. Por supuesto no se puede prohibir IP de bot porque después encontrará cualquier página en sus índices
A continuación, resuelto la cuestión de bots demasiados en mi sitio simplemente ajustando todo mediante el robots.txt:
Agente de usuario: *
Retraso de rastreo: 10
Donde el agente de usuario poner nuestro bot, yandex es yandexbot o similar.
Google no es necesario, generalmente con análisis de 2-3 el día de nuestro sitio. LA BAIDU SE DIVORCIA DE YANDEX baidu bot y yandex bot