pfindBot

pfindBot es el rastreador de pfind.pro, un buscador de repuestos para maquinaria industrial y pesada. Lee las páginas de producto de los proveedores de repuestos para que un comprador que busca un número de parte encuentre la oferta y vaya a la página del propio proveedor para comprar.

Qué descarga

Páginas de producto, feeds de productos y sitemaps de proveedores de repuestos, y robots.txt. Las imágenes de producto las descarga pfindBot-Image, para mostrar una miniatura junto al enlace al proveedor. pfindBot nunca hace pedidos, no rellena formularios ni inicia sesión.

Cómo se comporta

Respeta robots.txt, incluido Crawl-delay, y lo vuelve a leer al menos una vez al día. Solicita páginas a un ritmo moderado y reduce la velocidad cuando un sitio responde 429 o 503.

Cómo reconocerlo

El user agent contiene pfindBot/1.0 (+https://pfind.pro/bot) para las páginas y pfindBot-Image/1.0 (+https://pfind.pro/bot) para las imágenes.

Cómo limitarlo o bloquearlo

Agregue a su robots.txt un grupo para pfindBot. Por ejemplo, para mantenerlo fuera de todo el sitio:

User-agent: pfindBot
Disallow: /

Un grupo para pfindBot también se aplica a pfindBot-Image, a menos que le dé al rastreador de imágenes un grupo propio. El cambio surte efecto en un día.

Contacto

Preguntas o un problema con pfindBot: [email protected].