pfindBot

pfindBot é o rastreador do pfind.pro, um buscador de peças para máquinas industriais e pesadas. Ele lê as páginas de produto dos fornecedores de peças para que um comprador que procura um número da peça encontre a oferta e vá à página do próprio fornecedor para comprar.

O que ele acessa

Páginas de produto, feeds de produtos e sitemaps de fornecedores de peças, e robots.txt. As imagens de produto são baixadas pelo pfindBot-Image, para mostrar uma miniatura ao lado do link para o fornecedor. O pfindBot nunca faz pedidos, não preenche formulários nem faz login.

Como ele se comporta

Ele respeita o robots.txt, incluindo Crawl-delay, e o relê pelo menos uma vez por dia. Ele solicita páginas em ritmo moderado e desacelera quando um site responde 429 ou 503.

Como reconhecê-lo

O user agent contém pfindBot/1.0 (+https://pfind.pro/bot) para páginas e pfindBot-Image/1.0 (+https://pfind.pro/bot) para imagens.

Como limitá-lo ou bloqueá-lo

Adicione ao seu robots.txt um grupo para pfindBot. Por exemplo, para mantê-lo fora do site inteiro:

User-agent: pfindBot
Disallow: /

Um grupo para pfindBot também vale para o pfindBot-Image, a menos que você dê ao rastreador de imagens um grupo próprio. A mudança passa a valer em até um dia.

Contato

Dúvidas ou um problema com o pfindBot: [email protected].