pfindBot

pfindBot est le robot d'exploration de pfind.pro, un moteur de recherche de pièces pour machines industrielles et engins lourds. Il lit les pages produit des fournisseurs de pièces, afin qu'un acheteur qui cherche une référence trouve l'offre et se rende sur la page du fournisseur pour acheter.

Ce qu'il récupère

Les pages produit, les flux produits et les sitemaps des fournisseurs de pièces, ainsi que robots.txt. Les images produit sont récupérées par pfindBot-Image, pour afficher une vignette à côté du lien vers le fournisseur. pfindBot ne passe jamais de commande, ne remplit aucun formulaire et ne se connecte à aucun compte.

Comment il se comporte

Il respecte robots.txt, y compris Crawl-delay, et le relit au moins une fois par jour. Il demande les pages à un rythme modéré et ralentit lorsqu'un site répond 429 ou 503.

Comment le reconnaître

L'user agent contient pfindBot/1.0 (+https://pfind.pro/bot) pour les pages et pfindBot-Image/1.0 (+https://pfind.pro/bot) pour les images.

Comment le limiter ou le bloquer

Ajoutez à votre robots.txt un groupe pour pfindBot. Par exemple, pour le tenir à l'écart de tout le site :

User-agent: pfindBot
Disallow: /

Un groupe pour pfindBot s'applique aussi à pfindBot-Image, sauf si vous donnez au robot des images son propre groupe. Le changement prend effet dans la journée.

Contact

Questions ou problème avec pfindBot : [email protected].