pfindBot

pfindBot è il crawler di pfind.pro, un motore di ricerca di ricambi per macchine industriali e mezzi pesanti. Legge le pagine prodotto dei fornitori di ricambi, così che un acquirente che cerca un codice ricambio trovi l'offerta e vada sulla pagina del fornitore per acquistare.

Cosa scarica

Pagine prodotto, feed prodotti e sitemap dei fornitori di ricambi, e robots.txt. Le immagini dei prodotti le scarica pfindBot-Image, per mostrare una miniatura accanto al link al fornitore. pfindBot non effettua mai ordini, non compila moduli e non accede ad alcun account.

Come si comporta

Rispetta robots.txt, incluso Crawl-delay, e lo rilegge almeno una volta al giorno. Richiede le pagine a un ritmo moderato e rallenta quando un sito risponde 429 o 503.

Come riconoscerlo

Lo user agent contiene pfindBot/1.0 (+https://pfind.pro/bot) per le pagine e pfindBot-Image/1.0 (+https://pfind.pro/bot) per le immagini.

Come limitarlo o bloccarlo

Aggiunga al suo robots.txt un gruppo per pfindBot. Ad esempio, per tenerlo lontano da tutto il sito:

User-agent: pfindBot
Disallow: /

Un gruppo per pfindBot vale anche per pfindBot-Image, a meno che non dia al crawler delle immagini un gruppo proprio. La modifica ha effetto entro un giorno.

Contatti

Domande o un problema con pfindBot: [email protected].