pfindBot

pfindBot este crawlerul pfind.pro, un motor de căutare pentru piese de utilaje industriale și utilaje grele. Citește paginile de produs ale furnizorilor de piese, astfel încât un cumpărător care caută un cod de piesă să găsească oferta și să ajungă pe pagina furnizorului pentru a cumpăra.

Ce descarcă

Pagini de produs, fluxuri de produse și sitemap-uri ale furnizorilor de piese, precum și robots.txt. Imaginile produselor sunt descărcate de pfindBot-Image, pentru a afișa o miniatură lângă linkul către furnizor. pfindBot nu plasează comenzi, nu completează formulare și nu se autentifică.

Cum se comportă

Respectă robots.txt, inclusiv Crawl-delay, și îl recitește cel puțin o dată pe zi. Solicită paginile într-un ritm moderat și încetinește când un site răspunde cu 429 sau 503.

Cum îl recunoașteți

User agent-ul conține pfindBot/1.0 (+https://pfind.pro/bot) pentru pagini și pfindBot-Image/1.0 (+https://pfind.pro/bot) pentru imagini.

Cum îl limitați sau îl blocați

Adăugați în robots.txt un grup pentru pfindBot. De exemplu, pentru a-l ține departe de întregul site:

User-agent: pfindBot
Disallow: /

Un grup pentru pfindBot se aplică și lui pfindBot-Image, dacă nu dați crawlerului de imagini un grup propriu. Modificarea intră în vigoare în decurs de o zi.

Contact

Întrebări sau o problemă cu pfindBot: [email protected].