pfindBot

pfindBot ist der Crawler von pfind.pro, einer Suchmaschine für Ersatzteile von Industriemaschinen und Baumaschinen. Er liest die Produktseiten von Ersatzteil-Anbietern, damit ein Käufer, der nach einer Teilenummer sucht, das Angebot findet und zum Kauf auf die Seite des Anbieters wechselt.

Was er abruft

Produktseiten, Produkt-Feeds und Sitemaps von Ersatzteil-Anbietern sowie robots.txt. Produktbilder ruft pfindBot-Image ab, um neben dem Link zum Anbieter ein Vorschaubild zu zeigen. pfindBot gibt keine Bestellungen auf, füllt keine Formulare aus und meldet sich nirgends an.

Wie er sich verhält

Er befolgt robots.txt einschließlich Crawl-delay und liest die Datei mindestens einmal täglich neu. Er ruft Seiten in gemäßigtem Tempo ab und wird langsamer, wenn eine Website mit 429 oder 503 antwortet.

Woran man ihn erkennt

Der User-Agent enthält pfindBot/1.0 (+https://pfind.pro/bot) für Seiten und pfindBot-Image/1.0 (+https://pfind.pro/bot) für Bilder.

Wie man ihn einschränkt oder sperrt

Fügen Sie Ihrer robots.txt eine Gruppe für pfindBot hinzu. Zum Beispiel, um ihn von der gesamten Website fernzuhalten:

User-agent: pfindBot
Disallow: /

Eine Gruppe für pfindBot gilt auch für pfindBot-Image, sofern Sie dem Bild-Crawler keine eigene Gruppe geben. Die Änderung wirkt innerhalb eines Tages.

Kontakt

Fragen oder ein Problem mit pfindBot: [email protected].