pfindBot

pfindBot is de crawler van pfind.pro, een zoekmachine voor onderdelen van industriële machines en grondverzetmachines. Hij leest de productpagina's van leveranciers van onderdelen, zodat een koper die op een onderdeelnummer zoekt het aanbod vindt en naar de eigen pagina van de leverancier gaat om te kopen.

Wat hij ophaalt

Productpagina's, productfeeds en sitemaps van leveranciers van onderdelen, en robots.txt. Productafbeeldingen worden opgehaald door pfindBot-Image, om een miniatuur naast de link naar de leverancier te tonen. pfindBot plaatst nooit bestellingen, vult geen formulieren in en logt nergens in.

Hoe hij zich gedraagt

Hij volgt robots.txt, inclusief Crawl-delay, en leest het bestand minstens eenmaal per dag opnieuw. Hij vraagt pagina's in een rustig tempo op en vertraagt wanneer een site met 429 of 503 antwoordt.

Hoe u hem herkent

De user agent bevat pfindBot/1.0 (+https://pfind.pro/bot) voor pagina's en pfindBot-Image/1.0 (+https://pfind.pro/bot) voor afbeeldingen.

Hoe u hem beperkt of blokkeert

Voeg in uw robots.txt een groep toe voor pfindBot. Bijvoorbeeld om hem van de hele site te weren:

User-agent: pfindBot
Disallow: /

Een groep voor pfindBot geldt ook voor pfindBot-Image, tenzij u de afbeeldingencrawler een eigen groep geeft. De wijziging werkt binnen een dag.

Contact

Vragen of een probleem met pfindBot: [email protected].