pfindBot

pfindBot är sökroboten (crawlern) bakom pfind.pro, en sökmotor för reservdelar till industri- och entreprenadmaskiner. Den läser produktsidorna hos reservdelsleverantörer, så att en köpare som söker på ett reservdelsnummer hittar erbjudandet och går vidare till leverantörens egen sida för att köpa.

Vad den hämtar

Produktsidor, produktflöden och webbplatskartor (sitemaps) hos reservdelsleverantörer, samt robots.txt. Produktbilder hämtas av pfindBot-Image för att visa en miniatyrbild bredvid länken till leverantören. pfindBot lägger aldrig beställningar, fyller aldrig i formulär och loggar aldrig in.

Hur den beter sig

Den följer robots.txt, inklusive Crawl-delay, och läser om filen minst en gång om dagen. Den hämtar sidor i måttlig takt och saktar ner när en webbplats svarar med 429 eller 503.

Hur du känner igen den

User agent-strängen innehåller pfindBot/1.0 (+https://pfind.pro/bot) för sidor och pfindBot-Image/1.0 (+https://pfind.pro/bot) för bilder.

Hur du begränsar eller blockerar den

Lägg till en grupp för pfindBot i din robots.txt. Till exempel, för att hålla den borta från hela webbplatsen:

User-agent: pfindBot
Disallow: /

En grupp för pfindBot gäller även pfindBot-Image, om du inte ger bildroboten en egen grupp. Ändringen får effekt inom ett dygn.

Kontakt

Frågor eller problem med pfindBot: [email protected].