pfindBot

pfindBot er crawleren fra pfind.pro, en søgemaskine for reservedele til industri- og entreprenørmaskiner. Den læser produktsiderne hos leverandører af reservedele, så en køber, der søger på et reservedelsnummer, finder tilbuddet og går til leverandørens egen side for at købe.

Hvad den henter

Produktsider, produktfeeds og sitemaps hos leverandører af reservedele samt robots.txt. Produktbilleder hentes af pfindBot-Image for at vise et miniaturebillede ved siden af linket til leverandøren. pfindBot afgiver aldrig ordrer, udfylder aldrig formularer og logger aldrig ind.

Hvordan den opfører sig

Den overholder robots.txt, inklusive Crawl-delay, og læser filen igen mindst én gang om dagen. Den henter sider i et moderat tempo og sænker farten, når et website svarer med 429 eller 503.

Sådan genkender du den

User agent-strengen indeholder pfindBot/1.0 (+https://pfind.pro/bot) for sider og pfindBot-Image/1.0 (+https://pfind.pro/bot) for billeder.

Sådan begrænser eller blokerer du den

Tilføj en gruppe for pfindBot i din robots.txt. For eksempel for at holde den væk fra hele websitet:

User-agent: pfindBot
Disallow: /

En gruppe for pfindBot gælder også for pfindBot-Image, medmindre du giver billedcrawleren sin egen gruppe. Ændringen træder i kraft inden for et døgn.

Kontakt

Spørgsmål eller et problem med pfindBot: [email protected].