pfindBot

pfindBot er søkeroboten til pfind.pro, en søkemotor for deler til industrimaskiner og anleggsmaskiner. Den leser produktsidene til leverandører av deler, slik at en kjøper som søker etter et delenummer, finner tilbudet og går til leverandørens egen side for å kjøpe.

Hva den henter

Produktsider, produktfeeder og nettstedskart (sitemaps) fra leverandører av deler, og robots.txt. Produktbilder hentes av pfindBot-Image, for å vise et miniatyrbilde ved siden av lenken til leverandøren. pfindBot legger aldri inn bestillinger, fyller aldri ut skjemaer og logger aldri inn.

Hvordan den oppfører seg

Den følger robots.txt, inkludert Crawl-delay, og leser filen på nytt minst én gang i døgnet. Den henter sider i moderat tempo og senker farten når et nettsted svarer med 429 eller 503.

Hvordan du kjenner den igjen

User-agent-strengen inneholder pfindBot/1.0 (+https://pfind.pro/bot) for sider og pfindBot-Image/1.0 (+https://pfind.pro/bot) for bilder.

Hvordan du begrenser eller blokkerer den

Legg til en gruppe for pfindBot i robots.txt. Slik holder du den for eksempel borte fra hele nettstedet:

User-agent: pfindBot
Disallow: /

En gruppe for pfindBot gjelder også pfindBot-Image, med mindre du gir bilderoboten en egen gruppe. Endringen trer i kraft innen et døgn.

Kontakt

Spørsmål eller problemer med pfindBot: [email protected].