pfindBot

pfindBot on indeksointirobotti, jota käyttää pfind.pro, teollisuus- ja työkoneiden varaosien hakukone. Robotti lukee varaosatoimittajien tuotesivuja, jotta varaosanumerolla hakeva ostaja löytää tarjouksen ja siirtyy ostamaan toimittajan omalle sivulle.

Mitä se hakee

Varaosatoimittajien tuotesivuja, tuotesyötteitä ja sivustokarttoja sekä tiedoston robots.txt. Tuotekuvat hakee pfindBot-Image, jotta toimittajan linkin viereen voidaan näyttää pikkukuva. pfindBot ei koskaan tee tilauksia, täytä lomakkeita eikä kirjaudu sisään.

Miten se toimii

Se noudattaa robots.txt-tiedostoa, myös Crawl-delay-ohjetta, ja lukee sen uudelleen vähintään kerran päivässä. Se pyytää sivuja maltillisella tahdilla ja hidastaa, kun sivusto vastaa koodilla 429 tai 503.

Miten sen tunnistaa

Sivuja haettaessa user agent -merkkijono sisältää tekstin pfindBot/1.0 (+https://pfind.pro/bot) ja kuvia haettaessa tekstin pfindBot-Image/1.0 (+https://pfind.pro/bot).

Miten sitä rajoitetaan tai miten se estetään

Lisää robots.txt-tiedostoon ryhmä nimelle pfindBot. Esimerkiksi näin se pidetään poissa koko sivustolta:

User-agent: pfindBot
Disallow: /

Ryhmä pfindBot koskee myös robottia pfindBot-Image, ellei kuvarobotille anneta omaa ryhmää. Muutos tulee voimaan vuorokauden kuluessa.

Yhteystiedot

Kysymykset ja ongelmat, jotka koskevat robottia pfindBot: [email protected].