pfindBot

pfindBot on tööstus- ja ehitustehnika varuosade otsingumootori pfind.pro veebiroomaja. See loeb varuosade tarnijate tootelehti, et osanumbrit otsiv ostja leiaks pakkumise ja läheks ostma tarnija enda lehele.

Mida see laadib

Varuosade tarnijate tootelehti, tootevooge ja saidikaarte ning faili robots.txt. Tootepilte laadib pfindBot-Image, et näidata tarnija lingi kõrval pisipilti. pfindBot ei esita kunagi tellimusi, ei täida vorme ega logi sisse.

Kuidas see käitub

See järgib faili robots.txt, sealhulgas direktiivi Crawl-delay, ja loeb selle uuesti vähemalt kord päevas. See pärib lehti mõõduka tempoga ja aeglustab tempot, kui sait vastab koodiga 429 või 503.

Kuidas seda ära tunda

Kasutajaagendi string sisaldab lehtede puhul pfindBot/1.0 (+https://pfind.pro/bot) ja piltide puhul pfindBot-Image/1.0 (+https://pfind.pro/bot).

Kuidas seda piirata või blokeerida

Lisa oma faili robots.txt grupp kasutajaagendile pfindBot. Näiteks selleks, et hoida see kogu saidist eemal:

User-agent: pfindBot
Disallow: /

Kasutajaagendi pfindBot grupp kehtib ka kasutajaagendile pfindBot-Image, kui pildiroomajale pole antud oma gruppi. Muudatus jõustub ühe päeva jooksul.

Kontakt

Küsimused või probleemid roomaja pfindBot kohta: [email protected].