pfindBot

pfindBot je robot za indeksiranje tražilice pfind.pro, namijenjene rezervnim dijelovima za industrijske i građevinske strojeve. Čita stranice proizvoda dobavljača dijelova kako bi kupac koji traži broj dijela pronašao ponudu i kupio dio na stranici samog dobavljača.

Što preuzima

Stranice proizvoda, feedove proizvoda i karte web-mjesta dobavljača dijelova te robots.txt. Slike proizvoda preuzima pfindBot-Image kako bi prikazao sličicu uz poveznicu na dobavljača. pfindBot nikada ne naručuje, ne ispunjava obrasce i ne prijavljuje se.

Kako se ponaša

Poštuje robots.txt, uključujući Crawl-delay, i ponovno ga čita barem jednom dnevno. Stranice dohvaća umjerenim tempom i usporava kada web-mjesto odgovori s 429 ili 503.

Kako ga prepoznati

User agent sadrži pfindBot/1.0 (+https://pfind.pro/bot) za stranice i pfindBot-Image/1.0 (+https://pfind.pro/bot) za slike.

Kako ga ograničiti ili blokirati

Dodajte grupu za pfindBot u svoj robots.txt. Na primjer, da mu zabranite pristup cijelom web-mjestu:

User-agent: pfindBot
Disallow: /

Grupa za pfindBot odnosi se i na pfindBot-Image, osim ako robotu za slike ne dodijelite vlastitu grupu. Promjena stupa na snagu u roku od jednog dana.

Kontakt

Pitanja ili problemi vezani uz pfindBot: [email protected].