pfindBot

pfindBot to robot indeksujący pfind.pro, wyszukiwarki części do maszyn przemysłowych i ciężkiego sprzętu. Czyta strony produktów dostawców części, aby kupujący, który szuka numeru części, znalazł ofertę i przeszedł na stronę dostawcy, żeby kupić.

Co pobiera

Strony produktów, pliki produktowe i mapy witryn dostawców części oraz robots.txt. Zdjęcia produktów pobiera pfindBot-Image, aby pokazać miniaturę obok linku do dostawcy. pfindBot nigdy nie składa zamówień, nie wypełnia formularzy i nie loguje się.

Jak się zachowuje

Przestrzega robots.txt, w tym Crawl-delay, i odczytuje go ponownie co najmniej raz dziennie. Pobiera strony w umiarkowanym tempie i zwalnia, gdy witryna odpowiada 429 lub 503.

Jak go rozpoznać

User agent zawiera pfindBot/1.0 (+https://pfind.pro/bot) dla stron i pfindBot-Image/1.0 (+https://pfind.pro/bot) dla zdjęć.

Jak go ograniczyć lub zablokować

Dodaj do swojego robots.txt grupę dla pfindBot. Na przykład, aby nie wpuszczać go do całej witryny:

User-agent: pfindBot
Disallow: /

Grupa dla pfindBot dotyczy też pfindBot-Image, chyba że nadasz robotowi zdjęć własną grupę. Zmiana zaczyna działać w ciągu doby.

Kontakt

Pytania lub problem z pfindBot: [email protected].