pfindBot

pfindBot — пошуковий робот pfind.pro, пошукової системи запчастин до промислової техніки та спецтехніки. Він читає сторінки товарів постачальників запчастин, щоб покупець, який шукає номер деталі, знайшов пропозицію і купив її на сайті постачальника.

Що він завантажує

Сторінки товарів, товарні фіди та карти сайту постачальників запчастин, а також robots.txt. Зображення товарів завантажує pfindBot-Image, щоб показати мініатюру поруч із посиланням на постачальника. pfindBot ніколи не оформлює замовлень, не заповнює форм і не входить в облікові записи.

Як він поводиться

Він дотримується robots.txt, зокрема Crawl-delay, і перечитує його щонайменше раз на добу. Запитує сторінки в помірному темпі й сповільнюється, коли сайт відповідає 429 або 503.

Як його розпізнати

Рядок user agent містить pfindBot/1.0 (+https://pfind.pro/bot) для сторінок і pfindBot-Image/1.0 (+https://pfind.pro/bot) для зображень.

Як обмежити або заблокувати його

Додайте у файл robots.txt групу для pfindBot. Наприклад, щоб закрити для нього весь сайт:

User-agent: pfindBot
Disallow: /

Група для pfindBot діє й на pfindBot-Image, якщо Ви не задасте для робота зображень окрему групу. Зміна набирає чинності протягом доби.

Контакти

Запитання чи проблема з pfindBot: [email protected].