robots.txt Проверка
Прочтите правила обхода сайта и проверьте, может ли искатель доступа к целевому пути.
robots.txt Проверка Руководство пользователя
- Заполните параметры или выберите файл в соответствии с формой и сначала проверьте устройство и формат.
- Выберите BaiduusPider для проверки пути /news/.
- Нажмите кнопку обработки, чтобы просмотреть результаты, вы можете скопировать или загрузить и сохранить.
Метод расчета и правила обработки
Чтение Robots.txt и сопоставление и запрета правил по прокси-серверу пользователя и сопоставлению пути.
Сфера использования
Роботы контролируют сканирование, а не то, что страница проиндексирована.
Будет ли сохраненный контент сохраняться на сервере?
Этот инструмент отправляет условия запроса на интерфейс этого сайта для получения результатов; Номер мобильного телефона отправляет только первый 7-значный сегмент.
Почему результат может отличаться от других инструментов?
Роботы контролируют сканирование, а не то, что страница проиндексирована. Сначала сравните входной блок, метод округления, применимые правила и версию данных.