Vérification robots.txt
Lisez les règles d'analyse du site et testez si le robot d'exploration peut accéder au chemin cible.
Vérification robots.txt Manuel d'utilisation
- Remplissez les paramètres ou sélectionnez le fichier en fonction du formulaire, puis vérifiez l'unité et formatez d'abord.
- Sélectionnez BaiduUspider pour tester le chemin /news/.
- Cliquez sur le bouton Traitement pour afficher les résultats, vous pouvez copier ou télécharger et enregistrer.
Méthode de calcul et règles de traitement
Lecture de robots.txt et l'autorisation de correspondance et les règles d'interdiction par le proxy d'utilisateur et la correspondance de chemin.
Champ d'utilisation
Robots contrôle l'exploration, pas égal à la question de savoir si la page est indexée.
Le contenu d'entrée sera-t-il enregistré sur le serveur ?
Cet outil envoie les conditions de requête à l'interface de ce site pour obtenir des résultats ; Le numéro de téléphone mobile n'envoie que le premier segment de nombre à 7 chiffres.
Pourquoi le résultat peut-il être différent des autres outils ?
Robots contrôle l'exploration, pas égal à la question de savoir si la page est indexée. Veuillez comparer l'unité d'entrée, la méthode d'arrondissement, les règles applicables et la version des données en premier.