VERIFICAR ROBOTS.TXT
Leia as regras de rastreamento do site e teste se o rastreador pode acessar o caminho de destino.
VERIFICAR ROBOTS.TXT Manual do usuário
- Preencha os parâmetros ou selecione o arquivo de acordo com o formulário e verifique primeiro a unidade e o formato.
- Selecione BaiduUspider para testar o caminho /news/.
- Clique no botão de processamento para ver os resultados, você pode copiar ou baixar e salvar.
Método de cálculo e regras de processamento
Ler robots.txt e permissão de correspondência e proibição de regras por proxy do usuário e correspondência de caminhos.
Escopo de uso
Os controles de robôs controlam o rastreamento, não igual se a página está indexada.
O conteúdo de entrada será salvo no servidor?
Esta ferramenta envia as condições de consulta à interface deste site para obter resultados; O número do celular envia apenas o primeiro segmento de 7 dígitos.
Por que o resultado pode ser diferente de outras ferramentas?
Os controles de robôs controlam o rastreamento, não igual se a página está indexada. Compare primeiro a unidade de entrada, o método de arredondamento, as regras aplicáveis e a versão dos dados.