robots.txt チェック
サイトのクロール ルールを読み、クローラがターゲット パスにアクセスできるかどうかをテストします。
robots.txt チェック ユーザーマニュアル
- パラメータを入力するか、フォームに従ってファイルを選択し、最初に単位とフォーマットを確認してください。
- /news/ パスをテストするには、Baiduuspider を選択します。
- 処理ボタンをクリックして結果を表示すると、コピーまたはダウンロードして保存できます。
計算方法と処理規則
robots.txt を読み取り、権限を照合し、ユーザー プロキシとパス マッチングによるルールの禁止。
使用範囲
ロボットは、ページがインデックス化されているかどうかに関係なく、クロールを制御します。
入力コンテンツはサーバーに保存されますか?
このツールは、クエリ条件をこのサイトのインターフェイスに送信して結果を取得します。 携帯電話番号は、最初の 7 桁の番号セグメントのみを送信します。
結果が他のツールと異なるのはなぜですか?
ロボットは、ページがインデックス化されているかどうかに関係なく、クロールを制御します。 入力ユニット、丸め方法、適用ルール、データ バージョンを最初に比較してください。