robots.txt生成器
按允许和禁止路径生成爬虫规则，可附加站点地图地址。
robots.txt生成器使用说明
- 按照表单填写参数或选择文件，先核对单位和格式。
- 禁止路径填写/private/，允许路径填写/。
- 点击处理按钮查看结果，可以复制或下载保存。
计算方法与处理规则
生成指定User-agent的Allow、Disallow与可选Sitemap行。
使用范围
robots不能保护隐私或阻止恶意访问，也不等于禁止索引。
输入内容会保存在服务器吗？
本工具在浏览器内处理输入，不上传文件或表单内容。打字练习成绩只保存在本机浏览器。
为什么结果可能与其他工具不同？
robots不能保护隐私或阻止恶意访问，也不等于禁止索引。 请先比较输入单位、取整方法、适用规则和数据版本。