D
Dev工具箱
首页
SEO工具
首页
/
Robots.txt 生成
Robots.txt 生成器
快速生成网站根目录的 robots.txt,控制搜索引擎爬虫访问范围。
预设策略
允许全部收录
禁止全部收录
自定义规则
允许路径(每行一条)
禁止路径(每行一条)
Sitemap 地址
Crawl-delay(秒,可选)
生成
复制
下载 robots.txt
生成结果
robots.txt 注意事项
文件必须放在网站根目录,如
https://域名/robots.txt
。
禁止路径不等于安全防护,敏感接口仍需鉴权。
修改后可用各搜索引擎的 robots 测试工具验证。
相关工具