Robots.txt 生成器

快速生成网站根目录的 robots.txt,控制搜索引擎爬虫访问范围。

robots.txt 注意事项

  • 文件必须放在网站根目录,如 https://域名/robots.txt
  • 禁止路径不等于安全防护,敏感接口仍需鉴权。
  • 修改后可用各搜索引擎的 robots 测试工具验证。