站长 SEO 工具
robots.txt 生成器
用于快速生成搜索引擎抓取规则，声明允许抓取、禁止抓取和 sitemap 地址。
生成后可放到网站根目录的 robots.txt。
Allow1
Disallow2
Sitemap1
关于robots.txt 生成器
生成 robots.txt 抓取规则，支持 User-agent、Allow、Disallow、Crawl-delay 和 Sitemap。
如何使用
- 填写 User-agent。
- 按行添加 Allow、Disallow 和 Sitemap。
- 复制生成的 robots.txt 内容并放到网站根目录。
使用示例
- 禁止后台、搜索结果页或临时目录被抓取。
- 在 robots.txt 中声明 sitemap 地址。
常见问题
robots.txt 能保证页面不被收录吗？
不能完全保证。robots.txt 主要控制抓取行为，如果页面已经被外部链接发现，仍可能以有限信息出现在搜索结果中。
robots.txt 应该放在哪里？
应放在网站根目录，例如 https://example.com/robots.txt。