robots.txt 在线生成工具

工具介绍与功能

robots.txt 是一个纯文本文件，用于告诉搜索引擎爬虫（如Google、百度）哪些页面可以访问，哪些页面不可以访问。本工具可以帮您快速生成符合标准的 robots.txt 文件，无需手动编写复杂的规则。

• 多搜索引擎支持：支持 Google、百度、Bing、搜狗、360搜索等主流搜索引擎的 User-agent 配置
• 灵活的访问控制：自定义禁止访问的目录和文件，支持通配符匹配
• 爬虫延迟设置：配置 Crawl-delay 参数，控制爬虫访问频率，保护服务器资源
• Sitemap 集成：可添加 Sitemap 地址，帮助搜索引擎更快发现和索引网站内容
• 一键下载：生成后可直接下载为 robots.txt 文件，或复制内容到剪贴板

使用方法

1. 输入网站地址：填写您的网站完整 URL（如 https://example.com）
2. 选择搜索引擎：勾选需要配置的搜索引擎，或选择"所有搜索引擎"应用通用规则
3. 配置禁止访问路径：在"禁止访问的目录/文件"中输入不希望被爬取的路径，每行一个（如 /admin/、/private/）
4. 设置可选参数：根据需要配置允许访问路径、爬虫延迟和 Sitemap 地址
5. 生成并下载：点击"生成 robots.txt"按钮，然后下载或复制生成的内容
6. 上传到网站：将 robots.txt 文件上传到网站根目录（如 https://yourdomain.com/robots.txt）
7. 验证配置：通过浏览器访问 https://yourdomain.com/robots.txt 验证文件是否可访问

安全保障

• 本地处理：所有数据在浏览器本地处理，不上传服务器，保护您的网站配置隐私
• 标准规范：生成的文件完全符合 robots.txt 协议标准，兼容所有主流搜索引擎
• 格式验证：自动验证输入格式，避免生成无效的配置文件
• 无数据存储：不记录任何用户输入的网站地址或配置信息

注意事项

• 文件位置：robots.txt 必须放在网站根目录下，文件名必须全小写
• 生效时间：搜索引擎爬虫需要一段时间才能发现和应用新的 robots.txt 规则（通常几小时到几天）
• 安全提示：robots.txt 不能作为安全防护手段，敏感内容应通过服务器访问控制或身份验证保护
• 通配符规则：* 表示任意字符序列，$ 表示 URL 结尾，不同搜索引擎对通配符支持程度不同
• 测试工具：Google Search Console 和百度站长工具提供 robots.txt 测试功能，建议生成后进行测试
• Allow 优先级：Allow 规则通常优先于 Disallow 规则，可用于覆盖禁止访问的特定路径