💡 Robots.txt工具使用说明

• User-agent：用于匹配搜索引擎爬虫名称，*代表对所有爬虫生效，也可以单独指定百度、谷歌等特定爬虫单独设置抓取权限。
• Disallow：禁止爬虫抓取指定网站目录或页面路径，填写路径如 /admin/，代表不让爬虫访问后台目录，留空则代表不限制任何路径。
• Allow：允许爬虫抓取对应路径，优先级高于Disallow。可用于全局禁止抓取时，单独开放某一个目录给爬虫收录。
• Sitemap站点地图：填写你的sitemap完整URL，告知爬虫网站页面清单，帮助搜索引擎更快发现、收录网站全部页面。
• 文件部署位置：robots.txt必须放置在网站根目录，访问地址为 域名/robots.txt，放在子目录不会被搜索引擎识别读取。
• SEO作用：合理配置可以屏蔽不需要收录的页面，减少爬虫无效抓取，节省服务器带宽，提升核心页面在搜索引擎的收录质量。