Robots.txt生成器
免费在线robots.txt生成器。创建和自定义robots.txt文件，控制搜索引擎爬取，管理爬虫访问，通过可视化编辑器优化网站SEO。
什么是robots.txt？
Robots.txt是放置在网站根目录下的文本文件，用于指示网络爬虫（如Googlebot）可以或不可以访问哪些页面或目录。它是机器人排除协议（REP）的一部分。
robots.txt应该放在哪里？
将robots.txt放在域名的根目录：https://www.example.com/robots.txt。搜索引擎会在这个确切位置查找它。
User-agent是什么意思？
User-agent指定规则适用于哪个爬虫。使用*表示所有爬虫，或指定特定的机器人如Googlebot、Bingbot或Baiduspider。
Allow和Disallow有什么区别？
Allow允许爬虫访问特定路径，而Disallow阻止访问。当同一路径存在两条规则时，Disallow优先。
robots.txt能阻止访问页面吗？
Robots.txt提供指令但不强制执行访问控制。合规的爬虫会遵守规则，但恶意机器人可能会忽略它们。使用服务器端认证或密码保护实现真正的安全。
如何在robots.txt中指定站点地图？
添加Sitemap指令：Sitemap: https://www.example.com/sitemap.xml。这有助于搜索引擎发现您所有重要的页面。
什么是Crawl-delay？
Crawl-delay告诉爬虫在请求之间等待指定的秒数。例如：Crawl-delay: 10表示等待10秒。注意：Google不支持此指令。
应该用robots.txt阻止管理页面吗？
是的，阻止管理区域（/admin/、/wp-admin/）可以防止不必要的爬取并减少服务器负载。但是，被阻止的页面即使从其他地方链接也不会出现在搜索结果中。
可以有多个User-agent部分吗？
可以，您可以为不同的爬虫设置独立的规则集。每个User-agent块应该有自己的Allow/Disallow规则。
robots.txt能改善SEO吗？
间接来说，是的。通过控制搜索引擎爬取的内容，您可以将它们的注意力集中在重要页面上，防止重复内容问题，并减少服务器负载。
如果robots.txt缺失会怎样？
如果robots.txt不存在，爬虫假设可以访问所有页面。对于小型网站通常没问题，但对于大型网站可能会导致不需要的页面被索引。
如何测试我的robots.txt文件？
使用Google Search Console的robots.txt测试工具，或我们内置的验证器检查语法，查看不同爬虫如何解释您的规则。
可以阻止特定文件类型吗？
可以，使用带文件扩展名的Disallow：Disallow: /*.pdf$阻止所有PDF文件。使用$匹配URL的结尾。
robots.txt区分大小写吗？
是的，robots.txt区分大小写。/Admin/和/admin/被视为不同的路径。为保持一致性，请始终使用小写。
如何使用Robots.txt生成器
用可视化编辑器生成规范的 robots.txt：按爬虫添加规则、允许或禁止路径，并声明站点地图。所有内容均在浏览器本地生成。
- 从默认规则组开始，其 User-Agent 为 *，适用于所有遵守 robots.txt 的爬虫。
- 点击 Add Path 追加一条规则，在 Allow 和 Disallow 之间切换，并输入类似 /path/ 的路径。
- 再添加一个组，为特定 User-Agent（例如 Googlebot）设置更严格或更宽松的规则。
- 在 Sitemap 字段中填入你的站点地图网址，例如 https://www.localtoolz.com/sitemap.xml。
- 需要时设置抓取延迟（多数爬虫填 0 即不限制），然后把生成的 robots.txt 复制到网站根目录。
路径区分大小写且按前缀匹配：Disallow: /admin/ 会屏蔽 /admin/ 下所有页面，而单独的 Disallow: / 会屏蔽整站——上线前务必检查。
相关工具
- 站点地图生成器 免费在线XML站点地图生成器。添加URL、设置优先级和更新频率，在浏览器中即时创建SEO友好的站点地图。
- Chmod 计算器 免费在线chmod计算器，通过复选框可视化Linux文件权限并计算chmod值。即时转换数字(755, 644)和符号(rwxr-xr-x)表示法，支持setuid、setgid、sticky bit等特殊权限。
- ASCII码表 完整的ASCII字符编码参考表，包含十进制、十六进制、八进制、二进制编码、HTML实体和字符描述。支持即时搜索和筛选。
- HAR 查看器 在线打开 HAR 文件。请求表带状态码配色、排序与过滤、请求/响应头、响应体预览与耗时瀑布图——本地解析，绝不上传。
- IBAN验证器 即时验证国际银行账号(IBAN)。检查80多个国家的格式、长度、国家代码和校验和，实时显示结果。
- HTTP 请求测试 在浏览器中直接测试 REST API。发送 GET、POST、PUT、DELETE 请求，自定义请求头、请求体和查询参数，即时查看响应状态、头部和 JSON 内容。
- 随机端口生成器 从 IANA 标准范围生成随机网络端口号——知名端口 (1-1023)、注册端口 (1024-49151) 和动态端口 (49152-65535)。支持唯一值、排序和批量生成。100% 浏览器端运行，无需服务器。
- .htaccess生成器 生成Apache .htaccess规则，包括重定向、重写、安全头、缓存、压缩等。