中文
Robots.txt生成器
创建、验证和测试robots.txt文件。阻止AI爬虫，WordPress/Shopify/Wix模板。免费。
Platform Preset
Rules
AI Crawlers
Control which AI bots can access your site
AI Training Crawlers
AI Search Bots
Social Media Crawlers
Blocking these may break link previews
Sitemap URL
Crawl-Delay
seconds
Preview
Everything runs in your browser — no data sent to any server
如何创建robots.txt
- 选择模板。
- 添加规则。
- 阻止AI爬虫。
- 添加Sitemap。
- 预览和下载。
控制AI爬虫
阻止GPTBot和Google-Extended等训练爬虫，同时允许Googlebot和Bingbot。
平台模板
为WordPress、Shopify、Wix和内容网站优化的模板。
验证robots.txt
检查语法错误、重复规则和缺失的Sitemap声明。
测试URL访问
选择User-Agent并输入路径，检查URL是否被允许或阻止。
免费、私密、无限制
完全在浏览器中运行。无上传、无账户、无限制。
常见问题
robots.txt文件告诉搜索引擎爬虫哪些页面可以或不可以访问。它位于域名的根目录中。
不完全是。它阻止爬取，但如果其他网站链接到该页面，它仍可能出现。要完全阻止，请使用noindex。
可以！此工具包含切换开关，可以阻止AI训练爬虫，同时允许AI搜索机器人。
模板为WordPress、Shopify、Wix或内容网站提供优化的robots.txt。
不会。一切都在浏览器中100%运行。不会上传或存储任何数据。
下载文件并上传到网站的根目录。
Join our WhatsApp channelGet updates on new tools and tips directly to your phone
Join →释放全部潜力
无限访问所有工具、优先处理和高级功能。