robots.txt 生成

可视化生成 robots.txt 规则

工具简介

robots.txt 生成器:可视化生成网站爬虫规则文件。

工作原理

按填写的 User-agent、Allow/Disallow 路径与 Sitemap 地址,组装为标准 robots.txt 格式输出。

使用方法

在输入框粘贴或输入文本,按需设置参数,结果即时或点击处理后生成,可一键复制。

温馨提示

处理均在当前页面完成,复制结果前可先检查预览效果。

相关工具

橙子皮工具箱(your-domain.com)聚合 657 个免费在线小工具,覆盖文档转换、开发工具、文本处理、图片工具、计算换算、日期时间、生活查询等场景。全部工具即开即用,无需安装客户端;内容持续更新中。

橙子皮工具箱 · 657 个免费在线工具 · 免安装 · 持续更新  返回首页