Robots.txt 生成器

为搜索引擎爬虫生成 robots.txt 引导文件

返回工具列表

工具面板

本地处理
正在加载工具...
关于Robots.txt 生成器

按爬虫分组配置允许与禁止路径，可附加 Sitemap 地址，复制前可预览整份文件。

  • 1

    按你填的清单输出标准指令：`User-agent` / `Allow` / `Disallow` / 可选的 `Sitemap`——只做这一件事，不替你猜规则。

  • 2

    输出把 Allow 写在 Disallow 前面，但**书写顺序不影响语义**：匹配规则是「最长路径优先」，长度相同时 Allow 胜出。所以 `Disallow: /` 配 `Allow: /public/` 才能整站禁止、开一个白名单口子。

  • 3

    一次生成一个 `User-agent` 段；要给多个爬虫不同规则，生成多段拼起来即可（每段都从 `User-agent` 行开始）。

相关工具

查看全部
编程开发

Cron 表达式生成器

可视化配置并生成 Linux Crontab 定时任务表达式

编程开发
Cron 表达式生成器
编程开发

Gitignore 生成器

为你的项目生成通用的 .gitignore 文件

编程开发
Gitignore 生成器
编程开发

JWT 生成器

生成 JSON Web Token 用于测试

编程开发
JWT 生成器
编程开发

UUID 生成器

批量生成随机 UUID (v4)

编程开发
UUID 生成器
编程开发

NanoID 生成器

生成小巧、安全、URL 友好的随机 ID

编程开发
NanoID 生成器
编程开发

ULID 生成器

生成可排序的唯一标识符

编程开发
ULID 生成器
编程开发

哈希生成器

生成 MD5、SHA1、SHA256、SHA512 等哈希值

编程开发
哈希生成器