超详细robots.txt大全和禁止目录收录及指定页面 - 简书
robots.txt文件的作用及写法介绍
robots.txt是什么?robotstxt怎么写?
robots文件生成,robots.txt文件生成- 站长工具
建站之路037根目录robots.txt文件问题解决 - 百度经验
90% 的人都用错了!robots.txt 正确用法全揭秘! - 知乎
什么是Robots.txt?robots文件生成工具以及Robots.txt的规范写法
Robots.txt协议的写法 - 知乎
Robots.txt使用指南_robots.txt功能、完整使用指南-CSDN博客