超详细robots.txt大全和禁止目录收录及指定页面 - 简书
robots.txt文件的作用及生成-CSDN博客
攻防世界Web练习区Writeup_writeup是什么意思-CSDN博客
robots.txt文件的作用及写法(史上最详细版本) - 百恒网络
攻击者如何利用robots.txt文件?
2013 年 5月 13 日 随笔档案 - 子夏子 - 博客园
【爬虫系列】robots.txt由来原理场景用法示例详解 - 知乎
10分钟搞懂网站Robots.txt - 王会博客
WordPress 的 robots.txt 设置方法 - 知乎