超详细robots.txt大全和禁止目录收录及指定页面 - 简书
禁止抓取机制robots.txt设置方法及注意事项 - 简书
小熊猫2010 - 博客园
8 个常见的 robots.txt 问题及修复方法 - 知乎
关于Robots.txt和SEO: 你所需要知道的一切
百度站长平台Robots检测更新的时候出现错误 - 知乎
2022自学kali linux学习笔记_john --show-CSDN博客
robots.txt详解[通俗易懂]-腾讯云开发者社区-腾讯云
robots文件生成 - 站长工具