robots.txt文件解读 - 简书
robots.txt生成器 - robots.txt写法 - robots协议
赤绳系足网
【手把手小白保姆教学】Python爬虫系列 -- 02 篇_网络爬虫的君子协议...
robots.txt文件详解「建议收藏」-腾讯云开发者社区-腾讯云
robots协议文件作用以及写法详解 - 知乎
robots.txt详解[通俗易懂] - GaoYanbing - 博客园
ctfshow-web入门-php特性(web132-web136)_ctfshow web133-CSDN博客
Robots.txt 指南:SEO 最佳实践