爬虫的另一种思路 -- robots.txt - 简书
robots.txt文件解读 - 简书
robots.txt详解[通俗易懂]-腾讯云开发者社区-腾讯云
Robots.txt协议的写法 - 知乎
攻击者如何利用robots.txt文件?
robots.txt详解_chinadaily的robots.txt-CSDN博客
Robots.txt使用指南_robots.txt功能、完整使用指南-CSDN博客
Python的爬虫如何应对robots.txt里内容奇怪的网站? - 知乎
robots文件生成 在线网站robots.txt文件生成器 iP138在线工具