Robots.txt详解 - 简书
超详细robots.txt大全和禁止目录收录及指定页面 - 简书
网站之robots.txt文件_51CTO博客_robots.txt
robots.txt文件的作用及写法(史上最详细版本) - 百恒网络
赤绳系足网
robots.txt生成器 - robots.txt写法 - robots协议
【百度】“robots文件”常见问题解析 - 知乎
8.认识robots.txt到爬取信息_依照rebot.txt协议合法采集相关页面信息-C...
什么是robots.txt文件