|
2019年4月12日1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档,命名为robots.txt放在网站的根目录下即可。 robots.txt写法如下: User-agent: * Disallow: 或者 User-agent: * Allow: / 2如果我们禁止所有搜索引擎访问网站的所有部分的话 robots.txt写法如下: User-agent
2021年7月24日访问http://dbcha.com/进行域名ctfshow.com的TXT记录查询。TXT记录用来保存域名的附加文本信息。 关于域名的各种记录的说明:https://www.huaweicloud.com/articles/68fd58eb20ea4ec43d7605d077eae9fd.html Web12 先访问robots.txt: 再访问/admin/即可登录,密码是首页最下方的电话号码。 Web13 底下有个超链接: ...
2019年3月4日“robots.txt” contains 429 entries which should be manually viewed 正常情况下,robos.txt 文件是不会产生报错信息的,所以尝试另一种思路,进行网站的目录暴破,通常我们只会对后台管理页面感兴趣,但是那个会要求输入密码,所以只需要过滤 401响应代码的页面 root@kali:~# dirb http://10.10.10.154 | grep "COD...
2024年4月18日 
2020年11月20日将生成的1.txt文件双url编码,老生常谈,因为要在浏览器url输入必须要再编码一次,这里直接给出脚本,脚本我顺便加上了gopher协议等等可以直接打,如果题目ip不同可以自行更改。 import urllib.parse f = open(r'1.txt','rb') s = f.read() s = urllib.parse.quote(s) ...
2025年5月16日Robots协议 BeautifulSoup 基于bs4库的HTML内容遍历方法 基于bs4库的HTML内容查找方法 正则表达式 Re库 Re库的等价用法 Re库的Match对象 Scrapy 使用fake-useragent对User-Agent进行伪装 例子 获取图片/视频 中国大学排名定向爬虫 股票数据定向爬虫 结语 Requests 库 ...
2022年6月11日robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 知识+1,robots可以理解为web应用与...
