fofa稳定爬虫——可视化

前几天在批量测试漏洞，前提是需要有大量的url（例如教育网站的url），但是用了网上一些开源的爬虫后，都不是很理想，有的还需要自己二次开发。

所以趁着周末，就使用python的pyQT5插件开发一款可视化爬虫软件

• 目标地址：fofa搜索（主要是页面干净，好用，一次能搜索上万条数据）
• 防止反爬：

1. user-agent：设置指定user-agent头或者随机头
2. ip地址：
   1. x-forwarded-for：简单的头ip地址
   2. 代理池：牛批的随机更换ip地址（可以支持快代理）
3. referer：开启同源策略（虽然这个并无卵用，后期准备做批量扫描）
4. 保存/加载配置文件（方便操作）
5. cookie：很重要，要是想爬上万条数据，会员cookie必须得整一个
6. 页数：内定每页20，输入10，意味着爬取200条

界面如图所示：

麻雀虽小五脏俱全

例如：搜索“edu.cn"
会在当前文件夹内生成edu_ip.txt , edu_url.txt
数据量和稳定性十分可观！

生成的txt文件，可以用于多种用途

软件以打包成exe，可以直接运行

附上下载链接

链接：https://pan.baidu.com/s/1sZTLcXk8Fj7vAe9mr9R5iA
提取码：caso