数据采集工具-Gather


前言

Gather是一个数据采集工具,使用python3编写,使用的时候请确保运行环境为python3.6以上。Gather支持Fofa,钟馗之眼(Zoomeye),Shodan的数据采集。

使用说明

Gather极力避免各种繁杂的参数,使用-aF or aZ or -aS 指定特定采集方式即可。

git clone https://github.com/EASY233/Gather.git
pip install -r requirements.txt
python3 Gather.py -h
  -aF         Using fofa to collect data
  -aZ         Using Zoomeye to collect data
  -aS         Using Shodan to collect data

配置文件

在根目录下的config.py进行api等配置,注意fofa不是使用api进行调用而是使用爬虫的方式,需要填入fofa_token(没有钱开通会员,没有办法使用api进行测试所以没有写api调用版本~)。

fofa_token = ""
# 一轮抓取结束后,休眠时间,防止被fofa拉黑
time_sleep = 5
time_out = (10, 10)
page_host_limit = 10

# Zoomeye配置文件
email = ""
password = ""

# Shodan配置文件
api_key = ""

运行效果

通过fofa进行数据采集,该脚本修改自开源项目:[fofa_spider-1.0.3

通过Zoomeye进行数据采集:

通过Shodan进行数据采集:


文章作者: EASY
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 EASY !
 上一篇
python中requests库一些注意事项 python中requests库一些注意事项
前言最近使用requests库的时候发现了一些以前自已没有注意到的问题,这里记录一下。 爬虫乱码问题.text方法的缺陷首先我们思考一下Python-requests中的.content和.text方法的区别。 .text 返回的是Bea
2021-04-18 EASY
下一篇 
使用wireshark分析nmap扫描方式 使用wireshark分析nmap扫描方式
前言主机ip:192.168.10.40 扫描主机ip:192.168.10.54 使用全连接模式扫描(-sT)原理:通过调用TCP connect()来向目标端口发送连接请求通过发送SYN数据包请求建立连接,若靶机开启端口则会建立完整的T
2021-03-17 EASY
  目录