Google和必应都无法替代的10大深网搜索引擎

标签: 资讯 安全资讯 深网 | 发表时间:2017-06-26 07:00 | 作者:secist
分享到:
出处:http://www.freebuf.com

Deepweb_GBHackers.jpg

当我们想要搜索某些内容时,我们第一个想到的就是打开Google、百度或必应这类的搜索引擎。但针对有些内容,却是这些常规搜索引擎无法获取到的,那就是隐藏在深网的内容。据不完全统计,深网的信息量为表层网络的500倍。那么,深网主要都包含了些什么内容呢?其实,深网主要包括的都是些,例如需要某些条件如注册、付费,才能访问的内容,如数据库和某些服务等。而常规搜索引擎通常只会对静态网页进行抓取,而对于这些存储在数据库中的内容,对其而言几乎是不可见的。其次,当我们使用Google时,Google还可能对我们的活动轨迹进行跟踪。这对于要求匿名的用户而言,也是不可接受的。

为什么Google搜索不到深网的内容?

这是因为所有的Deb网站( .onion)都是没有索引的,而正常的搜索引擎通常都是通过目标网页索引来获取内容的。因此对于没有索引的搜索结果则不会被Google所收录。此外,在搜索过程中还会和服务器建立连接,这样对我们的隐私和安全也带来了一定的隐患。

“据研究人员介绍,只有4%的互联网对公众可见,剩下的96%的网站和数据则隐藏在Deep web。”

此外,深网中还包含了许多非法内容,例如毒品,武器交易,高度成熟的黑客工具,色情,军事机密等。

robots文件

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件会告诉蜘蛛程序,在服务器上什么文件是可以被查看/禁止查看的。如果某些页面被设为不可查看,那么搜索引擎也是无法正常获取到的。

说了这么多,那么有没有既可以保证高度匿名性,又可以获取到深网内容的搜索引擎呢?下面,我将为大家推荐十款比Google,必应更加“强大”搜索引擎:

1.  pipl

pipl.png

Pipl是一款为搜索网络上的人物信息而生的搜索引擎。不同于传统意义上的搜索引擎,Pipl是专为检索“深网”上的信息而设计的。Pipl的爬虫能够与可搜索的数据库打交道,从中提取个人信息、联系方式、成员名录、科学出版物、法院记录以及其它很多“深网”内容。

Pipl目前提供五种方式搜索方式搜索特定人物:名字、Email地址、用户名、电话号码以及还处于BETA版的商业搜索。

Pipl所关注的不仅仅是找到更多的结果,它还通过高级语言分析和排名算法将与你搜索关键词最相关最匹配的结果以简单的单页形式展示给你。

2.  My Life

Mylife.png

MyLife是一个全面的成年人资料数据库,可以根据姓名、年龄、邮编等信息来查询你想要找的人。

MyLife的服务可以通过整合Twitter、Facebook、LinkedIn、Friendster和Flickr等社交网站的数据,帮助用户在互联网上找人。MyLife用户是免费注册,但如果要使用单身搜索、查看谁在搜索自己等高级功能,用户就需要付费。

MYLIFE网站还推出了一个全新的个人关系管理系统(PRM),是一个基于浏览器的服务,让用户在同一个内容流里就能看到Facebook、Twitter和LinkedIn的订阅源并进行答复、“赞”、转推等操作。

3.  Yippy

Yippy.png

Yippy是一个将多个搜索引擎信息结合在一起,然后得出统计结果的集成化搜索引擎。如果你想检索暗网的信息,Yippy便是一个不错的工具。暗网因其存储在专用网络而被屏蔽难以发现,而Yippy提供的搜索结果将帮助你发现不被传统搜索引擎检索到的隐藏网站。

4.  Surfwax

surfwax.png

SurfWax是一个元搜索引擎,能限定最多返回结果条数和排序方法,检索速度一般。该搜索引擎有一个显著特点,即点击每条结果左边的“网址按钮”图标,可浏览该结果包括的任何页面,并显示搜索语句在文件中的位置。可以把搜索结果和文件存储起来以备后用。此外,焦点字(FocusWords)功能提供搜索词在各种不同含义下的同义词/近义词、上位词、下位词的列表,辅助选择词语检索。

5.  Way Back Machine

Wayback.png

通过Wayback Machine可以搜索某一特定网站过去(从1996年到现在)的样子。实现对Web过去的存档要求一百太字节的存储空间,并包含一百亿个网页!网页存档起初是由Alexa项目的负责人收集的。你可以在你的电脑上安装一个提供网站信息和排名的工具栏。

在Wayback Machine网站上,你可以搜索和链接你喜欢的网站,看它们过去的样子,你会发现它们像时间“快照”一样保存着。例如,你可以看到whatis.com网站在1996年的样子,也可以看见它在1997年及以后的样子。

6.  Google Scholar

Google.png

GoogleScholar学术搜索专门在期刊论文、理论摘要及其他学术著作文献中进行搜索,内容从医学、物理学到经济学、计算机科学等等,横跨多个学术领域以及大量书籍和整个网络中的学术性的文章。它虽然不支持中文,但可以用拼音搜索国内学者在国际刊物上发表的文章。这个搜索引擎搜索国外的资料非常方便,输入一个学者的名字,就可以搜索出其全部在网上的文章,并且可以知道在哪个数据库,以及该篇文章被多少篇其它文章所引用,以及所引用文章的目录等等。同时该学者所著的书也都有显示,并告知该书被哪些图书馆所收藏,或其它可能获得的商业途径。

GoogleScholar的搜索结果可以过滤掉普通搜索结果中的大量垃圾信息,排列出文章的不同版本以及被其他文章所引用的次数,还可以通过引用链接方便的找到与搜索结果关联的其它相关学术资料,对于学生、学者以及其他需要经常查阅学术文章的人来说是非常实用的。

7.  DuckDuckgo

duck-duck-go.jpg

害怕信息被泄露,想要匿名访问互联网?DuckDuckGo将是你的首选!DuckDuckGo不会保存你的任何浏览信息、社交文件、邮件等,这也是跟Google最大的区别。DuckDuckGo的用户非常喜欢像「zero-click」这样的功能,快速无线下拉设计真的是懒人福利。更棒的是,DuckDuckGo并沒有像Google那么多广告,以及经常弹出广告等问题。DuckDuckGo甚至还配备了自己的Tor出口中继,帮助Tor用户提高搜索性能。

8.  Fazzle

fazzle.png

Fazzle是一个支持英文发文和荷兰文的元搜索引擎。它即可进行一般的网址搜索,又有一个主题目录可提供专题的资源搜索。其前身为SearchOnline著名元搜索引擎。

9.  not Evil

not-evil.png

不像其他的Tor搜索引擎,not Evil是一个不以营利为目的的搜索引擎。它是专门设计用于搜索暗网内容的搜索引擎,堪称暗网中的谷歌。此外,它的安全性体验度也做的非常的到位。既没有多余的广告推送,也不会对用户的搜索行为进行跟踪。再加上其不断更新的搜索算法,用户很容易就能通过它找到想要的内容或信息。值得一提的是,在此之前该项目被人们广泛的称为TorSearch。

10.  Start Page

startpage.png

StartPage是由Ixquick推出的一个托管在美国和荷兰的搜索引擎服务,通过免费匿名代理提供谷歌搜索和图片搜索结果,号称是世界上最安全的保密型搜索引擎。该搜索引擎非常注重把对用户隐私的保护,它不会收集和分享任何用户的资料。

在Startpage,Ixquick的隐私与谷歌的搜索结果紧密相连。你可以放心使用这些来自世界上最受欢迎的搜索引擎搜索的结果,并受到Ixquick的隐私保护,这是世界上最大的私有搜索引擎。并且还受到了第三方权威机构——欧洲的联盟隐私倡议机构EuroPriSe的认证。 2008年7月14日,Ixquick被授予第一个欧洲隐私认证。

*参考来源: gbhackers,FB小编 secist 编译,转载请注明来自FreeBuf(FreeBuf.COM)

相关 [google 必应 搜索引擎] 推荐:

Google和必应都无法替代的10大深网搜索引擎

- - FreeBuf.COM | 关注黑客与极客
当我们想要搜索某些内容时,我们第一个想到的就是打开Google、百度或必应这类的搜索引擎. 但针对有些内容,却是这些常规搜索引擎无法获取到的,那就是隐藏在深网的内容. 据不完全统计,深网的信息量为表层网络的500倍. 那么,深网主要都包含了些什么内容呢. 其实,深网主要包括的都是些,例如需要某些条件如注册、付费,才能访问的内容,如数据库和某些服务等.

Google式的搜索引擎实现

- - 行业应用 - ITeye博客
Nutch是一个基于Lucene,类似Google的完整网络搜索引擎解决方案,基于Hadoop的分布式处理模型保证了系统的性能,类似Eclipse的插件机制保证了系统的可客户化,而且很容易集成到自己的应用之中.   Nutch 0.8 完全使用Hadoop重写了骨干代码,另有很多地方作了合理化修正,非常值得升级.

Google Plus 第三方搜索引擎:Google Plus Search

- 老男人 - cnBeta.COM
Google Plus 目前仍在 beta  版状态,而针对 Google Plus 的官方搜索应用至今没有推出. 用户需要搜索 Google+ 上的东西,需要手动在 Google 搜索框里加上 "关键字 site:plus.google.com",不是特别方便. 目前有一些非官方的 Google Plus 搜索应用,例如 Google Plus Search.

第三方 Google+ 搜索引擎 Google Plus Search

- Ivy - 谷奥——探寻谷歌的奥秘
Google Plus 目前仍在 beta  版状态,而针对 Google Plus 的官方搜索应用至今没有推出. 用户需要扫过 Google+ 上的东西,需要手动在 Google 搜索框里加上 "关键字 site:plus.google.com",不是特别方便. Google Plus Search  是一个非官方的 Google Plus 搜索应用,支持中文.

给浏览器添加SSL加密的Google搜索引擎

- Sam - cnBeta.COM
今天 Google 宣布其搜索引擎也开始支持 SSL 加密传输,以更好地保障用户的数据安全,当然一定程度上也缓解了国内使用Google搜索经常被重置的现象. 下面我介绍一下怎样在主流的浏览器上使用 SSL 加密的Google搜索,包括 IE,Firefox,Chrome,Opera,需要注意的是,如果被转入google.com.hk,请选择主页下的 Go to Google.com ,之后可以正常使用.

Google公布调整搜索引擎算法的细节

- tt5ryan - Solidot
淘宝网女装秋装 写道 "尽管Google拥有很多开放的产品和项目,但搜索引擎算法一直是保密的. 换句话说,搜索是Google的一个黑盒子. Google此前表示,如果Google向外界公布搜索引擎算法,那么将会引起搜索结果排序的混乱. 但Google周五在官方博客上发布了一则视频,视频给出了Google工程师调整搜索引擎算法的细节.

Bing 利用自己的搜索引擎暗讽 Google 邪恶

- HaWk - cnBeta.COM
今天Google软件工程师Andy Arnt爆料称在Bing里输入两个搜索关键字,即可看到暗讽Google的搜索结果OneBox. 两个关键字分别是:more evil than satan himself(比撒旦本人还邪恶,如上图):.

九月美国搜索引擎市场Google略有上升

- ArmadilloCommander - Solidot
深圳SEO 写道 "comScore周三发布了(中文)全美九月份美国搜索引擎市场份额报告,Google仍占主导,从64.8%增加到65.3%;雅虎从16.3%降至15.5%; 虽然Bing与Facebook有搜索业务的合作关系,但是Facebook并没有给微软的搜索份额带来显著的提高,名列第三,它的份额仍然是14.7%.

叫板Google,YaCy发布开源搜索引擎

- 洋白菜 - 36氪
一个名叫YaCy的项目要在搜索市场上向Google叫板,放出了一个开源搜索引擎,在互联网和内联网皆可使用. YaCy引擎基于点对点连接,而不是通过中央服务器进行搜索查询. 用户下载该软件后就可以进行搜索,保证内容不被审查、搜索结果不会被中央服务器记录和分析. “我们在网络上的大多数行为都和搜索有关,这是我们和所要信息的关键一环.

针对Google与百度搜索引擎的优化

- - 网站运营优化
  从实践上来看,只要抓住seo的根本原理,做好基础优化,一般来说在所有搜索引擎中排名都会不错. 不通搜索引擎算法上的细微差别造成排名不通是正常的. 但对于一个真正优秀的网站来说,不会有天壤之别的.   百度和google的区别:在收录方面,google很容易收录新网站和新页面,一两个质量不必很高的外部连接,就能让新网站收录.