IT企业利用云计算平台Hadoop的10种方式
如果你是世界上广大 Hadoop 用户的一员,你肯定知道 Google 曾经靠着分布式计算技术(Hadoop),在搜索引擎和广告方面取得了举世瞩目的成就。现在的 Hadoop 不仅是当年的老二 Yahoo 的专用产品了,从 Hadoop 长长的用户名单中,可以看到 Facebook, 可以看到 Linkedin,可以看到 Amazon,可以看到 EMC, eBay,Tweeter,IBM, Microsoft, Apple, HP…。国内的公司有淘宝、百度等等。而今天我们要探讨的是,Hadoop 作为基础云计算平台,除了广告,IT 公司还用哪些方式在利用 Hadoop。
1. 在线旅游
云计算供应商 Cloudera COO Kirk Dunn 表示,目前上 80% 的世界在线旅游使用了 Cloudera 的 Hadoop 服务。他没有透露具体的名单,但著名的 Orbitz Worldwide 是我知道的客户之一。
2. 移动数据
目前 Cloudera 为美国 70% 的智能手机提供 Hadoop 支持,我们可以确定 Dunn 讲的是无限供应商支持的移动数据储存和处理。
3. 电子商务
Dunn 表示 Cloudia 为美国超过 1000 万在线商家提供 Hadoop 服务,eBay 是他们的一个大客户, 因为其要管理一个庞大的个人卖家市场,卖家数量达到 1000 万以上。而 Ebay 在用 Hadoop 服务 90 天后,纯利润增加了3%。
4. 能源发现
雪佛龙代表解释了他们公司利用 Hadoop 的实例:通过分类和处理海洋地震数据可以预测石油储备状况。
5. 节能
雪佛龙代表同时还表示 Hadoop 还用在节能上,雪佛龙利用 Hadoop 来支持其节能系统,顾客们按照系统提示节能的同时也节省了不少钱。而相关人士甚至表示这个理念可以用到精确和长期的基金预测上。
6. 基础架构管理
越来越多的 IT 公司在收集和分析他们的服务器数据,在 Cloudera 讨论会上, NetApp 代表表示他们公司利用 Hadoop 技术从全部的安装点上收集设备 logs (超过千万亿的 logs 数量)。
7. 图片处理
创业公司“Skybox 图片”正是利用 Hadoop 来储存和处理图片的,这些图片是卫星根据地理变化的模式有规律地抓取的高清图片。Skybox 最近获得了 7000 万美元的融资。
8. 欺诈识别
这是个经典实用的话题,这在财政机构和情报机构非常有市场。Cloudera 客户之一 Zions Bancorporation 表示他们利用 Hadoop 储存一切可能预示欺骗性的用户交易和异常情况数据。
9. IT 安全
除了基础架构管理,IT 公司们也开始用 Hadoop 来处理恶意软件和网络攻击数据。去年 Trust
就用 hadoop 为各种 IP 评定分数,然后各大公司就可以决定是否接受那些恶意 IP 的来访。
10. 医疗健康
目前 Apixio 正使用 Hadoop 来帮助他们对病人的回答做语义分析,从而帮助医生,护士更好的掌控病情。
Hadoop 定义:
1. 一个分布式系统基础架构,由 Apache 基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。
2. Hadoop 是一套开源的、基础是 Java 的、目前能够让数千台普通、廉价的服务器组成一个稳定的、强大的集群,使其能够对 pb 级别的大数据进行存储、计算。已经具有了强大稳定的生态系统,也具有很多使用的延伸产品。比如做查询的 Pig, 做分布式命名服务的 ZooKeeper, 做数据库的 Hive 等等。
Via gigaom