深入浅出——大数据的所有事情

标签: 大数据分析 | 发表时间:2014-03-14 10:52 | 作者:译文:安燃;校对:宋星
出处:http://www.techxue.com/forum.php

大数据是什么?为什么要使用大数据?大数据有哪些流行的工具?本文将为您解答。原文请见:Get the Complete Story with Big Data Analytics

作者:Kayden Kelly

现在,大数据是一个被滥用的流行词,但是它真正的价值甚至是一个小企业都可以实现。

通过整合不同来源的数据,比如:网站分析、社交数据、用户、本地数据,大数据可以帮助你了解的全面的情况。大数据分析正在变的 越来越容易,成本越来越低,而且相比以前能更容易的加速对业务的理解。

大数据通常与企业商业智能(BI)和数据仓库有共同的特点:高成本、高难度、高风险。

以前的商业智能和数据仓库的举措是失败的,因为他们需要花费数月甚至是数年的时间才能让股东得到可以量化的收益。然而事实并非如此,实际上你可以在当天就获得真实的意图,至少是在数周内。

为什么使用大数据?

数据在呈爆炸式的速度增长。其中一个显著的例子来自于我们的客户,他们大多使用谷歌分析。当他们分析一个长时间段数据或者使用高级细分时,谷歌分析的数据开始进行抽样,这会使得数据的真正价值被隐藏。

现在我们的工具Clickstreamr可以收集点击级的巨量的数据,因此你可以追踪用户在他们访问路径(或者访问流)中的每一个点击行为。另外,如果你加入一些其他的数据源,他就真正的变成了大数据。

更完整的解析


tableau-story-examples


大数据并不仅仅是大量的数据。他的真正意义在于根据相关的数据背景,来完成一个更加完整的报告。举个例子,如果你把你的CRM数据加入到你网站的数据分析当中,你可能就会找到你早就知道的高价值用户群。她们是女性,住在西海岸,年龄30至45,花费了大量的时间在Pinterest和Facebook。

现在你已经被这些知识武装起来了,那就是如何有效的设定和获取更多高价值的用户。

类似Tableau和谷歌这样的公司给用户带来了更加强大的数据分析工具(比如:大数据分析)。Tableau提供了一个可视化分析软件的解决方案,每年的价格是2000美金。谷歌提供了BigQuery工具,他可以允许你在数分钟内分析你的数据,并且可以满足任何的预算要求。

大数据是什么?

由于大数据往往是一个混合结构、半结构化和非结构化的数据,因此大数据变得难以关联、处理和管理,特别是和传统的关系型数据库。当谈到大数据的时候,高德纳公司(Gartner Group,成立于1979年,它是第一家信息技术研究和分析的公司)的分析师把它分成个3个V加以区分:

  • 量级(Volume):大量的数据
  • 速率(Velocity):高速的数据产出
  • 多样性(Variety):多种类型和来源的数据。

正如我们所说,大部分的企业每一天在不同的领域都在产出大量的数据。这里给出一组样本数据的来源及类型,他们都是企业在做大数据分析时潜在的收集和聚合数据的方式:

  • 网站分析
  • 移动分析
  • 设备/传感器数据
  • 用户数据(CRM)
  • 统一的企业数据(ERP)
  • 社交数据
  • 会计系统
  • 销售点系统
  • 销售体系
  • 消费者数据(例如益佰利的数据、邓氏商联的数据或者普查数据)
  • 公司内部电子表格
  • 公司内部数据库
  • 位置数据(空间位置、GPS定位的位置)
  • 天气数据

但是针对无限的数据来源,不要去做太多事情。把焦点放在相关的数据上,并且从小的数据开始。通常以2-3种数据源开始是一个好的建议,比如网站数据、消费者数据和CRM,这些会让你得到一些有价值的见解。在你最初进入大数据分析之后,你可以开始添加数据源来促进你的分析,并且公布更多的分析结果。

想要获得更多关于大数据细节的知识,可以去查阅维基百科的大数据词条。

大数据的好处

大数据提供了一种识别和利用高价值机会的前瞻性方法。如果你想,那么大数据可以提供如下好处:

  • 根据数据背景获得更完整的情况
  • 利用数据驱动做出更好的商业决策
  • 降低商业风险
  • 市场上最好的解决方案
  • 开发出更好的定制化产品或服务
  • 更好的预测客户的需求和想法
  • 迅速适应市场
  • 在实时数据的趋势和预测上更加主动
  • 建立精确的生命价值周期(LTV)、地图和用户类型
  • 阅读更长和更复杂的属性窗口(用于网站点击流数据)
  • 对通过细分的更复杂的导航进行可视化,并且改善你的转化漏斗(用于网站点击流数据)

并不适用所有人

请记住,大数据分析并不适合所有人。如果你没有安装并且制定分析中的目标、没有准备好归因模型、再营销和高级细分,那么你就没有为大数据做好准备。

如果你把谷歌分析使用到了极限,特别是由于他的采样数据。那么你已经准备好接触大数据的皮毛了。

入门级大数据解决方案

目前有一大批面向企业级的大数据解决方案,比如甲骨文、SAP,、IBM、EMC和惠普。但是。这篇文章是面向寻找入门级大数据解决方案的中小型企业的读者。下面我们将讨论数据分析的输出,并且分享两个相对廉价的解决方案,从而帮助你开始使用大数据分析。

分析结果的输出

目前对于大多数企业而言,数据分析主要还是针对核心数据。然而在未来,数据分析将不会采用采样数据,并且会结合其他来源的数据,使用更加复杂的工具(比如Tableau)去分析他。谷歌分析是一个伟大的工具,但是你能获得的结果目前已经到达极致了。

汇总数据的第一步往往是你输出数据分析的过程。

如果你是一个谷歌分析高级版的用户,这将很容易被推进。因为谷歌分析高级版集成了BigQuery功能来帮助企业推动大数据分析。(学习更多的关于数据分析及BigQuery的集成,请查看视频)

如果你是一个谷歌分析标准版的用户,也不用担心。我们已经开发了一个工具,它可以导出未采样的谷歌分析数据,并且把数据推送到BigQuery,或者其他的可以做大数据分析的数据仓库或者数据工具中。

(注:你可能也注意到了其他的可以导出谷歌分析未采样数据的工具,但是不同的是,这是我们的主要工作。作为一个谷歌分析工具的咨询公司,我们不得不经常帮助客户导出未采样的数据做报告用。但是当我们发现了其他工具的一些问题时,我们不得不自己创建一个更可靠的解决方案。)

一旦你导出了你的数据,你可以做好准备把它导入到一个大数据分析工具中进行存储、处理和可视化。这就给我们带来了最好的入门级大数据解决方案。

谷歌大数据解决方案 

googlebigquery

 

googlebigqueryscreen

谷歌BigQuery是一个网络服务,它能够让你执行数十亿行的大规模的数据集的交互分析。重要的是它很容易使用,并且允许精明的用户根据需求开发更加大的功能。

BigQuery采用你容易承受的按需定价的原则,当你开始存储和处理你的大数据查询时,每个月的花费只有几百美金。事实上,每个月前100GB的数据处理是免费的。随着你需求的增长,你可以拓展你的数据需求,并且为这部分需求买单。最好的消息是,BigQuery使得大数据存储和处理适用于所有人。

Tableau大数据解决方案

tableau-300x58

 

Tableau提供了4个强大的功能(也许更多)来促进大数据分析和预测分析。

  • Salesforce连接器允许你轻松的连接CRM和销售数据(更快、更容易的连接CRM和销售数据,所以如果你使用Salesforce,没有什么理由不加入大数据)
  • 谷歌分析链接可以帮助你更容易的创建自定义的仪表盘和报告(然而这个功能依旧需要升级才能变的更好)
  • 谷歌BigQuery连接器可以快速的分析在谷歌免费的网络服务中的大量数据。
  • 为任何点击行为的分析添加预测的功能(真正快速的预测)

数据分析师是关键 

企业想要利用大数据,是需要一个数据分析师的。他必须知道不同数据的用法,并且要授予工具连接数据的权限。

当一个数据分析师使用BigQuery或者Tableau来完成提取和合并数据时,他们可以发现在大型数据集合当中的隐藏的模式。这才是大数据分析的关键。它可以是决策者做出更好的决策,并且加强了更精细颗粒度的数据段的识别。

利用这个新技能,你可以发现不同的用户与网站的互动行为。你可以在谷歌分析中以此来创建新的高级细分规则并且针对你的市场或者网站活动做出更高的价值分析。

发现不明情况内的价值

tableau-pricing-supply你的很多不同的数据隐藏不明的情况,这些是希望被发现并告知的。开始把网站分析、CRM、社交数据、位置数据等不同的数据源进行结合。这会使你的数据有了相关的背景,并且允许你通过数据看到一个更加完整的情况。这一定会让你胜出竞争对手。

为了说明这点,我们举个例子,通过大数据分析汇总社交数据、位置数据、客户数据、销售数据,你可以发现在旧金山的社会化媒体的趋势。这使你可以利用用户需求的增加来增加特定地区的库存。

不要忘了大数据分析的黄金法则: 关注点,在正确的时间关注正确的商业问题。

如果你喜欢这篇文章,请你分享它、点赞。不要犹豫问问题,保持与我的沟通。

相关 [大数据] 推荐:

谈大数据(2)

- - 人月神话的BLOG
对于大数据,后面会作为一个系列来谈,大数据涉及的方面特别多,包括主数据,数据中心和ODS,SOA,云计算,业务BI等很多方面的内容. 前面看到一个提法,即大数据会让我们更加关注业务方面的内容,而云平台则更多是技术层面的内容. 对于大数据会先把各个理解的关键点谈完了,再系统来看大数据的完整解决方案和体系化.

大数据之惑

- - 互联网分析
算起来,接触大数据、和互联网之外的客户谈大数据也有快2年了. 也该是时候整理下一些感受,和大家分享下我看到的国内大数据应用的一些困惑了. 云和大数据,应该是近几年IT炒的最热的两个话题了. 在我看来,这两者之间的不同就是: 云是做新的瓶,装旧的酒; 大数据是找合适的瓶,酿新的酒. 云说到底是一种基础架构的革命.

白话大数据

- - 互联网分析
这个时代,你在外面混,无论是技术还是产品还是运营还是商务,如果嘴里说不出“大数据”“云存储”“云计算”,真不好意思在同行面前抬头. 是千万级别的用户信息还是动辄XXXTB的数据量. 其实,大数据在我的眼里,不是一门技术,而是一种技能,从数据中去发现价值挖掘价值的技能. ”当我掷地有声用这句话开场时,正好一个妹子推门而入,听到这句话,微微一怔,低头坐下.

交通大数据

- - 人月神话的BLOG
本文简单谈下智慧交通场景下可能出现的大数据需求和具体应用价值. 对于公交线路规划和设计是一个大数据潜在的应用场景,传统的公交线路规划往往需要在前期投入大量的人力进行OD调查和数据收集. 特别是在公交卡普及后可以看到,对于OD流量数据完全可以从公交一卡通中采集到相关的交通流量和流向数据,包括同一张卡每天的行走路线和换乘次数等详细信息.

全球10大数据库

- - 译言-电脑/网络/数码科技
原文: Fiorenttini   译者: julie20098. [非商业性转载必须注明译者julie20098和相关链接. ,否则视为侵权,追究转载责任. 世界气候数据中心:气候全球数据中心, 220TB 的网络数据, 6PB 的其它数据. 国家能源研究科学计算中心,有 2.8PB 容量.

谈大数据分析

- - 人月神话的BLOG
对于数据分析层,我们可以看到,其核心重点是针对海量数据形成一个分布式可弹性伸缩的,高查询性能的,支持标准sql语法的一个ODS库. 我们看到对于Hive,impala,InfoBright更多的都是解决这个层面的问题,即解决数据采集问题,解决采集后数据行列混合存储和压缩的问题,然后形成一个支撑标准sql预防的数据分析库.

大数据的一致性

- - 阳振坤的博客
看到了一篇关于数据一致性的文章:下一代NoSQL:最终一致性的末日. (  http://www.csdn.net/article/2013-11-07/2817420 ),其中说到: 相比关系型数据库,NoSQL解决方案提供了shared-nothing、容错和可扩展的分布式架构等特性,同时也放弃了关系型数据库的强数据一致性和隔离性,美其名曰:“最终一致性”.

大数据Lambda架构

- - CSDN博客云计算推荐文章
1 Lambda架构介绍.          Lambda架构划分为三层,分别是批处理层,服务层,和加速层. 最终实现的效果,可以使用下面的表达式来说明. 1.1 批处理层(Batch Layer, Apache Hadoop).          批处理层主用由Hadoop来实现,负责数据的存储和产生任意的视图数据.

大数据公司Amazon

- - 36氪 | 关注互联网创业
说到 Amazon,它通常给人的印象是一家典型的电商公司——创办于1995年,靠在线书籍销售业务起家,发展至今也已颇具规模. 近日,TechCrunch作者Alex Williams撰文称,Amazon其实并非一家贸易公司,而是一家大数据公司. 联想到Amazon CEO Jeff Bezos曾说过的一句话:“企业家应该愿意在很长一段时间内承受误解的目光.

大数据架构hadoop

- - CSDN博客云计算推荐文章
摘要:Admaster数据挖掘总监 随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求. 随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求.