大数据时代 五大商业分析技术趋势

标签: 互联网 分析视角 技术前沿 | 发表时间:2013-07-23 07:16 | 作者:admin
出处:http://www.datakong.cn

目 前,趋势中心对如何应对分析挑战的关注力度并不亚于他们考虑在新商业视角中如何充分利用机遇的力度。例如,随着越来越多的公司开始不得不面对海量数据以及 考虑如何利用这些数据,管理与分析大型不同数据集的技术开始出现。提前分析成本与性能趋势意味着公司能够提出比以前更为复杂的问题,提供更为有用的信息以 帮助他们运营业务。

在采访中,首席信息官们总结出了5大影响他们进行分析的IT趋势。它们分别为:大数据的增长、快速处理技术、IT商品的成本下降、移动设备的普及和社交媒体的增长。

  1.大数据

大数据指非常庞大的数据集,尤其是那些没有被整齐的组织起来无法适应传统数据仓库的数据集。网络蜘蛛数据、社交媒体反馈和服务器日志,以及来自供应链、行业、周边环境与监视传感器的数据都使得公司的数据变得比以往越来越复杂。

尽管并不是每个公司都需要处理大型、非结构型数据集的技术。VeriskAnalytics公司首席信息官PerryRotella认为所有的首席信息 官都应当关注大数据分析工具。Verisk帮助金融公司评估风险,与保险公司共同防范保险诈骗,其在2010年的营收超过了10亿美元。

Rotella认为,技术领导者对此应当采取的态度是,数据越多越好,欢迎数据的大幅增长。Rotella的工作是预先寻找事物间的联系与模型。

HMS公司首席信息官CynthiaNustad认为,大数据呈现为一种“爆炸性”增长趋势。HMS公司的业务包括帮助控制联邦医疗保险 (Medicare)和医疗补助(Medicaid)项目成本和私有云服务。其客户包括40多个州的健康与人类服务项目和130多个医疗补助管理计划。 HMS通过阻止错误支付在2010年帮助其客户挽回了18亿美元的损失,节约了数十亿美元。Nustad称:“我们正在收集并追踪大量素材,包括结构性与 非结构性数据,因为你并不是总是知道你将在其中寻找什么东西。”

大数据技术中谈论最多的一项技术是Hadoop。该技术为开源分布式数据处理平台,最初是为编辑网络搜索索引等任务开发的。Hadoop为多个“非关系型(NoSQL)”技术(其包括CouchDB和MongoDB)中的一种,其通过特殊的方式组织网络级数据。

Hadoop可将数据的子集合分配给成百上千台服务器的处理,每台服务器汇报的结果都将被一个主作业调度程序整理,因此其具有处理拍字节级数据的能力。 Hadoop既能够用于分析前的数据准备,也能够作为一种分析工具。没有数千台空闲服务器的公司可以从亚马逊等云厂商那里购买Hadoop实例的按需访 问。

Nustad称,尽管并不是为了其大型的联邦医疗保险和医疗补助索赔数据库,但是HMS正在探索NoSQL技术的使用。其包括了结构性数据,并且能够被 传统的数据仓库技术所处理。她称,在回答什么样的关系型技术是经实践证明最好用的解决方案时,从传统关系型数据库管理出发是并不明智。不过,Nustad 认为Hadoop正在防止欺诈与浪费分析上发挥着重要作用,并且具备分析以各种格式上报的病人看病记录的潜力。

在采访中,那些体验过Hadoop的受访首席信息官们,包括Rotella和Shopzilla公司首席信息官JodyMulkey在内都在将数据服务作为公司一项业务的公司中任职。

Mulkey称:“我们正在使用Hadoop做那些以往使用数据仓库做的事情。更重要的是,我们获得了以前从未用过的切实有用的分析技术。”例如,作为 一家比较购买网站,Shopzilla每天会积累数太字节的数据。他称:“以前,我们必须要对数据进行采样并对数据进行归类。在处理海量数据时,这一工作 量非常繁重。”自从采用了Hadoop,Shopzilla能够分析原始数据,跳过许多中间环节。

GoodSamaritan医院是一家位于印第安纳州西南的社区医院,其处于另一种类型。该医院的首席信息官ChuckChristian称:“我们并 没有我认为是大数据的东西。”尽管如此,管理规定要求促使其存储整如庞大的电子医疗记录等全新的数据类型。他称,这无疑要求他们要能够从数据中收集医疗保 健品质信息。不过,这可能将在地区或国家医疗保健协会中实现,而不是在他们这种单个医院中实现。因此,Christian未必会对这种新技术进行投资。

IslandOneResorts公司首席信息官JohnTernent称,其所面临的分析挑战取决于大数据中的“大”还是“数据”。不过,目前他正在 谨慎地考虑在云上使用Hadoop实例,以作为一种经济的方式分析复杂的抵押贷款组合。目前公司正在管理着佛罗里达州内的8处分时度假村。他称:“这种解 决方案有可能解决我们目前正遇到的实际问题。”

  2.商业分析速度加快

肯塔基大学首席信息官VinceKellen认为,大数据技术只是快速分析这一大趋势中的一个元素。他称:“我们期待的是一种更为先进的海量数据分析方法。”与更为快速地分析数据相比,数据的大小并不重要,“因为你想让这一过程快速完成”。

由于目前的计算能够在内存中处理更多的数据,因此与在硬盘中搜索数据相比,其计算出结果的速度要更快。即使你仅处理数G数据,但情况依然与此。

尽管经过数十年的发展,通过缓存频繁访问的数据,数据库性能提升了许多。在加载整个大型数据集至服务器或服务器集群的内存时,这一技术变得更加实用,此时硬盘只是作为备份。由于从旋转的磁盘中检索数据是一个机械过程,因此与在内存中处理数据相比,其速度要慢许多。

Rotella称,他现在几秒中进行的分析在五年前需要花上一个晚上。Rotella的公司主要是对大型数据集进行前瞻性分析,这经常涉及查询、寻找模 型、下次查询前的调整。在分析速度方面,查询完成时间非常重要。他称:“以前,运行时间比建模时间要长,但是现在建模时间要比运行时间长。”

列式数据库服务器改变了关系型数据库的传统行与列结构,解决了另一些性能需求。查询仅访问有用的列,而不是读取整个记录和选取可选列,这极大地提高了组织或测量关键列的应用的性能。

Ternent警告称,列式数据库的性能优势需要配合正确的应用和查询设计。他称:“为了进行区别,你必须以适当的方式问它适当的问题。”此此同时,他 还指出,列式数据库实际上仅对处理超过500G字节数据的应用有意义。他称:“在让列式数据库发挥作用之前,你必须收集一规模的数据,因为它依赖一定水平 的重复提升效率。”

保险与金融服务巨头JohnHancock公司的首席信息官AllanHackney称,为了提高分析性能,硬件也需要进行提升,如增加GPU芯片,其 与游戏系统中用到的图形处理器相同。他称:“可视化需用到的计算方法与统计分析中用到的计算方法非常相似。与普通的PC和服务器处理器相比,图形处理器的 计算速度要快数百倍。我们的分析人员非常喜欢这一设备。”

 3.技术成本下降

随着计算能力的增长,分析技术开始从内存与存储价格的下降中获益。同时,随着开源软件逐渐成为商业产品的备选产品,竞争压力也导致商业产品价格进一步下降。

Ternent为开源软件的支持者。在加入IslandOne公司之前,Ternent为开源商业智能公司Pentaho的工程副总裁。他称:“对于我来说,开源决定着涉足领域。因为像IslandOne这样的中等规模公司能够用开源应用R替代SAS进行统计分析。”

以前开源工具仅拥有基本的报告功能,但是现在它们能够提供最为先进的预测分析。他称:“目前开源参与者能够横跨整个连续统一体,这意味着任何人都能够使用它们。”

HMS公司的Nustad认为,计算成本的变化正在改变着一些基础性架构的选择。例如,创建数据仓库的一个传统因素是让数据一起进入拥有强大计算能力的 服务器中以处理它们。当计算能力不足时,从操作系统中分离分析工作负载可以避免日常工作负载的性能出现下降。Nustad称,目前这已经不再是一个合适的 选择了。

她称:“随着硬件与存储越来越便宜,你能够让这些操作系统处理一个商业智能层。”通过重定数据格式和将数据装载至仓库中,直接建立在操作应用上的分析能够更为迅速地提供答案。

Hackney观察认为,尽管性价比趋势有利于管理成本,但是这些潜在的节约优势将被日益增长的能力需求所抵消。尽管JohnHancock每台设备的存储成本在今年下降了2至3%,但是消耗却增长了20%。

  4.移动设备的普及

与所有的应用一样,商业智能正日益移动化。对于Nustad来说,移动商业智能具有优先权,因为每个人都希望Nustad能够随时随地亲自访问关于她的 公司是否达到了服务级协议的报告。她还希望为公司的客户提供数据的移动访问,帮助客户监控和管理医疗保健开销。她称:“这是一个客户非常喜欢的功能。在五 年前,客户不需要这一功能,但是现在他们需要这一功能了。”

对于首席信息官来说,要迎合这一趋势更多的是为智能手机、平板电脑和触摸屏设备创建适用的用户界面,而不是更为复杂的分析能力。或许是出于这方面的原因,Kellen认为这相对容易。他称:“对于我来说,这只是小事情。”

Rotella并不认为这很简单。他称:“移动计算影响着每一个人。许多人开始使用iPad工作,同时其它的移动设备正在呈现爆炸式增长。这一趋势正在 加速并改变我们与公司内部计算资源交互的方式。”例如,Verisk已经开发了能够让理赔人在现场快速进行分析的产品,因此他们能够进行重置成本评估。他 称:“这种方式对我们的分析产生了影响,同时也让每一个需要它的人随手就能使用。”

Rotella称:“引发这种挑战的因素在于技术的更新速度。两年前,我们没有iPad,而现在许多人都在使用iPad。随着多种操作系统的出现,我们正力争搞清楚其是如何影响我们的研发的,这样一来我们就不必一而再、再而三的编写这些应用。”

IslandOne的Ternent指出,另一方面,为每一种移动平台创建原生应用的需求可能正在消退,因为目前手机和平板电脑上的浏览器拥有了更为强 大的功能。Ternent称:“如果我能够使用一款专门针对移动设备的基于web的应用,那么我并不能肯定我将会对定制的移动设备应用进行投资。”

  5.社交媒体的加入

随着脸谱、推特等社交媒体的兴起,越来越多的公司希望分析这些由网站产生的数据。新推出的分析应用支持人类语言处理、情感分析和网络分析等统计技术,这些并不是典型商业智能工具套件的组成部分。

由于它们都是新的,许多社交媒体分析工具可以作用服务获得。其中一个典型范例是Radian6。Radian6为软件即服务(SaaS)产品,近期已经 被Salesforce.com所收购。Radian6是一种社交媒体仪表盘,为TwITter的留言、脸谱上的帖子、博客与讨论版上的帖子与评论中提及 的特定术语以正负数显示,尤其是为商标名提供生动的直观推断。当营销与客户服务部门购买后,这类工具不再对IT部门有很严重的依赖性。目前,肯塔基大学的 Kellen仍然相信他需要对它们高度关注。他称:“我的工作是识别这些技术,根据竞争力评估哪些算法适合公司,然后开始培训合适的人员。”

与其他公司一样,大学也对监督他们大学的声誉十分感兴趣。与此同时,Kellen表示,他可能还将寻找机会以开发专门用于解决学校所关注问题的应用,如 监督学生入学率等问题。例如,监控学生在社交媒体上的帖子能够有帮于学校与管理人员尽早了解学生在大学里遇到的麻烦。Kellen称,目前戴尔已经做了这 些工作,其产品支持公司探测人们关于故障笔记本电脑的推文。他称,IT开发人员还应当寻找一些办法将社交媒体分析得出的报警信息推送至应用中,以便于公司 对相关事件快速做出反应。

Hackney称:“我们没有诀窍,也没有工具处理和挖掘海量社交媒体帖子的价值。不过,一旦你收集了数据,你需要有能力获取公司事件的充足信息,以将 它们关联起来。”虽然Hackney称JohnHancock在这一领域内的努力还处于“起步阶段”,但是他认为IT部门将在公司数据的社交分析服务所提 供的数据关联中发挥重要作用。例如,如果社交媒体数据显示公司在中西部地区的社会评论越来越负面,那么他将希望看一下如果公司在该地区就价格或策略进行调 整是否会扭转这一负面发展趋势。

Hackney称,发现这类关联的意义在于让公司领导相信对社交媒体的投资具有高回报。他称:“在我所从事的行业中,每个人都是精算师,每个人都在计算,他们不会将任何东西建立在想当然之上。”

来源:网界网

大数据时代 五大商业分析技术趋势,首发于 互联网分析

相关 [大数据 时代 商业] 推荐:

大数据时代 五大商业分析技术趋势

- - 互联网分析
目 前,趋势中心对如何应对分析挑战的关注力度并不亚于他们考虑在新商业视角中如何充分利用机遇的力度. 例如,随着越来越多的公司开始不得不面对海量数据以及 考虑如何利用这些数据,管理与分析大型不同数据集的技术开始出现. 提前分析成本与性能趋势意味着公司能够提出比以前更为复杂的问题,提供更为有用的信息以 帮助他们运营业务.

商业巨头是怎么玩转大数据的?

- - 《商业价值》杂志
在大数据推动的商业革命暗涌中,要么学会使用大数据的杠杆创造商业价值,要么被大数据驱动的新生代商业格局淘汰. 最早关于大数据的故事发生在美国第二大的超市塔吉特百货(Target). 孕妇对于零售商来说是个含金量很高的顾客群体. 但是他们一般会去专门的孕妇商店而不是在Target购买孕期用品. 人们一提起Target,往往想到的都是清洁用品、袜子和手纸之类的日常生活用品,却忽视了Target有孕妇需要的一切.

大数据告诉我们:小时代属于谁的小时代

- - i黑马
整个7月,有关《小时代》的争议都在不断发酵. 从新浪微博的“大V联合论战”( 史航、周黎明微博联手对抗《小时代》粉丝围攻)到《人民日报》发文批判,在各界对《小时代》的口诛笔伐中,处处可见“大神级”的高端黑. 对立的一边,则是《小时代》庞大粉丝群自发地持续地坚强地激烈地捍卫着他们偶像的利益. 在一片争议声中,成本仅2000万元的《小时代》获得了接近5亿元的票房(截至本刊发稿时).

大数据时代SEO数据如何搜集和分析

- - 月光博客
  在这个人人都高喊“大数据时代”的今天,数据似乎被提到一个前所未有的高度. 无论是个人站长还是大中型公司,亦或是大型跨国集团,无论是网络营销还是线下的市场营销都在意识到数据的重要性,凡是都以数据来说话. 但是,据笔者了解,在很多中小型公司和个人站长中,对于数据重视有余,却利用不足.   很多人不清楚需要搜集什么样的数据;也有的不清楚通过什么渠道来搜集数据;还有大部分不清楚搜集整理的数据如何去分析,进而也就不清楚怎么去利用这些数据.

大数据时代,让一群脑残为你选书

- - Digital Meme
(本文首发 纽约时报中文网,转载请注明. 相比于作者所著同样谈论大数据话题的 《删除:大数据取舍之道》一书,《大数据时代》结构紧密,逻辑清晰,论证过程也更为严谨. 本书在何为大数据、大数据有何典型特征、大数据的实际应用和未来以及大数据的隐忧等关键问题上,通过案例和通畅晓白的解释,梳理清楚了“大数据”这个看起来高深复杂但其实无处不在的概念.

互联网金融:大数据和技术为王的时代

- - 动点科技
(编者:本文作者李张鲁Dennis Roudenko,是青年投资家俱乐部发起人、华创资本资深分析师. 华创资本投资了10多家互联网金融公司,同时与IDG合有互联网金融投资基金,投资范围在20-2000万美金. 互联网金融本身只是一个概念,是泛指那些通过互联网和大数据手段来完成并优化的金融业务. 历来现有的机构都在尝试运用这些手段去优化自己的业务,但2012年这一领域才开始火起来是因为时机成熟了,大可归功于两大点:大数据的出现与技术的普及与应用.

数据的征服:读《大数据时代》

- - It Talks--上海魏武挥的博客 - It Talks--上海魏武挥的博客
谷歌有一个名为“谷歌流感趋势”的工具,它通过跟踪搜索词相关数据来判断全美地区的流感情况(比如患者会搜索流感两个字). 近日,这个工具发出警告,全美的流感已经进入“紧张”级别. 它对于健康服务产业和流行病专家来说是非常有用的,因为它的时效性极强,能够很好地帮助到疾病暴发的跟踪和处理. 事实也证明,通过海量搜索词的跟踪获得的趋势报告是很有说服力的,仅波士顿地区,就有700例流感得到确认,该地区目前已宣布进入公共健康紧急状态.

大数据时代的首席营销官

- - 《商业价值》杂志
最近,IBM微博上的一则故事吸引了很多人的注意,故事讲述在美国的一个父亲,某天发现自己17岁的女儿竟然收到了来自零售商店Target的婴儿用品优惠券,盛怒之下向商店投诉. 一个月后,商店收到了这位父亲尴尬的道歉电话,称商店并非误发了优惠券,自己的女儿确实怀孕了……. 事实上,这则故事中的主角——Target公司的市场营销团队聘请了一支专业的数据分析团队为他们确认出妊娠期的孕妇.

云营销:大数据时代的新营销革命

- - 互联网的一些事-关注互联网产品管理,交流产品设计、用户体验心得
  营销学领域过去半个多世纪的发展让我们见证了从“以产品为中心”向“以客户为中心”的转变,最受欢迎的营销理论也从“4P”转向了以消费者需求为导向的“4C”理论和以关系营销为导向的“4R”理论. 互联网与移动互联网主导下的数字化信息时代可以帮助企业以前所未有的速度收集用户的海量行为数据,在大数据的基础上分析、洞察、和预测消费者的偏好,并据此为消费者提供最能满足他们需求的产品、信息、和服务.

大数据时代:银行如何玩转数据挖掘

- - i黑马
数据挖掘(Data Mining)是一种新的商业信息处理技术,产生于20世纪80年代的美国,首先应用在金融、电信等领域,主要特点是对大量数据进行抽取、转换、分析和模型化处理,从中提取出有助于商业决策的关键性数据. 银行信息化的迅速发展,产生了大量的业务数据. 从海量数据中提取出有价值的信息,为银行的商业决策服务,是数据挖掘的重要应用领域.