大数据平台在互联网行业的应用

标签: 大数据 平台 互联网 | 发表时间:2016-11-30 20:15 | 作者:yuanziok
出处:http://blog.csdn.net

本文是58同城信息系统部高级经理余中洋对大数据在互联网行业应用的总结。以实际经验讲解了大数据从雏形到发展,以及发展过程中传统数据仓库到大数据平台的转化和大数据的可视化应用。

大数据显雏形——发展

所有公司在一开始时,数据的建设都是比较落后的,但随着互联网的环境推动,以及公司计划2013年在纽约交易所上市,这时候面临一个很大的问题。在上市之前,公司的数据,无论是流量数据还是财务产品数据都需要经过非常严格的审计。为此,我们开始整理数据,做数据报表,花费一年多的时间做数据整理、数据规范,慢慢的大数据的平台有了雏形。

后来公司上市之后,数据运营的重点从反映过去和现在的状况转变成指导业务、管理业绩、支持销售。

2015年到2016年这两年,公司将目标投入到数据智能上,建立了一个非常大的系统平台,并且让整个销售和产品运营体系全面实施数据化运营。在这个平台上,我们不仅仅要进行管理销售,还要构建销售能力模型,预测未来业绩。因为在美国市场的股价,更多的是依赖公司未来的发展,公司未来预期决定了公司现在的股价,因此总共的业绩预测非常重要,能够非常精确的预测销售更加重要。

大数据平台建设

公司拥有很多的业务数据库,有订单、CRM、合同管理、人力资源等数据库。以往,我们会把这些数据库里的数据做集成,做一个简单的数据仓库,然后根据业务需求,在数据集成的基础上,通过帆软报表建立一个决策系统,做数据展示,提供服务。这个过程的好处是开发成本低,投入成本低,技术架构简单,可以非常快速的在公司内部运行起来。

但是这样的方式随着业务系统的增多,逐渐开始不适用。一是业务数据多样化、数据未集中管理、有效利用数据难度大;数据存储能力受限,无法追溯较远的历史数据。二是很多情况下,不同的产品经理和工程师所提的需求是不同的,而且这些不同的需求本身是交织在一起的。因此不同的团队做出同样的指标,由于数据指标定义不一致,存在意义相近重复指标的时候,管理层很难做出决策。三是分析和运营使用的数据渠道完全依赖于自身数据的监控,这会导致IT部门工作压力较大。

除了以上反映的问题,公司在基于未来发展情况下又呈现了新一轮的现状,并提出了以下需求:

  • 业务的多元化发展,公司大量的并购导致集团数据量和数据需求爆发式增长;
  • 数据网状流通,基础数据、数据指标缺少统一的元数据管理;
  • 为了更好发掘数据价值,提升数据能力、构建标准化数据体系成为当务之急。

大数据平台业务架构

集团的业务架构大体可以分为几块内容。第一个是数据模型师。主要的工作是做好元数据管理,数据模型的开发以及建立统一的数据标准。第二个是数据开发员,它会对接产品,然后去做一些业务开发。第三个是业务人员,业务人员是运营、销售、市场人员,在这个地方做了很多可视化来帮助他们做出决策。最后是公司的数据分析部门,他们有很多对于审计包括公司一些非常核心的数据的分析需求,他们会通过独立的数据查询系统实现数据多维度分析。

 

下图是技术架构,在底层进行数据存储,抓取数据,并将存储层的数据传给处理层,在处理层完成业务计算,形成指标。然后前端通过帆软报表的应用,将数据以业务报表的方式进行图形化展示,并在移动报表APP上进行展示。

除去这个,我们还在管理上做了数据中心的建设规范。然后是数据质量管理,包括确保数据的准确性,为保证数据的及时性还建立了一个运行和管理规范。这四块结合起来以保证平台的平稳运行。

 


大数据可视化

数据可视化是这个平台最后的一步也是应用范围最广的一步。这方面,由于我们

1、需求来源多:团队需要同时对接财务部、销售中心、客服中心、管理层等各级部门,且各个部门关注的指标千差万别。

2、报表可视化方式多:需要通过明细表、汇总表、钻取表以及各类图表来分别满足各个部门的不同管理职级的需求,还要给给需求方提供离线报表、实时报表、邮件&短信推送数据等多种渠道。

3、自定义开发多:为了对接公司内部的业务系统,需要经常自定义开发。

所以,需要一个满足这些需求的可视化报表开发工具。这一块,无论从最初的传统数据仓库方式还是现在的大数据平台,我们都选择了帆软报表。

优势如下:

  • 类EXCEL设计风格:操作界面大大降低了学习成本。
  • 多数据源支持:接入个各个部门的各个类型的数据库非常方便。
  • 优秀的图标展示:HTML5图表技术,支持多种图表类型、样式、风格,参数传递灵活,交互效果丰富。
  • 友好的接口:开发人员使用网页脚本、API接口等进行深入的开发与控制,支持插件开发、安装、使用和管理,以满足其个性化的需求。

可视化展示:

 


 

作者:yuanziok 发表于2016/11/30 13:51:25 原文链接
阅读:481 评论:1 查看评论

相关 [大数据 平台 互联网] 推荐:

大数据平台在互联网行业的应用

- - CSDN博客综合推荐文章
本文是58同城信息系统部高级经理余中洋对大数据在互联网行业应用的总结. 以实际经验讲解了大数据从雏形到发展,以及发展过程中传统数据仓库到大数据平台的转化和大数据的可视化应用. 所有公司在一开始时,数据的建设都是比较落后的,但随着互联网的环境推动,以及公司计划2013年在纽约交易所上市,这时候面临一个很大的问题.

手机上的大数据:移动互联网的入口

- - 雷锋网
【编者按】本文由百分点信息无线业务部高级总监李晓东、Talkdata COO徐懿以及成都电子科大的龚亮联合撰写. 随着移动互联网的的发展,一些在传统互联网上已经被解析无数次的“观念”也在移动互联网上出现. 例如,互联网的入口,在目前,移动互联网并没有一家独大的情况出现,似乎也没有这种情况出现的可能.

互联网金融:大数据和技术为王的时代

- - 动点科技
(编者:本文作者李张鲁Dennis Roudenko,是青年投资家俱乐部发起人、华创资本资深分析师. 华创资本投资了10多家互联网金融公司,同时与IDG合有互联网金融投资基金,投资范围在20-2000万美金. 互联网金融本身只是一个概念,是泛指那些通过互联网和大数据手段来完成并优化的金融业务. 历来现有的机构都在尝试运用这些手段去优化自己的业务,但2012年这一领域才开始火起来是因为时机成熟了,大可归功于两大点:大数据的出现与技术的普及与应用.

大数据时代:2012年全球互联网数据全方位解读

- - 服务器运维与网站架构|Linux运维|X研究
2012 年,互联网上发生了很多事,想要用一篇文章完整叙述一年的变迁是相当困难的. 但用数字说话,我们却可以回答许多问题. 2012 年这一年里,我们总共发了多少邮件. 这些问题我们将在下文中一一为您解答. 穿透寂静的黑暗或是淡出的光芒,我们用数据呈现互联网世界迷人的真相. 或记录变革,或预测未来,数字单调的表象背后,是对于互联网更深入的了解与更细致的思考.

互联网大数据时代袭来:蕴藏创业空间待挖掘

- - 行业资讯
  编者按/60秒钟,Flicker上会有3125张照片上传,Facebook上新发布70万条信息,YouTube有200万次观赏. 图片、声音、文字以及这背后用户的习惯和轨迹构成了互联网上的数据资源,大数据时代迎面袭来.   用户的消费习惯、兴趣爱好、关系网络以及整个互联网的趋势、潮流都将成为互联网从业者关注的热点,而这一切的获取和分析都离不开大数据.

大数据还是隐私?移动互联网给我们的二选一

- - 人人都是产品经理
我们国人向来倡导“事无不可对人言”的信息共享情结. 孔老爷子从小就教育我们说“君子坦荡荡,小人藏鸡鸡”,如果你做事总是遮遮掩掩,那么一定非奸即盗,社会舆论也整天叫嚣着“公平公正,何妨公开?”随着集体主义的降温,个人隐私逐渐的开始被人重视,特别是随着移动互联网时代的来临,手机里保存的个人信息越来越多,个人隐私的定义被大规模扩大了,注重个人隐私已经成为现代人必备的一个基本素质,提高保护自己信息安全的能力,也成为现代人的必修课.

互联网金融产品如何利用大数据做风控?

- - 知乎每日精选
由于互联网金融涉及货币发行(比特币)、第三方支付、投资理财(网络银行、保险、基金、证券、财富管理)、信贷(P2P、众筹、网络微贷)、征信等等,各个领域的风控策略并不尽相同,不能一概而论,下面讨论只能涵盖了常见的风控策略. 个人认为“大数据”除了强调数据的海量外,更重要的在于用于风控的历史数据的广度和深度,其中:.

开放、平台:应用层变成互联网本身

- Yuli - It Talks--上海魏武挥的博客
在DOS系统刚刚向Windows系统转换的时候,我有一度相当不习惯. 比如说,我很难理解计算机桌面上的东西,居然不是根目录下的东西. 图形化界面很方便使用者,这是实情. 但同样的,图形化界面也是一种傻瓜化的操作界面,越来越多的人,知其然而不知其所以然. 如果电脑上不预装windows系统,我真得很怀疑,还有多少人会使用电脑.

Mozilla与西班牙电信推开放互联网设备平台

- - HTML5研究小组
2月28日消息,Mozilla与西班牙电信昨日在世界移动通信大会上宣布,将共同推出首款基于开放互联网的HTML5标准设备平台,并于年内正式上线. 据了解,该款开放互联网设备平台(Open Web Devices platform,简称OWD),将会于2012年正式上线. Mozilla宣传,“这将是推进HTML5成为下一代手机重要生态系统中非常重要的一步,并会降低提供智能手机功能的手机价格.

未来互联网三个关键词:平台、免费和电子商务

- - 互联网的那点事
俄罗斯互联网投资公司 DST全球CEO尤里·米尔纳,前不久在乌克兰的一个论坛上,在谈及科技带来的革命与创新时,用了三个关键词:平台、免费和电子商务. “平台”是指互联网公司利用他人的创意与工作去构建起自己的商业,比如亚马逊. 米尔纳说,每天,有200万个独立商家在亚马逊的平台上卖东西,一年下来销售额能到250亿美元.