大数据和传统BI

标签: IT咨询 | 发表时间:2016-10-25 08:42 | 作者:人月神话
出处:http://blog.sina.com.cn/cmmi
对于传统企业内部,更多的应该是使用了大数据技术的传统BI平台,或者是融合了传统BI+大数据的混合平台,而不能单纯说是大数据平台。在谈大数据平台的时候,一味去否定传统BI是不合适的。

在没有和互联网打通的传统企业内部,更多接触的仍然是结构化数据, 优先要解决的是围绕企业核心价值链的数据建模和企业战略,各业务域KPI体系的建立,决策支持和分析这些内容。在整个数据建模和分析过程中,还要考虑去解决数据不一致性,重复等问题,建立数据管控和治理体系

传统BI平台在发展过程中会遇到问题和瓶颈, 使用传统的技术架构无法解决,需要我们在传统BI技术架构的构建中引入大数据相关技术和工具,从这意义上更多应该叫使用了大数据技术的传统BI平台。

使用了大数据技术的传统BI平台

在数据存储和查询效率层面,传统BI遇到瓶颈,可以看到在大量的上千万即上亿数据量的结构化数据表中,要进行查询统计分析输出KPI指标性能下降非常明显。为了解决查询效率问题,有两个思路, 一个是引入了MPP数据库来解决,一个则是引入Hadoop平台进行存储,虽然是结构化数据但是仍然引入Hadoop平台,重点是解决分布式存储和查询性能问题。

其次,虽然传统企业以结构化数据为主,但是仍然出现对大数据量的非结构化数据的采集和处理,这个时候我们可能引入了Hadoop平台,将数据采集,清理存储后最终还是再导入我们的结构化数据仓库。可以看到在这个过程中大数据技术解决了对非结构化数据的处理和整合问题。

融合传统BI能力的大数据平台

对于原来没有规划建设BI系统的企业,在构建BI系统的时候更多考虑的就是直接构建大数据平台同时完全融合传统BI应该具备的能力。即既保留了传统BI,又实现了远期对大数据平台和应用的扩展能力。

数据采集层-》数据存储层-》数据处理层-》数据整合层-》数据分析层-》数据展现层

数据采集:大数据在传统ETL基础上增加了对HDFS,非结构化数据,流数据,互联网数据的支持能力
数据存储:增加了HDFS,HBASE等数据存储方式
数据处理:传统BI在ETL过程中可以完成清洗,大数据平台是存采集不处理,处理用单独定制脚本。
数据整合:整合了结构化+非结构化数据,提供统一数据开放接口
数据分析:HIVE+Impala+Spark,大批量和即席交互查询能力并存
数据展现:传统的BI报表功能仍然适用,也可以引入大数据可视化技术

可以看到要融合传统BI能力,则数据整合层需要能够整合结构化数据和非结构化数据,同时提供统一的大数据开放能力服务接口。尽量让前端报表通过大数据服务接口获取数据以隔离底层大数据平台的数据源。即数据展现层和数据整合层通过服务层进行解耦和隔离。

如果企业已有传统BI平台,那么底层的BI平台可以共存,即可以将底层BI平台的ODS库或EDW数据导入到大数据平台进行存储和整合。大数据平台存储一定是混合存储模式,即有些通过Hadoop平台处理后的中间结果数据我们仍然导入到结构化数据库进行存储,遵从传统BI数据建模技术构建星型模型,方便后续对数据进行维度分析和上钻下钻。对于self service BI,我们仍然开放Hadoop平台原始数据接口能力。

一开始就构建大数据目标平台


如果企业在构建平台的时候,一开始目标就很明确是大数据类分析和应用,如采集海量的互联网数据进行某行业的客户行为分析,用户画像,同时结合企业内部经营数据进行针对性营销的辅助决策。那么一开始构建就会以Hadoop平台为主,同时兼容能够采集企业已有的结构化数据。

这类平台在构建过程中可以看到不会是传统BI数据建模和分析那套方法,而更多是新的大数据分析和挖掘技术,则完全可能是以Impala+Hive+Hdfs为主线,以Tableau,Qlic View为前段展现,通过R语言或KNIME进行数据挖掘和分析等。即脱离传统BI,大数据整套框架仍然是完整的。但是弱化了传统BI中的数据建模,数据质量管理,数据治理等方面的能力。

 

相关 [大数据 传统 bi] 推荐:

大数据和传统BI

- - 人月神话的BLOG
对于传统企业内部,更多的应该是使用了大数据技术的传统BI平台,或者是融合了传统BI+大数据的混合平台,而不能单纯说是大数据平台. 在谈大数据平台的时候,一味去否定传统BI是不合适的. 在没有和互联网打通的传统企业内部,更多接触的仍然是结构化数据, 优先要解决的是围绕企业核心价值链的数据建模和企业战略,各业务域KPI体系的建立,决策支持和分析这些内容.

一文读懂BI商业智能与大数据应用的区别

- - 人人都是产品经理
      之所以要区分大数据应用与BI(商业智能),是因为大数据应用与BI、数据挖掘等,并没有一个相对完整的认知. BI(BusinessIntelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策.

BI新计术介绍

- 小熊维尼 - 数据文化
BI是Business Intelligence的缩写. 在国内报表软件市场,BI常常和报表当成可互换的名词. 一部分的原因可能是因为报表通常是BI软件中应用最多的部件. 但实际上BI所包含的功能和使用范围要远远超出报表的领域. 从概念上来讲,BI包含了所有对信息提取的过程,包括数据的准备,集成,转换,存取,和信息的展示,分析,和预测.

深入浅出解析大数据Lambda架构 - 天善智能:专注于商业智能BI和数据分析、大数据领域的垂直社区平台

- -
Hadoop的出现让人们尝到了大数据技术的甜头,它的批处理能力已经被工业界充分认可,但是它的延迟性也一直为大家所诟病. 随着各行各业的发展,越来越多的业务要求大数据系统既可以处理历史数据,又可以进行实时计算. 比如电商推荐系统,当你在京东浏览商品时,京东会根据你的浏览、加车、收藏、删除等行为,实时为你推荐商品.

GitHub - yzhang921/CBoard: An easy to use, self-service open BI reporting and BI dashboard platform.

- -
Meta data of CBoard is stotred in embedded DB H2 with file storage, user can change or add your own configuration by yourself then build project and docker image again.

BI报告:性能不是问题!HTML5更具长期优势

- - TechWeb 今日焦点 RSS阅读
  导语:Business Insider Intelligence日前在最新报告中剖析了原生应用与HTML5的发展现状,指出HTML5的性能和盈利等问题都是可以解决的,而HTML5正以“润物细无声”的方式被越来越多人接受,并且与原生应用相比更具长期优势. 如今的移动浏览器支持大部分HTML5功能(绿色为支持,蓝色为部分支持,红色为不支持).

【读图】中美日企业设立BI的目的

- - i天下网商
2012年,数据是一个时髦的词语. 在很多企业,提供数据解决方案的部门BI(商业智能)如雨后春笋般涌现,那么放眼国际,企业设立BI的目的都有哪些,又有何不同. 为此,天下网商数据中心搜集整理了一组数据为您解读中美日企业设立BI目的. 天下网商视觉团队制图,图说中美日企业设立BI的目的.

企业BI系统应用的切入点及五大策略

- - IT瘾-geek
从技术的角度来看,BI的技术正在走向成熟,处于一个发展的阶段,但它促使了BI的应用在成本方面开始逐步的降低,越来越多的企业在BI应用方面取得了成功. 从实施的角度来出发,实施商业智能系统是一项复杂的系统工程,整个项目涉及企业管理,运作管理,信息系统,数据仓库,数据挖掘,统计分析等众多门类的知识. 因此用户除了管理咨询要选择合适的商业智能软件工具外还必须按照正确的实施方法才能保证项目得以成功.

解密 Airbnb 自助 BI 神器:Superset 颠覆 Tableau

- - IT瘾-dev
我非常认同前百度数据工程师、现 神策分析创始人桑老师最近谈到的数据分析三重境界:. 数据分析的统计计数和多维分析,我们通常称之为数据探索式分析,这个步骤旨在了解数据的特性,有助于我们进一步挖掘数据的价值. 而基于我们对数据的理解,再引入机器学习的算法对数据做出预测就变得水到渠成了. 现实世界里,大部分的公司更多时间其实没有这个精力去搭建复杂的数据分析平台,面对快速变化的业务需求,很多数据工程师都把自己的青春埋葬在SQL里了.

ElasticSearch位置搜索 - Spring , Hadoop, Spark , BI , ML - CSDN博客

- -
在ElasticSearch中,地理位置通过. geo_point这个数据类型来支持. 地理位置的数据需要提供经纬度信息,当经纬度不合法时,ES会拒绝新增文档. 这种类型的数据支持距离计算,范围查询等. mapping为city:. geo_point类型必须显示指定,ES无法从数据中推断. 在ES中,位置数据可以通过对象,字符串,数组三种形式表示,分别如下:.