谈大数据分析
- - 人月神话的BLOG对于数据分析层，我们可以看到，其核心重点是针对海量数据形成一个分布式可弹性伸缩的，高查询性能的，支持标准sql语法的一个ODS库. 我们看到对于Hive，impala，InfoBright更多的都是解决这个层面的问题，即解决数据采集问题，解决采集后数据行列混合存储和压缩的问题，然后形成一个支撑标准sql预防的数据分析库.
大数据分析的5个方面
标签：
大数据
分析
| 发表时间：2012-03-22 16:47 | 作者：
出处：http://www.iteye.com
越来越多的应用涉及到大数据，不幸的是所有大数据的属性，包括数量、速度、多样性等等都是描述了数据库不断增长的复杂性。那么大数据给我们带来了什么好处呢？ 大数据最大的好处在于能够让我们从这些数据中分析出很多智能的、深入的、有价值的信息。
下面我总结了分析大数据的5个方面。
1. Analytic Visualizations（可视化分析）
不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。
2. Data Mining Algorithms（数据挖掘算法）
可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。
3. Predictive Analytic Capabilities（预测性分析能力）
数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。
4. Semantic Engines（语义引擎）
我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析、提取、分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。
5. Data Quality and Master Data Management（数据质量和数据管理）
数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。
假如大数据真的是下一个重要的技术革新的话，我们最好关注大数据能给我们带来的好处，而不仅仅是挑战。
via： Ctotodevelopers
感谢 sherry617 投递这篇资讯
资讯来源： 开源中国社区
已有 0 人发表留言，猛击->> 这里<<-参与讨论
ITeye推荐
下面我总结了分析大数据的5个方面。
1. Analytic Visualizations（可视化分析）
不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。
2. Data Mining Algorithms（数据挖掘算法）
可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。
3. Predictive Analytic Capabilities（预测性分析能力）
数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。
4. Semantic Engines（语义引擎）
我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析、提取、分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。
5. Data Quality and Master Data Management（数据质量和数据管理）
数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。
假如大数据真的是下一个重要的技术革新的话，我们最好关注大数据能给我们带来的好处，而不仅仅是挑战。
via： Ctotodevelopers
感谢 sherry617 投递这篇资讯
资讯来源： 开源中国社区
已有 0 人发表留言，猛击->> 这里<<-参与讨论
ITeye推荐
相关 [大数据 分析] 推荐：
大数据分析的5个方面
- - ITeye资讯频道越来越多的应用涉及到大数据，不幸的是所有大数据的属性，包括数量、速度、多样性等等都是描述了数据库不断增长的复杂性. 那么大数据给我们带来了什么好处呢. 大数据最大的好处在于能够让我们从这些数据中分析出很多智能的、深入的、有价值的信息. 下面我总结了分析大数据的5个方面. Analytic Visualizations（可视化分析）.
大数据分析最佳实践
- - 互联网分析 转自：TTNN Q先生杰作. 大概是从今年开始，big data一词逐渐成为术语，这跟整个世界的数据爆发当然有关系. 以前，人们喜欢用海量数据这个词，large-scale. 这看上去还是显得有点学术气， 像是BI人自己关起门来说自己的宝贝. 而big data更显通俗，在各行各业都显现出的一种势头，于是产生这个更加简单的词汇，大数据.
大数据分析的分类-转载
- - 人月神话的BLOG原文：http://www.csdn.net/article/2011-08-15/303101. Hadoop平台对业务的针对性较强，为了让你明确它是否符合你的业务，现粗略地从几个角度将大数据分析的业务需求分类，针对不同的具体需求，应采用不同的数据分析架构. 按照数据分析的实时性，分为实时数据分析和离线数据分析两种.
下一代大数据分析技术
- - Parallel Labs原文发表于《程序员》杂志2013年第2期.. 随着以Hadoop为代表的大数据分析技术的普及，大数据的商业价值得到深入挖掘，并开始在互联网、零售、医疗、物联网等多个行业里成为商业变革的主导力量. Facebook最近就发布了名为Graph Search的新型社交搜索产品，基于海量的社交关系网络及“Likes”行为数据，为用户提供个性化的社交搜索服务，该产品被认为将是Google搜索业务的重要竞争对手.
基于mdrill的大数据分析
- - CSDN博客云计算推荐文章 数据越来越多，传统的关系型数据库支撑不了，分布式数据仓库又非常贵. 几十亿、几百亿、甚至几千亿的数据量，如何才能高效的分析. mdrill是由阿里妈妈开源的一套数据的软件，针对TB级数据量，能够仅用10台机器，达到秒级响应，数据能实时导入,可以对任意的维度进行组合与过滤. mdrill作为数据在线分析处理软件，可以在几秒到几十秒的时间，分析百亿级别的任意组合维度的数据.
大数据分析查询引擎Impala
- - 标点符Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据. 已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性. 相比之下，Impala的最大特点也是最大卖点就是它的快速.
大数据下的数据分析平台架构
- vento - 《程序员》杂志官网随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求. 作为一家互联网数据分析公司，我们在海量数据的分析领域那真是被“逼上梁山”. 多年来在严苛的业务需求和数据压力下，我们几乎尝试了所有可能的大数据分析方法，最终落地于Hadoop平台之上.