基于mdrill的大数据分析
- - CSDN博客云计算推荐文章 数据越来越多，传统的关系型数据库支撑不了，分布式数据仓库又非常贵. 几十亿、几百亿、甚至几千亿的数据量，如何才能高效的分析. mdrill是由阿里妈妈开源的一套数据的软件，针对TB级数据量，能够仅用10台机器，达到秒级响应，数据能实时导入,可以对任意的维度进行组合与过滤. mdrill作为数据在线分析处理软件，可以在几秒到几十秒的时间，分析百亿级别的任意组合维度的数据.
基于mdrill的大数据分析
标签：
mdrill
大数据
分析
| 发表时间：2014-02-18 20:44 | 作者：muyannian
出处：http://blog.csdn.net
数据越来越多，传统的关系型数据库支撑不了，分布式数据仓库又非常贵。几十亿、几百亿、甚至几千亿的数据量，如何才能高效的分析？
mdrill是由阿里妈妈开源的一套数据的软件，针对TB级数据量，能够仅用10台机器，达到秒级响应，数据能实时导入,可以对任意的维度进行组合与过滤。
mdrill作为数据在线分析处理软件，可以在几秒到几十秒的时间，分析百亿级别的任意组合维度的数据。
在阿里10台机器完成每日30亿的数据存储，其中10亿为实时的数据导入，20亿为离线导入。目前集群的总存储3200多亿80~400维度的数据。
mdrill是由阿里妈妈开源的一套数据的软件，针对TB级数据量，能够仅用10台机器，达到秒级响应，数据能实时导入,可以对任意的维度进行组合与过滤。
mdrill作为数据在线分析处理软件，可以在几秒到几十秒的时间，分析百亿级别的任意组合维度的数据。
在阿里10台机器完成每日30亿的数据存储，其中10亿为实时的数据导入，20亿为离线导入。目前集群的总存储3200多亿80~400维度的数据。
mdrill的特性
1.满足大数据查询需求：adhoc每天的数据量为30亿条，随着日积月累，数据会越来越大，mdrill采用列存储，索引，分布式技术，适当的分区等满足用户对数据的实时在线分析的需求。
2.支持增量更新：离线形式的mdrill数据支持按照分区方式的增量更新。
3.支持实时数据导入：在仅有10台机器的情况下，支持每天10亿级别（高峰每小时2亿）的实时导入。
5.低成本：目前在阿里adhoc仅仅使用10台48G内存的PC机，但确存储了超过千亿规模的数据。
6.全文检索模式：在mdrill的全文检索模式数据可以直接存储在hdfs中，并且以每天160亿*70维度的数据增量提供全文检索服务（注：该模式下不能进行统计，只能进行关键词匹配查询数据明细）
mdrill的定位
大数据
要数据量大，几十亿上百亿。
还要省钱，普通PC就能搞定。
多维分析
要任意维度组合与过滤
还要对任意指标进行统计和排序
即席查询
要查询快，秒级响应。
还要数据快，数据分钟级延迟。
资源列表
其他
- 官方地址：https://github.com/alibaba/mdrill
- mdrill技术交流群:171465049
- 微博： http://weibo.com/mynyannian
-
作者：muyannian 发表于2014-2-18 12:44:11 原文链接
阅读：154 评论：0 查看评论
相关 [mdrill 大数据 分析] 推荐：
谈大数据分析
- - 人月神话的BLOG对于数据分析层，我们可以看到，其核心重点是针对海量数据形成一个分布式可弹性伸缩的，高查询性能的，支持标准sql语法的一个ODS库. 我们看到对于Hive，impala，InfoBright更多的都是解决这个层面的问题，即解决数据采集问题，解决采集后数据行列混合存储和压缩的问题，然后形成一个支撑标准sql预防的数据分析库.
Mdrill：来自阿里的多维快速查询工具
- - 标点符mdrill是阿里妈妈-adhoc-海量数据多维自助即席查询平台下的一个子项目. 旨在帮助用户在几秒到几十秒的时间内，分析百亿级别的任意维度组合的数据. mdrill是一个分布式的在线分析查询系统，基于hadoop,lucene,solr,jstorm等开源系统作为实现，基于SQL的查询语法. mdrill是一个能够对大量数据进行分布式处理的软件框架.
大数据分析的5个方面
- - ITeye资讯频道越来越多的应用涉及到大数据，不幸的是所有大数据的属性，包括数量、速度、多样性等等都是描述了数据库不断增长的复杂性. 那么大数据给我们带来了什么好处呢. 大数据最大的好处在于能够让我们从这些数据中分析出很多智能的、深入的、有价值的信息. 下面我总结了分析大数据的5个方面. Analytic Visualizations（可视化分析）.
大数据分析最佳实践
- - 互联网分析 转自：TTNN Q先生杰作. 大概是从今年开始，big data一词逐渐成为术语，这跟整个世界的数据爆发当然有关系. 以前，人们喜欢用海量数据这个词，large-scale. 这看上去还是显得有点学术气， 像是BI人自己关起门来说自己的宝贝. 而big data更显通俗，在各行各业都显现出的一种势头，于是产生这个更加简单的词汇，大数据.
大数据分析的分类-转载
- - 人月神话的BLOG原文：http://www.csdn.net/article/2011-08-15/303101. Hadoop平台对业务的针对性较强，为了让你明确它是否符合你的业务，现粗略地从几个角度将大数据分析的业务需求分类，针对不同的具体需求，应采用不同的数据分析架构. 按照数据分析的实时性，分为实时数据分析和离线数据分析两种.
下一代大数据分析技术
- - Parallel Labs原文发表于《程序员》杂志2013年第2期.. 随着以Hadoop为代表的大数据分析技术的普及，大数据的商业价值得到深入挖掘，并开始在互联网、零售、医疗、物联网等多个行业里成为商业变革的主导力量. Facebook最近就发布了名为Graph Search的新型社交搜索产品，基于海量的社交关系网络及“Likes”行为数据，为用户提供个性化的社交搜索服务，该产品被认为将是Google搜索业务的重要竞争对手.
大数据分析查询引擎Impala
- - 标点符Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据. 已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性. 相比之下，Impala的最大特点也是最大卖点就是它的快速.
大数据下的数据分析平台架构
- vento - 《程序员》杂志官网随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求. 作为一家互联网数据分析公司，我们在海量数据的分析领域那真是被“逼上梁山”. 多年来在严苛的业务需求和数据压力下，我们几乎尝试了所有可能的大数据分析方法，最终落地于Hadoop平台之上.