分布式平台的下的数据模型特征
- - 阿里集团数据平台 alidata.org在讨论分布式平台的数据模型特征之前，我们来看看两个分布式平台和传统数据库之间的差异是什么. 我想一个数仓模型的好坏，除了能否满足业务期望之外，还在于说我们能否充分利用平台的特性让我们的模型运转效率更高. 那么 我们的模型特征是什么. 充分利用分布式环境下的计算能力；. 有助于业务变化的快速实现；. 有助于数据问题的快速查找；.
分布式平台的下的数据模型特征
标签：
ETL
| 发表时间：2013-06-27 19:05 | 作者：jieran
出处：http://www.alidata.org
在讨论分布式平台的数据模型特征之前，我们来看看两个分布式平台和传统数据库之间的差异是什么。
| 分布式 | 传统DB DW | |
| 系统& 平台层面差异 | 1、并行处理 | 1、单机或伪分布处理或大型机 |
| 2、整体可用性好 | 2、整体可用性差 | |
| 3、meta一致性不好 | 3、meta一致性高 | |
| 4、无索引 | 4、有索引 | |
| 5、SQL可优化空间、手段少 | 5、SQL可优化空间和手段多 | |
| 6、整体数据处理能力强 | 6、整体数据处理能力弱 | |
| 7、功能实现灵活度高 | 7、功能实现灵活度低 | |
| 8、平台的开放性好 | 8、平台的开放性差 | |
| 9、小数据下慢 | 9、小数据下快 | |
|
数据特征差异 |
1、总体数据量大 | 1、总体数据量小 |
| 2、脏数据多 | 2、脏数据少 | |
| 3、非结构数据多 | 3、非结构数据少 | |
| 4、数据变化快 | 4、数据变化慢 | |
| 5、数据来源更负责 | 5、数据来源复杂度低 | |
| 6、数据种类多 | 6、数据种类少 |
我想一个数仓模型的好坏，除了能否满足业务期望之外，还在于说我们能否充分利用平台的特性让我们的模型运转效率更高。
那么 我们的模型特征是什么？
模型计算过程扁平化
优点：
- 充分利用分布式环境下的计算能力；
- 有助于业务变化的快速实现；
- 有助于数据问题的快速查找；
- 有助于口径统一化；
- 中间层数据通用性强；
劣势
- 计算资源消耗高；
- 源头对目标的影响可能性变大；
- 业务人员使用成本增加；
模型内并行计算能力高
- 多设计通用计算模块，利用计算框架化产出相同计算逻辑的数据；
模型脏数据的容错和处理能力高
相关 [分布 平台 数据模型] 推荐：
论NoSQL的数据模型
- - NoSQLFan本文内容是对《 NoSQL Data Modeling Techniques》一文的简单概述，原文对NoSQL的几种 数据模型进行了详细深入的讨论. 是了解NoSQL数据模型不过错过的全面资料. NoSQL的一些非功能性的特性，比如扩展性、性能以及一致性的讨论，目前已经有很多. 而对于NoSQL产品内部数据模型相关的知识一直比较欠缺，本文就希望能够系统地对NoSQL数据模型进行一些探讨.
[转]Geodatabase数据模型
- - 小鸥的博客1 Geodatabase概念. Geodatabase是ArcInfo8引入的一种全新的面向对象的空间数据模型，是建立在DBMS之上的统一的、智能的空间数据模型. “统一”是指，Geodatabase之前的多个空间数据模型都不能在一个统一的模型框架下对地理空间要素信息进行统一的描述，而Geodatabase做到了这一点；“智能化”是指，在Geodatabase模型中，对空间要素的描述和表达较之前的空间数据模型更接近我们的现实世界，更能清晰、准确地反映现实空间对象的信息.
NoSQL 数据模型资料小全
- medal - NoSQLfan在 Linkedin 的 NoSQL Group 上，有一位同学求 NoSQL 底层实现方面的资料，于是回复就变成了各种资料聚集地了. 本站将资料整理在下面，希望对大家有用. Cloudera’s 关于 HBase 的文章：. 下面是10gen团队发的一篇文章，论述MongoDB 的数据模型：. 关于Amazon Dynamo的一篇文章：.
谈NoSQL数据模型-转载
- - 人月神话的BLOG原文： http://blog.nosqlfan.com/html/3689.html. 本文内容是对《NoSQL Data Modeling
Techniques》一文的简单概述，原文对NoSQL的几种数据模型进行了详细深入的讨论. 是了解NoSQL数据模型不过错过的全面资料. NoSQL的一些非功能性的特性，比如扩展性、性能以及一致性的讨论，目前已经有很多.
CRM的客户数据模型：Salesforce.com(III)
- - CSDN博客推荐文章图2的数据模型来自以下资料. 其中虚线画出的实体和关系均只存在于用户界面上. Record Type(记录类型). 每个实体(account,lead和contact)均会自动或者手工赋予一个record type. Record Type 属于实现层面的设计，它提供了一种方法，能够根据不同用户的情况，提供不同的选择列表值(picklist)和布局.
NOSQL数据模型和CAP原理
- - 数据库 - ITeye博客我本来一直觉得NoSQL其实很容易理解的，我本身也已经对NoSQL有了非常深入的研究，但是在最近准备YunTable的Chart的时候，发现NoSQL不仅非常博大精深，而且我个人对NoSQL的理解也只是皮毛而已，但我还算是一个“知耻而后勇”的人，所以经过一段时间的学习之后，从本系列第六篇开始，就将和大家聊聊NoSQL，而本篇将主要给大家做一下NoSQL数据库的综述.
NoSQL聚合数据模型 - 大CC
- - 博客园_首页聚合数据模型的特点就是把经常访问的数据放在一起（聚合在一块）；. 这样带来的好处很明显，对于某个查询请求，能够在与数据库一次交互中将所有数据都取出来；. 当然，以这种方式存储不可避免的会有重复，重复是为了更少的交互；. 聚合结构对某些交互有利，却阻碍另一些交互；. 比如：以学生学号聚合学生信息（含学生姓名、班级、年龄、等信息，甚至英语学科成绩),通过学号查询时，能够在一次交互中查询出该学生的所有信息，但如果想通过学生姓名来查询，就很困难；.
Cassandra数据模型设计案例分析-转载
- - 人月神话的BLOG原文：http://www.lamfire.com/?p=313. 近来 Cassandra 备受瞩目，很多人正在评估是否可以应用
Cassandra. 由于这些人更多的追求速度，相应的，我们的文档就过于粗浅了. 这些文章中，最差的是为有关系数据库基础的人解释Cassandra数据模型的那些. Cassandra 数据模型实际和传统的数据库差异非常大，足够让人眩晕，而且很多误解都需要修正.
CRM的客户数据模型：SAP CRM 7.0 (V)
- - CSDN博客推荐文章分析SAPCRM 7.0 数据模型的信息主要来自：. SAP CRM的客户(customer/partner)数据模型与SAP ERP的不同. Business Partner(商业伙伴). 通常BusinessPartner(简称BP)是指对公司有商业利益的某一方(Party). 你可以为不同的商业事务，集中创建和管理BP，反映他们在商业事务中承担的不同角色，比如：sold-to party (购买方), ship-to party（收货方） 和contactperson(联络人).