数据管理流程,基础入门简介

标签: dev | 发表时间:2021-01-02 00:00 | 作者:
出处:http://itindex.net/relian

一、基础思维

数据在现在互联网的行业中可以说是最核心的话题,数据的价值已经被称为资产了,大部分的互联网应用都会源源不断的产生各种数据,如何管理和使用这些数据,让这些看似平常的数据产生更大的价值,一直是热门的探索领域。比如常见的风控、营销、推广等各种业务,都需要依赖大量的用户行为数据作为依赖,才能精准的对相关流程做出分析判断。

数据管理是一项复杂而且庞大的工程,需要付出的时间和成本非常高,通常的说法就是对用户有效的数据进行采集,存储,分析,组建业务模型,二次业务应用,以此让数据发挥更大的价值。

在企业考虑做数据沉淀管理时候,通常这里有一个基础的考虑,数据量是否庞大,搭建起的数据管理体系能带来的收益是否能覆盖成本;对于企业来说,很多事情做起来都是对的,但是不一定是对自身发展是有益的;如果基于数据管理,能带来更多业务收益,那这个庞大的工程自然值得投入。

二、业务与数据

这里再从实际流程来看这个问题,通常一个项目在开发初期时候,为节约成本都会采取快速迭代的方式,基于产品设计和用户使用分析,不断快速升级,在这一过程中也是数据不断积累的过程,一个方向清晰的产品发展的基本过程:产品核心功能实现,丰富和优化流程,产品分析的数据报告。这是一个项目开发的基本初期流程,如果产品没有成功,过程到这就基本结束,成本不会过高,当然如果产品成功了,那后续产品的发展方向怎么确定,就是另一个大的话题。

通常会从两个方面考虑稳定产品的后续方向:1.借鉴市面上类似产品,去分析成功的原因;2.基于现有的业务流程产生的数据,判断产品的亮点和糟点;通常根据产品现有数据做分析是最常见的操作,在实际互联网产品中,就有活脱脱的案例:

媒体类APP会根据用户浏览行为推荐信息,你感兴趣的内容会不断推送;电商类APP会根据季节或日期或搜索行为,推荐特定的商品,提高成交量;社交类APP会根据多个纬度的使用数据做相应的广告植入,精准分发;

以上这些实际的案例,都是在互联网产品中很常见的操作,都是基于产品业务流程,不断积累数据,然后针对自身数据的沉淀,做二次数据分析,再次应用到业务层产生非常高的价值。

三、自动化流程

数据管理的流程需要自动化,这个是最基础的操作,如果基于数据的流程不能自动,那就完全没有必要,例如数据完整的周期从业务数据产生,分析沉淀,可视化分析,二次应用,这里流程只有自动化管理才能源源不断的提供稳定的服务。数据管理中的一个核心因素就是效率,追求效率就要依赖自动的流程,拿一个简单的案例来说:今天天气很冷,用户浏览防寒商品,如果产品不快速响应,做好相关分析和推荐服务,那过了今天很可能用户已经没有购买意愿,或者已经在其他平台下单了,大部分用户的行为都是有时效性存在的,这对于交易类产品尤其重要。而对于社交类或者信息流的产品,用户的行为画像至关重要,基于自动的行为分析,源源不断的丰富用户的行为画像,以此更加精准的判断用户心理,提高产品的粘性。

所以数据管理的最终产品形态,工具智能化分析,流程自动化管理,快速判断用户行为,精准响应,这才能最大发挥业务数据的价值。

四、服务升级

任何一款产品,如果源源不断的用户注册使用,产生大量的数据,都很容易发展成为一款超级应用,或者生态平台。支撑这些业务的都是依靠用户和用户数据。例如社交产品提供精准的营销服务平台;金融产品提供风控分析;电商产品提供消费能力分析;这些服务都是基于用户海量庞大行为数据,做的分析推测,一旦这些生态关系形成,产品必然会发展成为平台。同样的数据,可以提供多次服务是数据管理的一个特点,例如某平台知道用户精准的购买意向,那这个数据能服务多少商家,则就看这个平台有多少合作的商家,这就是一条用户分析数据产生的多次业务收益。

所以很多现象级的产品,都是先有自己的数据管理体系,起初服务自己业务线,然后顺利发展为平台,开放服务能力,获取更多的客户或者用户,然后不断的优化和服务能力升级,进入良好的发展循环。

相关 [数据管理 基础 简介] 推荐:

数据管理流程,基础入门简介

- - IT瘾-dev
数据在现在互联网的行业中可以说是最核心的话题,数据的价值已经被称为资产了,大部分的互联网应用都会源源不断的产生各种数据,如何管理和使用这些数据,让这些看似平常的数据产生更大的价值,一直是热门的探索领域. 比如常见的风控、营销、推广等各种业务,都需要依赖大量的用户行为数据作为依赖,才能精准的对相关流程做出分析判断.

Hadoop的数据管理

- - 技术改变世界 创新驱动中国 - 《程序员》官网
本文主要介绍Hadoop的数据管理,主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive. HDFS是分布式计算的存储基石,Hadoop分布式文件系统和其他分布式文件系统有很多类似的特性:. 对于整个集群有单一的命名空间;. 具有数据一致性,都适合一次写入多次读取的模型,客户端在文件没有被成功创建之前是无法看到文件存在的;.

Cue:移动个人数据管理

- - 天涯海阁|Web2.0Share
Greplin最近发布2.0版本,同时改名为Cue. 那让我们来看看Cue的前身Greplin. 一名19岁的以色列高中生毕业生Daniel Gross就开发了一款新的搜索引擎Greplin,这个搜索引擎在使用时需要获得用户授权,可以访问该用户的社交网站、微博、在线文档、购物记录等,从而帮助用户快速搜索出那些用普通搜索引擎无法找到的信息.

[原]数据仓库元数据管理

- - oycn2010的专栏
元数据管理, 简单的做就是EXCEL结合版本管理等传统工具管理, 专业点就用专门的元数据管理工具;. 数据字典--> 数据知识库. 业务元数据,技术元数据,管理元数据. 参照:SAP元数据管理平台:按业务(角色)分类,按技术类型分类(特征,关键值,DSO,InfoCube),数据流程图. 按照传统的定义,元数据(Metadata)是关于数据的数据.

再谈主数据管理系统(9.23)

- - 人月神话的BLOG
对于MDM主数据管理在我前两年的博客文章中谈的比较多,由于MDM一直不是我们重点研发的一个产品,因此最近关注的并不太多,但是对于SOA或ESB的应标会经常遇到客户有MDM主数据管理的需求,因此对于主数据管理系统的建设再做下简单的说明. 基础层应该具备的两个关键功能-ETL和流程引擎. 对于主数据管理系统的基础层应该具备两个关键能力,一个是ETL,一个是流程引擎.

【转载】主数据管理(MDM)与元数据管理 - bada130 - 博客园

- -
主数据(Master Data)和元数据(Meta Data)是两个完全不同的概念. 元数据是指表示数据的相关信息,比如数据定义等,而主数据是指实例数据,比如产品目录信息等. 比如,某省地税开发了一套 征收管理软件,以市为单位部署了17套,每套征收管理软件中的元数据都是一样的,但是主数据还是需要进行管理的.

数据管理:表象之下、有容乃大

- - 技术改变世界 创新驱动中国 - 《程序员》官网
如果让数据管理市场的各类产品都凑到一起演奏一场打击乐,那么NoSQL无疑是鼓声最强的. 近两年随着消费型数据的急剧膨胀,NoSQL数据库在媒体和各种技术会议中也是风生水起,以至于参加这些会议时更多听到的是传统关系型数据库的“不是”. 尽管我们可以将这些消费型数据称为“金矿”,但它们毕竟不是铸好的金砖,关键信息还是继续保存在传统的商用数据库中.

谷歌将整合用户数据管理

- - Deutsche Welle: DW-WORLD.DE Top Stories
Google在本周二发表声明,表示其正在修订用户数据保护政策,以及更改其收集与使用用户资料的方式,提供更具个人化的搜寻结果和广告. 这一新的用户数据保护政策的将在今年3月1日正式施行,Google将在这一日期前通过邮件和各站点公告的方式通知其用户. 新的数据政策最大的改动是,Google将会整合现有的针对不同服务的超过70份的数据保护规定,并以一份统一政策替代.

元数据驱动的主数据管理平台

- - 人月神话的BLOG
前面谈MDM主数据管理的文章也比较多,本篇文章主要还是想谈下元数据驱动下的MDM主数据管理平台的核心构建思路. 因为对于一个MDM系统更多应该理解为结合了元数据驱动和建模,结合了流程引擎和ETL服务能力的一个快速开发和配置平台. 这个思路和原来我们谈到IBM-CQ变更和缺陷管理系统的构建思路完全是一致的.

数据仓库系列之元数据管理 - 简书

- -
    元数据(Meta Data),主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态. 一般会通过元数据资料库(Metadata Repository)来统一地存储和管理元数据,其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致. 元数据是数据仓库管理系统的重要组成部分,元数据管理是企业级数据仓库中的关键组件,贯穿了数据仓库的整个生命周期,使用元数据驱动数据仓库的开发,使数据仓库自动化,可视化.