更新于:10-11 15:31

有关[数据]分类推荐

数梦工场宣布完成6亿元B轮融资,提出「数据智能++」数据资产管理理念

于09-26 23:25 - 新闻助手 -
9月26日,杭州数梦工场科技有限公司(简称“数梦工场”)宣布完成B轮融资,金额达6亿元人民币,公司估值达15亿美元. 此轮融资由浙江省国企改革发展基金和浙商创投联合主投,融资资金将用于产品研发、人才引进和市场拓展等方向. 数梦工场创立于2015年3月,总部位于杭州云栖小镇,在全国三十一个省市设有分支机构,在北京、杭州、南京、成都、广州、长沙成立技术创新中心.

再谈主数据管理系统(9.23)

于09-23 08:45 - 人月神话 - SOA架构实施
对于MDM主数据管理在我前两年的博客文章中谈的比较多,由于MDM一直不是我们重点研发的一个产品,因此最近关注的并不太多,但是对于SOA或ESB的应标会经常遇到客户有MDM主数据管理的需求,因此对于主数据管理系统的建设再做下简单的说明. 基础层应该具备的两个关键功能-ETL和流程引擎. 对于主数据管理系统的基础层应该具备两个关键能力,一个是ETL,一个是流程引擎.

微服务架构下,MySQL 读写分离后,数据库 CPU 飙升卡壳问题解析

于09-21 00:00 - - dev
最近系统(基于SpringCloud+K8s)上线,运维团队早上8点左右在群里反馈,系统登录无反应. 我的第一反应是Mysql数据库扛不住了. 排查问题也是一波三折,有网络问题,也有mysql读写分离后数据库参数优化问题. 1、运维团队早上8点左右在群里反馈,系统登录无反应. 2、DevOps团队通过查看Kibana日志,发现ELK、k8s集群、Redis、Mongodb、Nigix、文件服务器全部报:”Connect Unknown Error“,惊出一身冷汗.

保证分布式系统数据一致性的6种方案 - 左正 - 博客园

于09-20 07:12 - -
编者按:本文由「高可用架构后花园」群讨论整理而成. 在电商等业务中,系统一般由多个独立的服务组成,如何解决分布式调用时候数据的一致性. 具体业务场景如下,比如一个业务操作,如果同时调用服务 A、B、C,需要满足要么同时成功;要么同时失败. A、B、C 可能是多个不同部门开发、部署在不同服务器上的远程服务.

拆解大数据总线平台DBus的系统架构

于09-12 10:29 - 宜信技术学院 - 大数据
拓展阅读: 大数据总线平台DBus设计思路与工作原理. 如何基于日志,同步实现数据的一致性和实时抽取?. 快速部署DBus体验实时数据流计算. Dbus所支持两类数据源的实现原理与架构拆解. 大体来说,Dbus支持两类数据源:. 一、RMDBMS类数据源的实现. 1.1 日志抽取模块(Extractor).

2019 年,数据中台为什么火了?

于09-09 00:00 - - dev
目前的数据中台创业企业都是以项目制的方式为用户交付全套的解决方案,其中既包含标准化的工具产品,也有大量针对用户个性化需求的定制开发项目. 但在客户和模式的选择上各家又有差别. 简单地讲就是“通用”和“垂直”的选择. “通用型”企业的策略是围绕数据中台底层的核心能力搭建产品和交付能力,不过多地牵涉业务层也就可以不分行业地去拓展客户.

Vue 组件数据通信方案总结

于09-08 00:00 - - dev
(给前端大全加星标,提升前端技能). 作者:政采云前端团队 公号 / 季节 (本文来自作者投稿). 初识 Vue.js ,了解到组件是 Vue 的主要构成部分,但组件内部的作用域是相对独立的部分,组件之间的关系一般如下图:. 组件 A 与组件 B 、C 之间是父子组件,组件 B 、C 之间是兄弟组件,而组件 A 、D 之间是隔代的关系.

大数据: 知乎1.3万亿条数据毫秒级响应

于09-06 08:43 - -
Zhihu,在中文古典中文中意为“你知道吗. ”是中国的Quora:一个问答网站,其中各种问题由用户社区创建,回答,编辑和组织. 作为中国最大的知识共享平台,我们目前拥有2.2亿注册用户,3000万个问题,网站答案超过1.3亿. 随着用户群的增长,我们的应用程序的数据大小无法实现. 我们的Moneta应用程序中存储了大约1.3万亿行数据(存储用户已经阅读过的帖子).

日均处理万亿数据!Flink在快手的应用实践与技术演进之路

于09-05 17:24 - ApacheFlink - 实时计算 流计算-storm 大数据处理 大数据 flink
作者介绍:董亭亭,快手大数据架构实时计算引擎团队负责人. 目前负责 Flink 引擎在快手内的研发、应用以及周边子系统建设. 2013 年毕业于大连理工大学,曾就职于奇虎 360、58 集团. 主要研究领域包括:分布式计算、调度系统、分布式存储等系统. 本次的分享包括以下三个部分:. 介绍 Flink 在快手的应用场景以及目前规模;.

一行命令导致的数据丢失,阿里工程师是如何恢复的?

于09-05 18:56 - 阿里技术 -
阿里妹导读:数据安全性被提到了前所未有的高度,数据保护的话题越来越成为敏感. 因为,业务的中断时间对用户造成的影响愈来愈大. 阿里技术专家凡钧从数据安全的形势与发展,面临的挑战,问题的定义,传统的解决方案,当前云厂商的解决方案,去阐述什么是连续数据保护并提出了弹性的可验证的连续数据保护方案(Elastic Assured Continuous Data Protection).

如何保证缓存与数据库的双写一致性?

于08-28 22:16 - -
如何保证缓存与数据库的双写一致性. 你只要用缓存,就可能会涉及到缓存与数据库双存储双写,你只要是双写,就一定会有数据一致性的问题,那么你如何解决一致性问题. 一般来说,如果允许缓存可以稍微的跟数据库偶尔有不一致的情况,也就是说如果你的系统不是严格要求 “缓存+数据库” 必须保持一致性的话,最好不要做这个方案,即:读请求和写请求串行化,串到一个内存队列里去.

数据仓库系列之数据质量管理 - 黄昏前黎明后 - 博客园

于08-28 22:15 - -
数据质量一直是数据仓库领域一个比较令人头疼的问题,因为数据仓库上层对接很多业务系统,业务系统的脏数据,业务系统变更,都会直接影响数据仓库的数据质量. 因此数据仓库的数据质量建设是一些公司的重点工作.   数据质量的高低代表了该数据满足数据消费者期望的程度,这种程度基于他们对数据的使用预期. 数据质量必须是可测量的,把测量的结果转化为可以理解的和可重复的数字,使我们能够在不同对象之间和跨越不同时间进行比较.

基于datax的数据同步平台 - 黄小雪 - 博客园

于08-28 22:14 - -
为此开发了一个数据同步平台,将同步任务的增删改查、执行的历史日志全部放到平台里,然后交给DBA去自己去操作.          市面上也有一些ETL工具,比如kettle,但是为了练手决定重新造轮子.           平台主要用于数据同步、数据处理等等ETL操作.           平台基于阿里的开源同步工具datax3.0开发.

[个推 CTO 谈数据智能] 之多维度分析系统的选型方法

于08-28 17:18 - jack -
“最近看到一句话:“架构设计的关键思维是判断和取舍,程序设计的关键思维是逻辑和实现”,深以为然. 文 | 个推CTO Anson. 前文回顾:《数据智能时代来临:本质及技术体系要求》作为本系列的第一篇文章,概括性地阐述了对于数据智能的理解以及推出了对应的核心技术体系要求:. 数据智能就是以数据作为生产资料,通过结合大规模数据处理、数据挖掘、机器学习、人机交互、可视化等多种技术,从大量的数据中提炼、发掘、获取知识,为人们在基于数据制定决策时提供有效的智能支持,减少或者消除不确定性.

datax 3.0配合crontab实现数据定时增量同步

于08-18 10:22 - -
使用datax 实现数据增量同步踩坑记录. 由于项目上需要将a服务器数据同步至b服务器,一开始使用mysql主从复制,但是由于主从同步无法触发位于b服务器的触发器,只能放弃此方案. 后来找到了datax可以实现数据同步同时也可以触发触发器,决定使用此方案. 安装datax,python,jdk  datax下载及安装地址.

每天用SpringBoot,还不懂RESTful API返回统一数据格式是怎么实现的?

于08-13 09:12 - 日拱一兵 - spring
关于 Spring 的全局处理,我有两方面要说:. 为了将两个问题说明清楚,将分两个章节分别说明,本章主要说第一点. 有童鞋说,我们项目都做了这种处理,就是在每个 API 都单独工具类将返回值进行封装,但这种不够优雅;我想写最少的代码完成这件事,也许有童鞋说,加几个注解就解决问题了,说的没错, 但这篇文章主要是为了说明为什么加了几个注解就解决问题了,目的是希望大家知其所以然.

[个推 CTO 谈数据智能] 之本质及技术体系要求

于08-07 01:34 - jack -
毕业于浙江大学,现全面负责个推技术选型、研发创新、运维管理等工作,已带领团队开发出针对移动互联网、金融风控等行业的多项前沿数据智能解决方案. 曾任MSN中国首席架构师,拥有十余年资深技术开发与项目管理经验,在大数据处理系统、大规模并发平台、分布搜索系统、手机应用开发、无线通信领域和智慧金融系统等领域拥有丰富实践经验.

Elasticsearch、Kibana数据导出实战

于08-06 17:56 - -
以下两个导出问题来自Elastic中文社区. 问题1、kibana怎么导出查询数据. 问题2:elasticsearch数据导出. 就像数据库数据导出一样,elasticsearch可以么. 或者找到它磁盘上存放数据的位置,拷贝出来,放到另一个es服务器上或者转成自己要的数据格式. 实际业务实战中,大家或多或少的都会遇到导入、导出问题.

SpringBoot 通过AOP实现数据库读写分离

于08-06 16:14 - -
该方法是通过DataSourceAop拦截方法并设置Order注解保证该AOP在@Transactional之前执行,来实现数据库读写分离,另外的方法则是通过数据库中间件来实现,如proxysql、mycat、maxscale. . 1.0.18 .

微众银行数据库架构演进及 TiDB 实践经验 - 推酷

于08-02 20:51 - -
胡盼盼,微众银行数据平台室室经理. 硕士毕业于华中科技大学,毕业后加入腾讯,任高级工程师,从事分布式存储与云数据库相关的研发与运营工作;2014 年加入微众银行,负责微众银行的数据库平台的建设与运营. 黄蔚,微众银行数据库平台室高级 DBA. 2011 年加入腾讯互动娱乐运营部,担任英雄联盟在内的多款海量用户产品的数据库运维工作.

用了边缘计算,你的数据就真的安全了吗?

于07-31 23:59 - - 业界
采用边缘计算将数据留在本地进行处理,用以解决用户的隐私泄露和安全问题,你的数据就真的安全了吗. 智能家居一方面给人们描绘了一幅未来美好的智慧生活的图景,另一方面也带给人们对于自身隐私和安全问题的担忧. 针对此等情况,有行业人士认为:未来边缘计算将更广泛地应用于终端设备,从而保护用户的隐私安全. 此外,多接入边缘计算MEC,作为近两年关注度最高的一种边缘计算,其在智能工厂、智能医院和智能炼油厂等诸多细分领域都有广泛的应用.

使用NiFi简单的从网站获取数据写入到mysql数据库

于07-30 17:57 - 357029540 -
      首先我们在官网上面下载nifi,我这里使用的版本是1.9.2,解压nifi后,我们就可以进入该文件夹下面的bin目录,点击run-nifi.bat启动nifi,可能nifi启动毕竟慢的原因,我关闭后重新启动一两次才能打开nifi的网页,默认端口是8080,可以在conf文件夹下面的nifi.properties修改端口号nifi.web.http.port.

Docker Volume 数据持久化方式 - 简书

于07-25 13:50 - -
Docker的数据持久化主要有两种方式:. Docker的数据持久化即使数据不随着container的结束而结束,数据存在于host机器上——要么存在于host的某个指定目录中(使用bind mount),要么使用docker自己管理的volume(/var/lib/docker/volumes下).

算法能从“匿名化”数据库里识别身份

于07-24 20:54 - -
许多公开的数据通常会经过匿名化处理,也就是剥离了个人身份信息. 但计算机科学家发现,所谓的匿名化 其实并没有真正匿名. 伦敦帝国理工学院和鲁汶大学的研究人员在《Nature Communications》期刊上发表 报告,他们开发出一种算法能以 99.98% 的正确率利用包含性别邮编等公开数据识别美国人的身份.

基于MySQL binlog的数据同步中间件 mbinlogmq

于07-24 09:52 - - 数据库管理工具
mbinlogmq 一个基于MySQL binlog协议的数据同步中间件 什么是mbinlogmq.

理解数据库中的undo日志、redo日志、检查点 | 乐天的个人网站

于07-17 11:32 - -
数据库存放数据的文件,本文称其为data file. 数据库的内容在内存里是有缓存的,这里命名为db buffer. 某次操作,我们取了数据库某表格中的数据,这个数据会在内存中缓存一些时间. 对这个数据的修改在开始时候也只是修改在内存中的内容. 当db buffer已满或者遇到其他的情况,这些数据会写入data file.

不懂数据库索引的底层原理?那是因为你心里没点b树 - 苏苏喂 - 博客园

于07-09 21:29 - -
本文在个人技术博客不同步发布,详情可. 亦可扫描屏幕右侧二维码关注个人公众号,公众号内有个人联系方式,等你来撩....   前几天下班回到家后正在处理一个白天没解决的bug,厕所突然传来对象的声音:.   对象:xx,你有《时间简史》吗. 妹子,你这啥癖好啊,我有时间也不会去捡屎啊.   对象:...人家说的是霍金的科普著作《时间简史》,是一本书啦.

Uber 大数据平台的演进(2014~2019)

于07-07 00:00 - - dev
也可以到我个人博客阅读(点击下面阅读原文即可) https://www.iteblog.com/archives/2557.html. Uber 致力于在全球市场上提供更安全,更可靠的运输服务. 为了实现这一目标,Uber 在很大程度上依赖于数据驱动的决策,从预测高流量事件期间骑手的需求到识别和解决我们的驾驶员-合作伙伴注册流程中的瓶颈.

学会用数据库的方式思考SQL是如何执行的

于07-03 00:49 - 陈旸 -
虽然SQL是声明式语言,我们可以像使用英语一样使用它,不过在RDBMS(关系型数据库管理系统)中,SQL的实现方式还是有差别的. 今天我们就从数据库的角度来思考一下SQL是如何被执行的. 关于今天的内容,你会从以下几个方面进行学习:. Oracle中的SQL是如何执行的,什么是硬解析和软解析;. MySQL中的SQL是如何执行的,MySQL的体系结构又是怎样的;.

为什么开源数据库改变许可证?

于06-25 14:36 - - Developer
CockroachDB 是一个开源的分布式数据库,最近 改变了代码授权,放弃了 Apache 许可证. 许多开源数据库这一两年都改变了授权,比如 Confluent、 Elastic 、 MongoDB、 Redis Labs、 TimescaleDB. 一、CockroachDB 的许可证变更.