更新于:08-10 10:58

有关[数据]分类推荐

datax 3.0配合crontab实现数据定时增量同步

于08-18 10:22 - -
使用datax 实现数据增量同步踩坑记录. 由于项目上需要将a服务器数据同步至b服务器,一开始使用mysql主从复制,但是由于主从同步无法触发位于b服务器的触发器,只能放弃此方案. 后来找到了datax可以实现数据同步同时也可以触发触发器,决定使用此方案. 安装datax,python,jdk  datax下载及安装地址.

每天用SpringBoot,还不懂RESTful API返回统一数据格式是怎么实现的?

于08-13 09:12 - 日拱一兵 - spring
关于 Spring 的全局处理,我有两方面要说:. 为了将两个问题说明清楚,将分两个章节分别说明,本章主要说第一点. 有童鞋说,我们项目都做了这种处理,就是在每个 API 都单独工具类将返回值进行封装,但这种不够优雅;我想写最少的代码完成这件事,也许有童鞋说,加几个注解就解决问题了,说的没错, 但这篇文章主要是为了说明为什么加了几个注解就解决问题了,目的是希望大家知其所以然.

[个推 CTO 谈数据智能] 之本质及技术体系要求

于08-07 01:34 - jack -
毕业于浙江大学,现全面负责个推技术选型、研发创新、运维管理等工作,已带领团队开发出针对移动互联网、金融风控等行业的多项前沿数据智能解决方案. 曾任MSN中国首席架构师,拥有十余年资深技术开发与项目管理经验,在大数据处理系统、大规模并发平台、分布搜索系统、手机应用开发、无线通信领域和智慧金融系统等领域拥有丰富实践经验.

Elasticsearch、Kibana数据导出实战

于08-06 17:56 - -
以下两个导出问题来自Elastic中文社区. 问题1、kibana怎么导出查询数据. 问题2:elasticsearch数据导出. 就像数据库数据导出一样,elasticsearch可以么. 或者找到它磁盘上存放数据的位置,拷贝出来,放到另一个es服务器上或者转成自己要的数据格式. 实际业务实战中,大家或多或少的都会遇到导入、导出问题.

SpringBoot 通过AOP实现数据库读写分离

于08-06 16:14 - -
该方法是通过DataSourceAop拦截方法并设置Order注解保证该AOP在@Transactional之前执行,来实现数据库读写分离,另外的方法则是通过数据库中间件来实现,如proxysql、mycat、maxscale. . 1.0.18 .

微众银行数据库架构演进及 TiDB 实践经验 - 推酷

于08-02 20:51 - -
胡盼盼,微众银行数据平台室室经理. 硕士毕业于华中科技大学,毕业后加入腾讯,任高级工程师,从事分布式存储与云数据库相关的研发与运营工作;2014 年加入微众银行,负责微众银行的数据库平台的建设与运营. 黄蔚,微众银行数据库平台室高级 DBA. 2011 年加入腾讯互动娱乐运营部,担任英雄联盟在内的多款海量用户产品的数据库运维工作.

用了边缘计算,你的数据就真的安全了吗?

于07-31 23:59 - - 业界
采用边缘计算将数据留在本地进行处理,用以解决用户的隐私泄露和安全问题,你的数据就真的安全了吗. 智能家居一方面给人们描绘了一幅未来美好的智慧生活的图景,另一方面也带给人们对于自身隐私和安全问题的担忧. 针对此等情况,有行业人士认为:未来边缘计算将更广泛地应用于终端设备,从而保护用户的隐私安全. 此外,多接入边缘计算MEC,作为近两年关注度最高的一种边缘计算,其在智能工厂、智能医院和智能炼油厂等诸多细分领域都有广泛的应用.

使用NiFi简单的从网站获取数据写入到mysql数据库

于07-30 17:57 - 357029540 -
      首先我们在官网上面下载nifi,我这里使用的版本是1.9.2,解压nifi后,我们就可以进入该文件夹下面的bin目录,点击run-nifi.bat启动nifi,可能nifi启动毕竟慢的原因,我关闭后重新启动一两次才能打开nifi的网页,默认端口是8080,可以在conf文件夹下面的nifi.properties修改端口号nifi.web.http.port.

Docker Volume 数据持久化方式 - 简书

于07-25 13:50 - -
Docker的数据持久化主要有两种方式:. Docker的数据持久化即使数据不随着container的结束而结束,数据存在于host机器上——要么存在于host的某个指定目录中(使用bind mount),要么使用docker自己管理的volume(/var/lib/docker/volumes下).

算法能从“匿名化”数据库里识别身份

于07-24 20:54 - -
许多公开的数据通常会经过匿名化处理,也就是剥离了个人身份信息. 但计算机科学家发现,所谓的匿名化 其实并没有真正匿名. 伦敦帝国理工学院和鲁汶大学的研究人员在《Nature Communications》期刊上发表 报告,他们开发出一种算法能以 99.98% 的正确率利用包含性别邮编等公开数据识别美国人的身份.

基于MySQL binlog的数据同步中间件 mbinlogmq

于07-24 09:52 - - 数据库管理工具
mbinlogmq 一个基于MySQL binlog协议的数据同步中间件 什么是mbinlogmq.

理解数据库中的undo日志、redo日志、检查点 | 乐天的个人网站

于07-17 11:32 - -
数据库存放数据的文件,本文称其为data file. 数据库的内容在内存里是有缓存的,这里命名为db buffer. 某次操作,我们取了数据库某表格中的数据,这个数据会在内存中缓存一些时间. 对这个数据的修改在开始时候也只是修改在内存中的内容. 当db buffer已满或者遇到其他的情况,这些数据会写入data file.

不懂数据库索引的底层原理?那是因为你心里没点b树 - 苏苏喂 - 博客园

于07-09 21:29 - -
本文在个人技术博客不同步发布,详情可. 亦可扫描屏幕右侧二维码关注个人公众号,公众号内有个人联系方式,等你来撩....   前几天下班回到家后正在处理一个白天没解决的bug,厕所突然传来对象的声音:.   对象:xx,你有《时间简史》吗. 妹子,你这啥癖好啊,我有时间也不会去捡屎啊.   对象:...人家说的是霍金的科普著作《时间简史》,是一本书啦.

Uber 大数据平台的演进(2014~2019)

于07-07 00:00 - - dev
也可以到我个人博客阅读(点击下面阅读原文即可) https://www.iteblog.com/archives/2557.html. Uber 致力于在全球市场上提供更安全,更可靠的运输服务. 为了实现这一目标,Uber 在很大程度上依赖于数据驱动的决策,从预测高流量事件期间骑手的需求到识别和解决我们的驾驶员-合作伙伴注册流程中的瓶颈.

学会用数据库的方式思考SQL是如何执行的

于07-03 00:49 - 陈旸 -
虽然SQL是声明式语言,我们可以像使用英语一样使用它,不过在RDBMS(关系型数据库管理系统)中,SQL的实现方式还是有差别的. 今天我们就从数据库的角度来思考一下SQL是如何被执行的. 关于今天的内容,你会从以下几个方面进行学习:. Oracle中的SQL是如何执行的,什么是硬解析和软解析;. MySQL中的SQL是如何执行的,MySQL的体系结构又是怎样的;.

为什么开源数据库改变许可证?

于06-25 14:36 - - Developer
CockroachDB 是一个开源的分布式数据库,最近 改变了代码授权,放弃了 Apache 许可证. 许多开源数据库这一两年都改变了授权,比如 Confluent、 Elastic 、 MongoDB、 Redis Labs、 TimescaleDB. 一、CockroachDB 的许可证变更.

工商银行MySQL数据库架构解密

于06-20 20:38 - -
点击▲关注 “IT168企业级”给公众号置顶. 作者:林承军   编辑:爱可生. 摘要:本文根据DTCC数据库大会分享内容整理而成,将介绍工行 IT 架构转型中传统 OLTP 数据库架构面临的挑战和诉求,构建基于 MySQL 分布式企业级解决方案实践历程,包括技术选择、高可用设计、两地三中心容灾、运维管理、资源使用效率等方面的思考和实践经验,同时也介绍了工行转型的成效以及对后续工作的一些思考.

直播系统中使用SEI传输用户自定义数据方案讨论 - 简书

于06-18 13:36 - -
      在直播系统中,除了直播音视频之外,有时候还想从主播端发布文本信息等,这些信息可以不通过视频传输通道发送给用户播放端,但如果传输的数据想和视频保持精准同步,那最好的办法就是这些信息和视频数据打包在一起传输, 通过h264 sei方式就可以把数据放入h264 Access Unit中传输.      H264 SEI 基本知识介绍:.

ElasticSearch在数十亿级别数据下,如何提高查询效率? - 知乎

于05-31 07:11 - -
es 在数据量很大的情况下(数十亿级别)如何提高查询效率啊. 这个问题是肯定要问的,说白了,就是看你有没有实际干过 es,因为啥. 其实 es 性能并没有你想象中那么好的. 很多时候数据量大了,特别是有几亿条数据的时候,可能你会懵逼的发现,跑个搜索怎么一下. 5~10s,后面反而就快了,可能就几百毫秒.

别再说找不到数据啦!这里拥有全世界的数据

于05-29 12:11 - 小蚊子数据分析 - 数据分析
今天要为大家介绍的就是世界银行网站 ——一个发现世行数据的新工具和讲述关于世行数据的故事的平台. 网站提供了六大主题领域数据:贫困与不平等、人、环境、经济、国家和市场以及全球链接. 每个主题页面都简要地介绍或提供了可得数据的类型、专题指标清单以及关于广泛使用的方法和当前数据难题的信息. 网站的所有数据都可以免费使用,当然也有一些最低限度的限制,需要使用的话自己查阅.

大数据分析界的“神兽”Apache Kylin有多牛? – lxw的大数据田地

于05-26 09:24 - -
1.Apache Kylin是什么. 在现在的大数据时代,越来越多的企业开始使用Hadoop管理数据,但是现有的业务分析工具(如Tableau,Microstrategy等)往往存在很大的局限,如难以水平扩展、无法处理超大规模数据、缺少对Hadoop的支持;而利用Hadoop做数据分析依然存在诸多障碍,例如大多数分析师只习惯使用SQL,Hadoop难以实现快速交互式查询等等.

CyberScan:用于数据包取证的渗透工具

于05-22 15:00 - secist - 工具 CyberScan 数据包
CyberScan是一个开源的数据包取证渗透工具,可用于数据包的分析,解码,扫描端口,pinging以及获取IP的地理定位包括(纬度,经度,地区,国家等). 你可以通过克隆Git存储库下载CyberScan:. CyberScan支持Python版本2.6.x和2.7.x开箱即用. CyberScan 模块使用.

哪些省才是真正的高考地狱模式?—数据量化全国31省高考难度,结论可能和想象中不太一样

于05-11 21:15 - -
不同省份的高考难度,一直是一个撕扯严重的问题. 当然了,每个地方的人,都会觉得自己是比较难的那一个. 因为其实不管在哪里,高考都是件不容易的事情. 但是周围的人讲什么地方考试难,大部分人都是以主观体验或者单一指标来讲的,比如周围学霸如何多,考试分数如何高,每天学习如何晚,主观体验,每个人都是不同的,就会出现撕逼许久,撕不出结论的情况.

7000 字深度总结:运营必备的 15 个数据分析方法

于04-29 20:19 - Alice - 数据分析 2年 GrowingIO 初级
这篇文章来自 GrowingIO 联合创始人 & 运营副总裁陈明先生,全文总结了 15 个运营必备的数据分析方法论. 不论是刚刚入行的萌新,还是深耕多年的老司机,这篇深度总结,都值得你再次回顾. 提起数据分析,大家往往会联想到一些密密麻麻的数字表格,或是高级的数据建模手法,再或是华丽的数据报表. 其实,“ 分析 ”本身是每个人都具备的能力,比如根据股票的走势决定购买还是抛出;依照每日的时间和以往经验选择行车路线;购买机票、预订酒店时,比对多家的价格后做出最终选择.

Spring Boot 2.x监控数据可视化(Actuator + Prometheus + Grafana手把手)

于04-23 22:16 - - Spring Boot Spring Boot 监控 Actuator
本文基于Spring Boot 2.1.4,理论支持Spring Boot 2.x所有版本. 众所周知,Spring Boot有个子项目Spring Boot Actuator,它为应用提供了强大的监控能力. 从Spring Boot 2.0开始,Actuator将底层改为Micrometer,提供了更强、更灵活的监控能力.

四大模块,带你了解阿里大数据产品技术架构

于04-22 19:21 - 华仔 - 产品设计 3年 中级 产品技术架构 大数据
本文笔者将从数据采集层、数据计算层、数据服务层、数据应用层四大层次来带大家了解阿里大数据的产品技术架构. 2014年,马云提出:“人类正从IT时代走向DT时代”. 如果说在IT时代是以自我控制、自我管理为主,那么到了DT (Data Technology)时代,则是以服务大众、激发生产力为主. 以互联网(或者物联网)、云计算、大数据和人工智能为代表的新技术革命正在渗透至各行各业,悄悄地改变着我们的生活.

mXtract:一款功能强大的内存数据提取&分析工具

于04-20 15:00 - Alpha_h4ck - 工具 mXtract 内存数据提取
mXtract是一款开源的Linux安全工具,该工具可从目标系统的内存中提取并分析数据. 从本质上来说,mXtract是一款防御端渗透测试工具,它的主要功能是扫描目标系统内存并尝试通过正则表达式来从中提取出私钥、IP和用户密码等敏感数据. 请记住,扫描结果跟正则表达式的质量息息相关…. Verbose模式扫描单个IP正则式,扫描单个数据段,显示整个扫描进程信息以及扫描的环境文件.

人脸相关数据库 - marleylee的博客 - CSDN博客

于04-16 14:04 - -
在人脸检测、人脸识别和属性分析等方面,常用的 数据库可分为以下五部分. (1999年发布)CMU+MIT:180幅图像,共734个人脸. 包含3个正面人脸 测试子集和一个旋转人脸测试子集,其中正面人脸测试子集有130幅图像,共511个人脸;旋转人脸测试子集有50幅图像,共223个人脸. (2010年发布)FDDB:2845幅图像,共5171个人脸.

一次诡异的线上数据库的死锁问题排查过程

于04-10 00:00 - - dev
前几天,线上发生了一次数据库死锁问题,这一问题前前后后排查了比较久的时间,这个过程中自己也对数据库的锁机制有了更深的理解. 本文总结了这次死锁排查的全过程,并分析了导致死锁的原因及解决方案. 希望给大家提供一个死锁的排查及解决思路. 本文涉及到MySql执行引擎、数据库隔离级别、Innodb锁机制、索引、数据库事务等多领域知识.

微服务架构-数据中台和业务中台(3.27)

于03-27 19:45 - 人月神话 - IT咨询
首先我们看下阿里巴巴Aliware团队对企业中台的定义. 即企业中台是由业务中台和数据中台构建起数据闭环的运营体系,实现以数字化资产的形态构建企业核心差异化竞争力. 在原来我谈企业中台的时候,很少专门谈到数据中台和业务中台,更多谈的是技术中台和业务中台,技术中台类似我们原来说的技术平台层和业务不相关.