更新于:10-11 15:31

有关[同步]分类推荐

MySQL 同步复制及高可用方案总结

于10-15 15:41 - 民工哥 - mysql linux centos
mysql作为应用程序的数据存储服务,要实现mysql数据库的高可用. 必然要使用的技术就是数据库的复制,如果主节点出现故障可以手动的切换应用到从节点,这点相信运维同学都是知道,并且可以实现的. 但是这种情况只是手动的切换,对可用性有要求的业务需要分别实现主库和从库的高可用,保障在数据库出现down机的情况下,可以自动实现数据库的故障转移,保障应用的可用性和用户体验.

基于datax的数据同步平台 - 黄小雪 - 博客园

于08-28 22:14 - -
为此开发了一个数据同步平台,将同步任务的增删改查、执行的历史日志全部放到平台里,然后交给DBA去自己去操作.          市面上也有一些ETL工具,比如kettle,但是为了练手决定重新造轮子.           平台主要用于数据同步、数据处理等等ETL操作.           平台基于阿里的开源同步工具datax3.0开发.

datax 3.0配合crontab实现数据定时增量同步

于08-18 10:22 - -
使用datax 实现数据增量同步踩坑记录. 由于项目上需要将a服务器数据同步至b服务器,一开始使用mysql主从复制,但是由于主从同步无法触发位于b服务器的触发器,只能放弃此方案. 后来找到了datax可以实现数据同步同时也可以触发触发器,决定使用此方案. 安装datax,python,jdk  datax下载及安装地址.

基于MySQL binlog的数据同步中间件 mbinlogmq

于07-24 09:52 - - 数据库管理工具
mbinlogmq 一个基于MySQL binlog协议的数据同步中间件 什么是mbinlogmq.

MQTT 客户机应用程序中的回调和同步

于07-23 18:13 - -
使用Paho订阅mqtt消息时,不需要明确确认收到消息. 如果回调正常返回,Paho认为它成功消费并向服务器发送确认.  请注意,这将导致丢失任何QoS级别为0的消息. 一旦重新连接客户端并再次订阅该主题,服务器将重新发送具有QoS级别1或2的消息. MQTT 客户机编程模型广泛地使用线程. 线程将尽可能降低 MQTT 客户机应用程序与服务器之间传输消息时的延迟.

有赞亿级订单同步的探索与实践

于04-20 00:00 - - dev
文 | 王启 on 订单. 有赞是提供商家 SAAS 服务,随着越来越多的商家使用有赞,搜索或详情的需求也日益增长,针对需求及场景,之前提到过的 订单管理架构演变及 AKF 架构等在这两篇文章里已经有所体现,而这些数据的查询来自于不同的 Nosql,怎么同步这些非实时存储系统将是一个很有趣的事情.

Debezium 实现 MySQL 到 Elasticsearch 高效实时同步

于02-26 00:00 - - dev
来自Elasticsearch中文社区的问题——. MySQL中表无唯一递增字段,也无唯一递增时间字段,该怎么使用logstash实现MySQL实时增量导数据到es中. logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式 增量同步数据. 回到问题本身:如果库表里没有相关字段,该如何处理呢.

美团DB数据同步到数据仓库的架构与实践

于12-07 04:06 - 美团点评技术团队 -
在数据仓库建模中,未经任何加工处理的原始业务层数据,我们称之为ODS(Operational Data Store)数据. 在互联网企业中,常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类. 对于业务DB数据来说,从MySQL等关系型数据库的业务数据进行采集,然后导入到Hive中,是进行数据仓库生产的重要环节.

阿里巴巴开源项目: 阿里巴巴去Oracle数据迁移同步工具

于03-05 18:29 - -
   08年左右,阿里巴巴开始尝试MySQL的相关研究,并开发了基于MySQL分库分表技术的相关产品,Cobar/TDDL(目前为阿里云DRDS产品),解决了单机Oracle无法满足的扩展性问题,当时也掀起一股去IOE项目的浪潮,愚公这项目因此而诞生,其要解决的目标就是帮助用户完成从Oracle数据迁移到MySQL上,完成去IOE的第一步. .

MySQL中的半同步复制

于10-06 19:44 - admin - mysql MGR
MySQL当前存在的三种复制模式有:异步模式、半同步模式和组复制模式. 注意:MySQL复制模式没有“同步复制”这一项的,文章中只是为了读者方便理解半同步复制的概念才介绍了同步复制概念 https://dev.mysql.com/doc/refman/8.0/en/replication-semisync.html.

Databus for MySQL 同步 · linkedin/databus Wiki · GitHub

于09-27 20:41 - -
A frequently asked question on the Databus open source mailing list is about the possibility of capturing changes in MySQL through Databus. $ (cd bin && ./create_person.sh): The script assumes that MySQL is started on port 33066; please change it appropriately for your setup.

使用redis把队列的异步返回改成同步 - 队列使用

于01-24 11:16 - -
web编程开发中,会遇到资源争用的情况. 有多个商品,商品抢单,每个商品都有数量限制. 但凡遇到此类问题,自古以来,就有两种解决方式:1、使用锁,2、使用队列. 使用队列的方式最为简单,不考虑加锁. 把所有的请求都放入队列,然后把队列处理的结果返回给客户端. 如果商品太多,可以按商品大类分成多个队列.

JAVA通过Gearman实现MySQL到Redis的数据同步(异步复制)

于12-11 19:34 - huangjinjin520 -
MySQL到Redis数据复制方案. 无论MySQL还是Redis,自身都带有数据同步的机制,像比较常用的 MySQL的Master/Slave模式 ,就是由Slave端分析Master的binlog来实现的,这样的数据复制其实还是一个异步过程,只不过当服务器都在同一内网时,异步的延迟几乎可以忽略.

Solr之Mysql数据库全量、增量同步-yellowcong

于12-05 21:06 - yelllowcong -
1 修改solrconfig.xml. 修改solrconfig.xml 文件. 2 创建data-config.xml. 在solrconfig.xml的同级目录下创建data-config.xml文件,配置数据库连接和Solr与mysql数据的对应关系和查询语句. 使用的是Mysql测试的,我的oracle完犊子了.

航班机票的售出情况是如何同步的?

于08-01 16:46 - 李沉舟 -
首先说一家公司,中航信——中国民航信息集团公司暨中国民航信息网络股份有限公司. 三大航控股,大部分国内航空公司的都通过其系统进行销售(当然也有类似春秋等自行销售的公司),民航界销售系统一家独大. 下述的各个子系统也是由中航信开发,或者由中航信给出原型,各企业在自行改造. 航空公司内部在用的系统叫做ICS(Inventory Control System,存量控制系统),我们就是靠它来控制各个航班的销售情况.

FreeFileSync 8.7 发布,文件夹比较和同步工具

于12-29 00:45 - - 软件更新新闻
FreeFileSync 8.7 发布,FreeFileSync是开放源代码的一个文件夹比较和同步工具,界面简洁,只需简单的设置就可以实现文件夹的比较和同步操作.

基于rsync的文件增量同步方案

于04-28 01:50 - 美团点评技术团队 -
犀牛云盘是美团点评内部一个基于美团云的文件协作平台,核心是文件的结构化云存储以及上传和下载的体验优化. 文件同步是云盘功能的重要部分(包括文件内容的同步和文件增删的同步,应该有上传、下载、创建、删除等动作,但在本文的叙述中,主要关注文件内容的传输,即上传、下载),如何快速高效地进行文件同步,就成了云盘亟需解决的技术难题.

如何基于日志,同步实现数据的一致性和实时抽取?

于12-19 11:00 - 小码哥 - 运维经验 日志
目前就职于宜信技术研发中心,任架构师,负责流式计算和大数据业务产品解决方案. 曾任职于Naver china(韩国最大搜索引擎公司)中国研发中心资深工程师,多年从事CUBRID分布式数据库集群开发和CUBRID数据库引擎开发. dbus+wormhole总体架构和技术实现方案. 大家好,我是王东,来自宜信技术研发中心,这是我来社群的第一次分享,如果有什么不足,请大家多多指正、包涵.

线程同步辅助类CountDownLatch

于02-02 00:26 - -
《线程同步辅助类CountDownLatch》. Java5提供了一个非常有用的线程同步辅助类型,java.util.concurrent.CountDownLatch. 假设有多个线程正在执行异步操作,主线程希望这些异步线程全部完成之后再继续执行后续任务,那么使用CountDownLatch将非常方便.

阿里巴巴开源项目: 阿里巴巴去Oracle数据迁移同步工具

于03-05 18:29 - -
   08年左右,阿里巴巴开始尝试MySQL的相关研究,并开发了基于MySQL分库分表技术的相关产品,Cobar/TDDL(目前为阿里云DRDS产品),解决了单机Oracle无法满足的扩展性问题,当时也掀起一股去IOE项目的浪潮,愚公这项目因此而诞生,其要解决的目标就是帮助用户完成从Oracle数据迁移到MySQL上,完成去IOE的第一步. .

网络游戏同步的算法

于03-24 22:24 - sooxin -
不知道大家是否碰到过这种情况,当某个玩家发出一个火球,这个火球有自己的运动轨迹,那么如何来判断火球是否打中了人呢. 大部分情况,当策划提出这个要求的时候,一般会被程序否认,原因是:太麻烦了,呵呵. 复杂点的还有包括两个火球相撞之类的事情发生.      那么网络游戏中,是否真的无法模拟实现这种模拟呢.

android WebView登录状态session id 和cookie同步

于02-06 14:16 - f059074251 -
android客户端通过httpClient或者httpUrlConnection进行登录后,为了把登录状态同步到webView中,这时需要进行cookie的同步.         nvPairs.add(new BasicNameValuePair("gender", "男"));.                    //获取cookie的第一种方式.

Q新闻丨雅虎开源色情图片检测神经网络;Vue.js 2.0 发布;谷歌开源同步定位与制图库Cartographer

于10-15 08:00 - - geek
“上午好,实习主播小Q为您播报本周技术圈热门新闻. 为什么都这么多期过去了,小Q还只是实习主播呢. 大概是因为Q新闻阅读数没有大的提升,所以转不了正. 亲爱的大家帮帮忙,拜托拜托~谁让小Q不刷量呢……. 雅虎开源色情图片检测神经网络. 近期,雅虎刚刚开源了他们自己构建的一套深度学习神经网络,它专门用于自动检测图片是否含有色情内容.

nginx+tomcat+memcached (msm)实现 session同步复制

于05-08 23:13 - annan211 -
tomcat + memcached + nginx 实现session共享.     这里重点强调如何实现linux服务器上 服务器session共享,软件安装不再赘述. 首先我们需要对 cookie 和session的工作机制非常了解,如果不了解其中的原理,就算配置成功,也毫无意义. 换了工作换了环境,重新配置起来.

lsyncd实时同步搭建指南——取代rsync+inotify

于05-07 16:35 - seanlook - rsync inotify-tools
使用这两个组合的好处在于,它们都是最基本的软件,可以通过不同选项做到很精确的控制,比如排除同步的目录,同步多个模块或同步到多个主机. 搭建过程参考 Linux下同步工具inotify+rsync使用详解 或 这里. 后来听同事说 sersync 这么个工具可以提高同步的性能,也解决了同步大文件时出现异常的问题,所以就尝试了一下.

MySQL的主从复制、半同步复制、主主复制详解

于03-04 02:15 - admin - js框架 mysql主从复制
复制其最终目的是让一台服务器的数据和另外的服务器的数据保持同步,已达到数据冗余或者服务的负载均衡. 一台主服务器可以连接多台从服务器,并且从服务器也可以反过来作为主服务器. 主从服务器可以位于不同的网络拓扑中,由于mysql的强大复制功能,其复制目标可以是所有的数据库,也可以是某些数据库,甚至是某个数据库中的某些表进行复制.

Java 多线程同步的五种方法

于12-08 00:14 - cjh326419411 -
4、wait() 与 notify(). 前几天面试,被大师虐残了,好多基础知识必须得重新拿起来啊. 因为当我们有多个线程要同时访问一个变量或对象时,如果这些线程中既有读又有写操作时,就会导致变量值或对象的状态出现混乱,从而导致程序异常. 举 个例子,如果一个银行账户同时被两个线程操作,一个取100块,一个存钱100块.

Java多线程(二)同步

于12-15 21:59 - itachi85 -
如果你的java基础较弱,或者不大了解java多线程请先看这篇文章 java多线程(一)线程定义、状态和属性. 同步一直是java多线程的难点,在我们做android开发时也很少应用,但这并不是我们不熟悉同步的理由. 希望这篇文章能使更多的人能够了解并且应用java的同步. 在多线程的应用中,两个或者两个以上的线程需要共享对同一个数据的存取.

实现歌词同步源码

于12-14 15:05 - -
利用TextView实现歌词同步显示,这是一个简单的利用TextView实现滚动实时显示歌词的. 里面的内容都已经写上了详细的注释. 里面播放音乐的时候歌词同步展示. 做媒体这块的朋友可以学习一下,练练歌词同步实现方法. 歌词实现展示类TextShow,. 项目源码来源: http://www.itlanbao.com/code/20151214/10000/100695.html.

(三)java线程:线程同步ReentrantLock,condition(await,signal)

于08-23 09:19 - -
(三)线程同步ReentrantLock,condition(await,signal). 一.synchronized和 ReentrantLock 故事. 的线程同步(synchronized ,wait,notify. )讲了synchronized的同步方法,java 就是这么神奇,这里又有一个同步的方法.