Apache NiFi 是一个强大的数据流管理和自动化工具，旨在简化数据的采集、传输、处理和分发. 它特别适合于构建和管理复杂的数据流管道，支持从各种数据源到不同目标系统的数据传输. Apache NiFi主要功能. Apache NiFi 是一个用于自动化数据流的强大工具，具有广泛的功能集，旨在支持从各种数据源到不同目标的复杂数据流管道.

这是我参与「掘金日新计划 · 10 月更文挑战」的第17天， 点击查看活动详情. 本系列文章基于我的开源微服务项目【校园博客】进行分析和讲解，所有源码均可在GitHub仓库上找到. 系列文章地址请见我的 校园博客专栏. GitHub地址： https://github.com/stick-i/scblogs.

相信不少小伙伴跟TJ君有一样的经历，当然相信也会有小伙伴是因为更换设备导致的文件丢失，不管怎么说，临时用用还行，平时大家还是不要把重要的文件直接存储在微信上，还是该备份的备份，该传输到本地的传输. 你确定不开通个VIP那上传下载速度能用. 那么今天的问题就来了，平时大家都用什么文件传输工具呢. 今天TJ君要和大家分享的就是一款免费、开源的文件同步工具， Syncthing.

数据准实时复制（CDC）是目前行内实时数据需求大量使用的技术，随着国产化的需求，我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发，逐步实现对商业产品的替代. 本文把市面上常见的几种开源产品，Canal、Debezium、Flink CDC 从原理和适用做了对比，供大家参考. 本文首发微信公众号《import_bigdata》.

去年的一篇文章大致地讲了我对MQ的一些认识，事实上Kafka在内的现代MQ，功能远不止这些. 后面整理好自己的思路，肯定会再写一篇文章来讲讲. 这篇文章的主角就是与MQ息息相关的CDC技术. CDC全称叫：change data capture，是一种基于数据库数据变更的事件型软件设计模式. 比如有一张订单表trade，订单每一次变更录入到一张trade_change的队列表.

与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等. 随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足.

说明：最近部署了mysql的集群环境，详细如下M01和M02为主主复制，M01和R01为主从复制；在测试的过程中发现了以下问题：. 1、M01和M02的主主复制是没有问题的（从M01写入数据能同步到M02，从M02写入数据能够同步到M01);. 2、主从同步的时候，当从M01写入的时候，数据可以写入到R01；.

MySQL 复制问题的最后一篇，关于双向同步复制架构设计的一些设计要点与制约. 数据库的双主双写并双向同步场景，主要考虑数据完整性、一致性和避免冲突. 对于同一个库，同一张表，同一个记录中的同一字段的两地变更，会引发数据一致性判断冲突，尽可能通过业务场景设计规避. 双主双写并同步复制可能引发主键冲突，需避免使用数据库自增类主键方案.

记录使用logstash从sqlserver同步数据到ES中遇到的几点问题. 使用的版本是es6.8.3+logstash6.8.3. jdbc_driver_library => "/usr/local/logstash-6.8.3/logstashconfs/sqljdbc4.jar"#sqlserver的驱动jar包jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver".

Elasticsearch版本兼容性：支持各种Elasticsearch版本（1.x,2.x,5.x,6.x,7.x,+）之间相互数据迁移. 数据同步改进：完善ip2region和geoip数据库热加载机制. Restclient改进：升级httpcliet组件版本到最新的官方版本4.5.13. Restclient改进：升级fastxml jackson databind版本2.9.10.8.

1、OPPO多活架构原则   . 多活成本比较高的，双活是两倍，三活可能成本会低一些，但三活的难度更大. 因此没有办法对所有业务进行多活，只能对主线做多活. 举个例子，系统有个充值的功能，充值功能本身是强一致的，完全不能允许任何的延迟或者是副本的读. 但是多活切换之后，只有少数用户在切换的前几分钟有充值的，这部分用户余额可能没有通过过去，只需要对这部分用户进行服务降级，其他绝大多数用户是可以使用完整的服务的.

参考样式即可，具体使用配置参数根据实际情况而定. jdbc_connection_string => "jdbc:mysql://localhost/数据库名". jdbc_driver_library => "mysql-connector-java-5.1.45-bin.jar所在位置". type => "数据库表名1".

SpringBoot实战电商项目mall（40k+star）地址：. mall项目中的商品搜索功能，一直都没有做实时数据同步. 最近发现阿里巴巴开源的 canal可以把MySQL中的数据实时同步到Elasticsearch中，能很好地解决数据同步问题. 今天我们来讲讲 canal的使用，希望对大家有所帮助.

整理：陈政羽（Flink 社区志愿者）. Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化. 本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪）分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行介绍和演示.

MYSQL logstash 同步增量数据到ES. 最近一段时间，在使用mysql通过logstash-jdbc同步数据到es,但是总是会有一定程度数据丢失. logstash-jdbc无非是通过sql遍历数据表的所有数据，然后同步到es. 对于表里面的所有字段都需要查出来然后同步到es中去. 数据同步脚本分为全量同步与增量同步.

上一篇 介绍了移山(数据迁移平台)实时数据同步的整体架构； . 本文主要介绍移山(数据迁移平台)实时数据同步是如何保证消息的顺序性. 这里 查看更多关于大数据平台建设的原创文章. 消息生产端将消息发送给同一个MQ服务器的同一个分区，并且按顺序发送；. 消费消费端按照消息发送的顺序进行消费. 在某些业务功能场景下需要保证消息的发送和接收顺序是一致的，否则会影响数据的使用.

不更新缓存是防止并发更新导致的数据不一致. 所以为了降低数据不一致的概率，不应该更新缓存，而是直接将其删除，. 然后等待下次发生cache miss时再把数据库中的数据同步到缓存. 如果先删除缓存，有一个明显的逻辑错误：考虑两个并发操作，线程A删除缓存后，线程B读该数据时会发生Cache Miss，然后从数据库中读出该数据并同步到缓存中，此时线程A更新了数据库.

进入$otter_home目录. 执行：mvn clean install. 如果eclipse下报"Missing artifact com.oracle:ojdbc14:jar:10.2.0.3.0"，修改$otter_home/pom.xml中"${user.dir}/lib/ojdbc14-10.2.0.3.0.jar"为绝对路径，比如"d:/lib/ojdbc14-10.2.0.3.0.jar".

对于数据实时同步，其核心是需要基于日志来实现，是可以实现准实时的数据同步，基于日志实现不会要求数据库本身在设计和实现中带来任何额外的约束. 基于MySQL原生复制主主同步方案  . 这是常见的方案，一般来说，中小型规模的时候，采用这种架构是最省事的. 两个节点可以采用简单的双主模式，并且使用专线连接，在master_A节点发生故障后，应用连接快速切换到master_B节点，反之也亦然.

这样既可以保证零数据丢失又可以降低主库压力. Far Sync实例只有密码文件，init参数文件和控制文件，而没有数据文件. 如果redo 传输采用Maximum Availability模式，我们可以在距离生产中心(Primary Database)相对较近的地点配置Far Sync实例，主库(Primary Database)同步(synchronous)传输redo到Far Sync实例，保证零数据丢失（zero data loss），同时主库和Far Sync距离较近，网络延时很小，因此对主库性能影响很小.

双向同步与单向同步类似，但需要着重注意两个问题：防止数据循环和防止数据冲突. 在EXTRACT进程中忽略REPLICAT的事务，一般排除提取用户的操作，并且与需要同步的用户分开. 如USERID SCOTT,PASSWORD TIGER. 一般要从应用层面解决，避免操作相同的数据. 假设是A、B两个库之间的同步配置.

mysql作为应用程序的数据存储服务，要实现mysql数据库的高可用. 必然要使用的技术就是数据库的复制，如果主节点出现故障可以手动的切换应用到从节点，这点相信运维同学都是知道，并且可以实现的. 但是这种情况只是手动的切换，对可用性有要求的业务需要分别实现主库和从库的高可用，保障在数据库出现down机的情况下，可以自动实现数据库的故障转移，保障应用的可用性和用户体验.

作为一名DBA，在工作中会经常遇到一些MySQL主从同步延迟的问题，这些同步慢的问题，其实原因非常多，可能是因为主从的网络问题导致，可能是因为网络带宽问题导致，可能是因为大事务导致，也可能是因为单线程复制导致的延迟. 最近遇到一个很典型的同步延迟问题，将分析过程写出来，希望对广大DBA在排查同步延迟问题有比较系统的方法论.

前阵子老板安排了一个新任务，要建设一个商家商品搜索系统，能够为用户提供快速、准确的搜索能力，在用户输入搜索内容时，要能从商家名称和商品名称两个维度去搜索，搜索出来的结果，按照准确率排序，并按商家所属商品的关联关系，来组合数据结构，同时提供API给业务系统调用. 我们面临以下几个难题： ①商家数据库和商品数据库是多台不同的服务器，并且数据量达百万级，如何才能实现跨数据库的数据同步呢.

ogg即Oracle GoldenGate是Oracle的同步工具，本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kafka中，其中同步消息格式为json. 下面是我的源端和目标端的一些配置信息：. 注意：源端和目标端的文件不一样，目标端需要下载Oracle GoldenGate for Big Data,源端需要下载Oracle GoldenGate for Oracle具体下载方法见最后的附录截图.

mysql作为应用程序的数据存储服务，要实现mysql数据库的高可用. 必然要使用的技术就是数据库的复制，如果主节点出现故障可以手动的切换应用到从节点，这点相信运维同学都是知道，并且可以实现的. 但是这种情况只是手动的切换，对可用性有要求的业务需要分别实现主库和从库的高可用，保障在数据库出现down机的情况下，可以自动实现数据库的故障转移，保障应用的可用性和用户体验.

为此开发了一个数据同步平台，将同步任务的增删改查、执行的历史日志全部放到平台里，然后交给DBA去自己去操作.          市面上也有一些ETL工具，比如kettle，但是为了练手决定重新造轮子.           平台主要用于数据同步、数据处理等等ETL操作.           平台基于阿里的开源同步工具datax3.0开发.

使用datax 实现数据增量同步踩坑记录. 由于项目上需要将a服务器数据同步至b服务器，一开始使用mysql主从复制，但是由于主从同步无法触发位于b服务器的触发器，只能放弃此方案. 后来找到了datax可以实现数据同步同时也可以触发触发器，决定使用此方案. 安装datax，python，jdk  datax下载及安装地址.

mbinlogmq 一个基于MySQL binlog协议的数据同步中间件 什么是mbinlogmq.