Avoiding Data Loss - 避免Kafka数据丢失

标签： | 发表时间：2018-07-25 23:23 | 作者：
出处：https://docs.hortonworks.com

If for some reason the producer cannot deliver messages that have been consumed and committed by the consumer, it is possible for a MirrorMaker process to lose data.

To prevent data loss, use the following settings. (Note: these are the default settings.)

  • For consumers:

    • auto.commit.enabled=false

  • For producers:

    • max.in.flight.requests.per.connection=1

    • retries=Int.MaxValue

    • acks=-1

    • block.on.buffer.full=true

  • Specify the  --abortOnSendFail option to MirrorMaker

The following actions will be taken by MirrorMaker:

  • MirrorMaker will send only one request to a broker at any given point.

  • If any exception is caught in the MirrorMaker thread, MirrorMaker will try to commit the acked offsets and then exit immediately.

  • On a  RetriableException in the producer, the producer will retry indefinitely. If the retry does not work, MirrorMaker will eventually halt when the producer buffer is full.

  • On a non-retriable exception, if  --abort.on.send.fail is specified, MirrorMaker will stop.

    If  --abort.on.send.fail is not specified, the producer callback mechanism will record the message that was not sent, and MirrorMaker will continue running. In this case, the message will not be replicated in the target cluster.

相关 [avoiding data loss] 推荐：

Avoiding Data Loss - 避免Kafka数据丢失

- -
If for some reason the producer cannot deliver messages that have been consumed and committed by the consumer, it is possible for a MirrorMaker process to lose data..

Loading Data into Hive - Pentaho Big Data - Pentaho Wiki

- -
Using the external option, you could define a Hive table that simply uses the HDFS directory that contains the parsed file. For this how-to, we chose not to use the external option so that you can see the ease with which files can be added to non-external Hive tables..

Big Data技术综述

- Ben - 《程序员》杂志官网
Big Data是近来的一个技术热点，但从名字就能判断它并不是什么新词. 历史上，数据库、数据仓库、数据集市等信息管理领域的技术，很大程度上也是为了解决大规模数据的问题. 被誉为数据仓库之父的Bill Inmon早在20世纪90年代就经常将Big Data挂在嘴边了. 然而，Big Data作为一个专有名词成为热点，主要应归功于近年来互联网、云计算、移动和物联网的迅猛发展.

是否该用 Core Data？

- kezhuw - jjgod / blog
Core Data 是 Cocoa 里面一套非常受欢迎的框架，从 Mac OS X 10.4 提供以来，在 10.5 中引入了完善的 schema 迁移机制，再到 iPhone OS 3.0 时被引入 Cocoa Touch，这套完善的框架都被认为是管理大量结构化数据所首选的 Cocoa 框架，尤其是因为使用 Core Data 能大大减少需要手工编写的代码量，就使它更受开发者欢迎了.

Spring Data JPA 简单介绍

- tangfl - BlogJava-首页技术区
考虑到公司应用中数据库访问的多样性和复杂性，目前正在开发UDSL（统一数据访问层），开发到一半的时候，偶遇SpringData工程. 于是就花了点时间了解SpringData，可能UDSL II期会基于SpringData做扩展. 介绍：针对关系型数据库，KV数据库，Document数据库，Graph数据库，Map-Reduce等一些主流数据库，采用统一技术进行访问，并且尽可能简化访问手段.

SpringSource发布Spring Data Redis 1.0.0

- - InfoQ cn
近日， SpringSource 发布了用于将Redis轻松集成到Java应用中的开源 库的首个稳定版. Redis是个由VMWare/SpringSource资助的键值存储，为一些高性能网站如GitHub与StackOverflow等所用. Redis是新近涌现的NoSQL数据存储之一，它关注于简单性与性能（整个数据集放在内存中）.

数据治理(Data Governance)

- - ITeye博客
数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程. 数据治理其实是一种体系，是一个关注于信息系统执行层面的体系，这一体系的目的是整合IT与业务部门的知识和意见，通过一个类似于监督委员会或项目小组的虚拟组织对企业的信息化建设进行全方位的监管，这一组织的基础是企业高层的授权和业务部门与IT部门的建设性合作.

spring data jpa简单实例

- - 编程语言 - ITeye博客
我们都知道Spring是一个非常优秀的JavaEE整合框架，它尽可能的减少我们开发的工作量和难度. 　　在持久层的业务逻辑方面，Spring开源组织又给我们带来了同样优秀的Spring Data JPA. 　　通常我们写持久层，都是先写一个接口，再写接口对应的实现类，在实现类中进行持久层的业务逻辑处理.

Data Guard - Snapshot Standby Database配置

- - 数据库 - ITeye博客
一般情况下，物理standby数据库处于mount状态接收和应用主库的REDO日志，物理standby数据库不能对外提供访问. 如果需要只读访问，那么可以临时以read-only的方式open物理备库，或者配置ACTIVE DATA GUARD，那么物理standby数据库可以进行只读(read-only)访问（比如报表业务查询），但是物理standby数据库不能进行读写操作(read-write).

了解 Spring Data JPA - hungerW

- - 博客园_首页
自 JPA 伴随 Java EE 5 发布以来，受到了各大厂商及开源社区的追捧，各种商用的和开源的 JPA 框架如雨后春笋般出现，为开发者提供了丰富的选择. 它一改之前 EJB 2.x 中实体 Bean 笨重且难以使用的形象，充分吸收了在开源社区已经相对成熟的 ORM 思想. 另外，它并不依赖于 EJB 容器，可以作为一个独立的持久层技术而存在.