Kafka线上环境部署

标签： kafka 线上 环境 | 发表时间：2020-02-18 22:41 | 作者：
出处：https://www.iteye.com
本章内容是如何规划 Kafka 服务器的相关内容.

1.操作系统选型

linux 效率优于 windows. 因为 I/O 模型和网络传输效率(sendfile).

2.磁盘规划

1.性价比 JBID 优于 RAID
2.使用机械盘完全可以满足 Kafka 集群的使用，SSD 更好.

3.磁盘容量规划

1.新增消息数
2.消息留存时间
3.平均消息大小
4.副本数
5.是否启用压缩

4.内存规划

1.尽量分配跟多的内存给操作系统的 page cache.
2.不要为 broker 设置过大的堆内存，最好不超过 6GB.
3.page cache 大小至少要大于一个日志段的大小.

5.CPU 规划.

1.使用多核系统，CPU核数最好大于 8.


6.带宽规划

1.尽量使用高速网络.
2.根据自身网络条件和带宽来评估 Kafka 集群机器数量.
3.避免使用跨机房网络.

7.典型线程环境配置

CPU24核
内存32GB
磁盘 1TB 7200 转 SAS 盘两块
带宽1GB/s
Socket Buffer 至少 64KB


分布式部署
1.安装多节点 Zookeeper 集群.
2.安装多节点Kafka集群.


已有 0 人发表留言，猛击->> 这里<<-参与讨论


ITeye推荐



相关 [kafka 线上 环境] 推荐：

Kafka线上环境部署

- - ITeye博客
本章内容是如何规划 Kafka 服务器的相关内容. linux 效率优于 windows. 因为 I/O 模型和网络传输效率(sendfile). 1.性价比 JBID 优于 RAID. 2.使用机械盘完全可以满足 Kafka 集群的使用，SSD 更好. 1.尽量分配跟多的内存给操作系统的 page cache.

kafka监控之kafka-run-class.sh

- - 开源软件 - ITeye博客
kafka自带了很多工具类，在源码kafka.tools里可以看到：. 这些类该如何使用呢，kafka的设计者早就为我们考虑到了，在${KAFKA_HOME}/bin下，有很多的脚本，其中有一个kafka-run-class.sh，通过这个脚本，可以调用其中的tools的部分功能，如调用kafka.tools里的ConsumerOffsetChecker.scala,.

闲扯kafka mq

- - 开源软件 - ITeye博客
本文主要讲解关于kafka mq的设计思想及个人理解. 关于kafka的详细信息，大家可以参考官网的文献 http://kafka.apache.org/documentation.html这是一篇相当不错的文章，值得仔细研读. 第一个问题：消息队列（Message Queue）是干嘛用的. 首先，要对消息队列有一个基本的理解.

Kafka优化

- - ITeye博客
配置优化都是修改server.properties文件中参数值. 1.网络和io操作线程配置优化. # broker处理消息的最大线程数. # broker处理磁盘IO的线程数. 一般num.network.threads主要处理网络io，读写缓冲区数据，基本没有io等待，配置线程数量为cpu核数加1.

Kafka Connect简介

- - 鸟窝
Kafka 0.9+增加了一个新的特性 Kafka Connect,可以更方便的创建和管理数据流管道. 它为Kafka和其它系统创建规模可扩展的、可信赖的流数据提供了一个简单的模型，通过 connectors可以将大数据从其它系统导入到Kafka中，也可以从Kafka中导出到其它系统. Kafka Connect可以将完整的数据库注入到Kafka的Topic中，或者将服务器的系统监控指标注入到Kafka，然后像正常的Kafka流处理机制一样进行数据流处理.

kafka consumer group offset

- - 开源软件 - ITeye博客
     kafka0.9及以前版本kafka offset 保存在zookeeper， 因频繁读写zookeeper性能不高；从0.10开始，主题分区offset存储于kafka独立主题中.     管理监控kafka主题及分区offset至关重要，原网上很开源流行工具KafkaOffsetMonitor、kafka-manager，旧版offset保存于zookeeper，kafka consumer无相应API，从kafka0.10.1.1以后提供相应API读取主题分区offset（也可以调用KafkaClient API，kafka管理API由scala语言编写）.

virgo-tomcat-server的生产环境线上配置与管理 - 520_1351

- - 博客园_首页
Virgo Tomcat Server简称VTS，VTS是一个应用服务器，它是轻量级, 模块化, 基于OSGi系统. 与OSGi紧密结合并且可以开发bundles形式的Spring web apps应用. 他们同样拥有OSGi和Spring的特性. VTS由SpringSource 的Spring DM server过渡而来， virgo官网地址： http://www.eclipse.org/virgo.

Kafka设计解析（二）：Kafka High Availability （上）

- -
Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务. 若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失. 而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对Failover要求非常高.

GitHub - andreas-schroeder/kafka-health-check: Health Check for Kafka Brokers.

- -
At AutoScout24, to keep the OS up to date of our clusters running on AWS, we perform regular in-place rolling updates. As we run immutable servers, we terminate each broker and replace them with fresh EC2 instances (keeping the previous broker ids).

Kafka编程实例

- - CSDN博客云计算推荐文章
    Producer是一个应用程序，它创建消息并发送它们到Kafka broker中. 这些producer在本质上是不同. 比如，前端应用程序，后端服务，代理服务，适配器对于潜在的系统，Hadoop对于的Producer. 这些不同的Producer能够使用不同的语言实现，比如java、C和Python.