因此Kafka提供两种策略删除旧数据。一是基于时间，二是基于Partition文件大小。例如可以通过配置$KAFKA_HOME/config/server.properties，让Kafka删除一周前的数据，也可在Partition文件超过1GB时删除旧数...

目录一、高可用的由来 1.1 为何需要Replication 1.2 Leader Election 二、Kafka HA设计解析 2.1 如何将所有Replica均匀分布到整个集群 2.2 Data Replication（副本策略） 三、HA相...

目录一、下载 二、安装前提（zookeeper安装） 三、安装 2.1 上传解压缩 2.2 修改配置文件 2.3 将kafka的安装包分发到其他节点 2.4 创建软连接 2.5 修改环境变量 三、启动 3.1 首先启动zookeeper集群 3...

目录一、Kafka在zookeeper中存储结构图 二、分析 2.1 topic注册信息 2.2 partition状态信息 2.3 Broker注册信息 2.4 Controller epoch 2.5 Controller注册信息 2.6 补...

jmx端口主要用来监控kafka集群的。在启动kafka的脚本kafka-server-start.sh中找到堆设置，添加export JMX_PORT="9999"if [ "x$KAFKA_HEAP_OPTS"...

默认安装kafka后有个Kafka MirrorMaker服务，无法启动。 2016-08-05 15:20:50,333 INFO kafka.tools.MirrorMaker$: Starting mirror maker2016-08-05 15:...

1. kafka监控kafka自身没有监控管理页面，无论是进行一些管理操作还是状态的监控都要命令加一大堆记不住的参数，实在是很不方便，不过好在在github上开源了一些工具，在kafka的生态系统中也有提及到：Kafka Manager: 都是以表格的形式...

参考，https://cwiki.apache.org/confluence/display/KAFKA/System+Toolshttps://cwiki.apache.org/confluence/display/KAFKA/Replication+t...

MirrorMaker是为解决Kafka跨集群同步、创建镜像集群而存在的；下图展示了其工作原理。该工具消费源集群消息然后将数据重新推送到目标集群。MirrorMaker使用方式启动mirror-maker程序需要一个或多个consumer配置文件、一个pr...

系统参数#唯一标识在集群中的ID，要求是正数。broker.id=0#服务端口，默认9092port=9092#监听地址host.name=debugo01# 处理网络请求的最大线程数num.network.threads=2# 处理磁盘I/O的线程数nu...