kafka数据同步/镜像工具 kafka mirror maker

默认安装kafka后有个Kafka MirrorMaker服务，无法启动。

2016-08-05 15:20:50,333 INFO kafka.tools.MirrorMaker$: Starting mirror maker

2016-08-05 15:20:50,356 ERROR kafka.tools.MirrorMaker$: Exception when starting mirror maker.
 

从网上搜索相关文章，MirrorMaker为kafka的镜像工具，如果没有这个需求就可以不启动这个服务。

公司数据收集后会写入kafka集群，近期涉及到机房搬迁，在完成机房搬迁移前，两个机房都有业务需要某些topic的数据，两种处理方案：1是数据写入时候双写 2是老机房数据写入完成后再同步至新机房kafka集群。本文介绍kafka自带的集群镜像工具MirrorMaker，实现kafka集群间的数据同步。

一、概括来说MirrorMaker就是kafka生产者与消费者的一个整合，通过consumer从源Kafka集群消费数据，然后通过producer将数据重新推送到目标Kafka集群，如下图：

二、MirrorMaker的使用相对也比较简单，下面说下启动命令及相关配置

启动脚本在$KAFKA_HOME/bin目录下，可通过命令kafka-run-class.sh kafka.tools.MirrorMaker查看相关说明：

说明：
whitelist、blacklist：该工具可以同步源集群所有的或者部分topic，可以用白名单描述要同步的topic，用黑名单描述不需要同步的topic，多个topic直接逗号分隔，并且支持通配符(java http://docs.oracle.com/javase/7/docs/api/java/util/regex/Pattern.html)

consumer.config：配置源kafka集群消费者相关信息

zookeeper.connect=zk1:2181,zk2:2181
group.id=mirrorMaker

producer.config :配置目标kafka集群生产者相关信息
metadata.broker.list=broker1:9092,broker2:9092  
compression.codec=none

启动命令：
sh $KAFKA_HOME/bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config $KAFKA_HOME/config/mirrorMakerConsumer.config --num.streams 2 --producer.config $KAFKA_HOME/config/amirrorMakerProducer.config  —num.producers 2 --whitelist="topic1"

./bin/kafka-mirror-maker.sh --consumer.config sourceCluster1Consumer.config --num.streams 2 --producer.config sourceCluster2Consumer.config --whitelist="topic2"