虚拟化容器,大数据,DBA,中间件,监控。
15 11月
kafka集群中jmx端口设置

jmx端口主要用来监控kafka集群的。在启动kafka的脚本kafka-server-start.sh中找到堆设置,添加export JMX_PORT="9999"if [ "x$KAFKA_HEAP_OPTS"...

作者:admin|分类:大数据|浏览:352
15 11月
kafka数据同步/镜像工具 kafka mirror maker

默认安装kafka后有个Kafka MirrorMaker服务,无法启动。 2016-08-05 15:20:50,333 INFO kafka.tools.MirrorMaker$: Starting mirror maker2016-08-05 15:...

作者:admin|分类:大数据|浏览:389
15 11月
kafka_0.10.1.0监控及管理

1. kafka监控kafka自身没有监控管理页面,无论是进行一些管理操作还是状态的监控都要命令加一大堆记不住的参数,实在是很不方便,不过好在在github上开源了一些工具,在kafka的生态系统中也有提及到:Kafka Manager: 都是以表格的形式...

作者:admin|分类:大数据|浏览:396
15 11月
Kafka Tools

参考,https://cwiki.apache.org/confluence/display/KAFKA/System+Toolshttps://cwiki.apache.org/confluence/display/KAFKA/Replication+t...

作者:admin|分类:大数据|浏览:474
15 11月
Kafka跨集群同步工具——MirrorMaker (consumer.config & producer.config )

MirrorMaker是为解决Kafka跨集群同步、创建镜像集群而存在的;下图展示了其工作原理。该工具消费源集群消息然后将数据重新推送到目标集群。MirrorMaker使用方式启动mirror-maker程序需要一个或多个consumer配置文件、一个pr...

作者:admin|分类:大数据|浏览:324
15 11月
Kafka主要参数详解

系统参数#唯一标识在集群中的ID,要求是正数。broker.id=0#服务端口,默认9092port=9092#监听地址host.name=debugo01# 处理网络请求的最大线程数num.network.threads=2# 处理磁盘I/O的线程数nu...

作者:admin|分类:大数据|浏览:341
15 11月
kafka数据迁移实践

本文重点介绍kafka的两类常见数据迁移方式:1、broker内部不同数据盘之间的分区数据迁移;2、不同broker之间的分区数据迁移。一、broker 内部不同数据盘之间进行分区数据迁移1.1 背景介绍最近,腾讯云的一个重要客户发现kafka broke...

作者:admin|分类:大数据|浏览:331
12 11月
Hadoop3 HA高可用集群搭建

文章目录1. linux ssh免密登陆配置2. java环境配置3. Hadoop完全分布式(full 4. hadoop高可用集群搭建(HA)4.1 安装配置zookeeper4.2 安装配置hadoop HA4.3 hadoop HA集群的启动步骤1...

作者:admin|分类:大数据|浏览:547
12 11月
12 11月
如何在RELS7.6上安装CDP数据中心版

CDP数据中心版7.0.3是Cloudera与Hortonworks合并后,第一个融合CDH和HDP所有组件的on-premise版本,CDP Data......

作者:admin|分类:大数据|浏览:463