虚拟化容器,大数据,DBA,中间件,监控。
15 11月
[一起学Hive]之四-Hive的安装配置

其实Hive的安装配置应该放在第二章来介绍,晚了些,希望对Hive初学者有用。三、Hive的安装配置3.1 环境需求Hadoop Client Mysql3.2 下载并解压Hive0.13.1安装包下载地址:http://archive.apache.or...

作者:admin|分类:大数据|浏览:419
15 11月
HBase参数配置及说明

版本:0.94-cdh4.2.1hbase-site.xml配置hbase.tmp.dir本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的 线上配置 <prope...

作者:admin|分类:大数据|浏览:410
15 11月
Kafka安装配置测试

Kafka的整体架构:本文中的配置:在两台机器Node1和Node2上,分别部署了两个broker,Zookeeper使用的是单独的ZK集群。在每个机器上下载并解压kafka_2.10-0.8.2.1http://kafka.apache.org/down...

作者:admin|分类:大数据|浏览:449
15 11月
Airflow1.8 分布式工作流平台搭建

版本信息: python 2.7.15 airflow==1.8.0 SQLAlchemy==1.1.18 flower==0.9.2其中SQLAlchemy的版本如果是1.2.x版本会在创建用户是报错, [root@loca...

作者:admin|分类:大数据|浏览:447
15 11月
OpenLDAP部署及管理维护

备份和还原备份# ldapsearch -x -b "dc=163,dc=com" -D "uid=authz,ou=Public,dc=163,dc=com" -w "CzfdX629K7" &...

作者:admin|分类:大数据|浏览:436
15 11月
centos7+ansible自动化工具使用

一、基础介绍==========================================================================================1、简介ansible是新出现的自动化运维工具,基于Python...

作者:admin|分类:大数据|浏览:449
15 11月
YARN、Spark、Hive使用kerberos

本文记录YARN、Spark、Hive各服务配置使用kerberos的过程。我的环境:三台服务器,分别命名为zelda1、zelda2、zelda3 ubuntu 14.04 hadoop 2.7.2 spark 2.0/1.6.1 YARN认证目的是将Y...

作者:admin|分类:大数据|浏览:420
15 11月
Hadoop的kerberos的实践部署

Hadoop的认证机制详细介绍请参考Hadoop安全机制研究hadoop-kerberos介绍简单来说,没有做kerberos认证的Hadoop,只要有client端就能够连接上。而且,通过一个有root的权限的内网机器,通过创建对应的linux用户,就能...

作者:admin|分类:大数据|浏览:679
15 11月
hive llap 启动配置踩坑 && Presto

hive llap巨坑,前段时间在研究,一直启动不成功。关键是几个空间参数的配置,只要配错了,就会出现各种奇怪的问题,日志的错误提示很少而且很模糊,官方的文档又不够明确,发现问题很难定位。总之就是很坑。yarn队列配置要为llap分配一条队列,这条队列有几...

作者:admin|分类:大数据|浏览:456
15 11月
ambari-Kylin

概述目前上传至ambari-Kylin上的有两个版本,一个是HDP2.6与Kylin2.5.1集成使用的一版;一个是HDP3.0与Kylin2.6.0集成使用的一版。上传至github上的仅支持服务的基本使用,如正常启停,超链接Kylin Web UI功能...

作者:admin|分类:大数据|浏览:431