虚拟化容器,大数据,DBA,中间件,监控。
15 11月
Hive学习之路 (三)Hive元数据信息对应MySQL数据库表

目录概述 一、存储Hive版本的元数据表(VERSION) 二、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS) 1、DBS 2、DATABASE_PARAMS 三、Hive表和视图相关的元数据表 1、TBLS 2、TABLE_...

作者:admin|分类:大数据|浏览:411
15 11月
Hive学习之路 (四)Hive的连接3种连接方式

目录一、CLI连接 二、HiveServer2/beeline 1、修改 hadoop 集群的 hdfs-site.xml 配置文件 2、修改 hadoop 集群的 core-site.xml 配置文件 三、Web UI 正文回到顶部一、CLI连接进入...

作者:admin|分类:大数据|浏览:372
15 11月
Hive学习之路 (五)DbVisualizer配置连接hive

目录一、安装DbVisualizer 二、配置DbVisualizer里的hive jdbc 1、在DbVisualizer的安装目录jdbc文件夹下新建hive文件夹 2、拷贝Hadoop的相关jar包放入新建的hive文件夹里面 3、拷贝Hive的...

作者:admin|分类:大数据|浏览:494
15 11月
prometheus+grafana 监控hadoop、yarn

主要是以jmx_exporter、prometheus为主导进行对hadoop的metrics进行收集,通过grafana进行展示、预警。1、安装jmx_exporter以及配置文件1、通过https://repo1.maven.org/maven2/io...

作者:admin|分类:大数据|浏览:628
15 11月
[一起学Hive]之四-Hive的安装配置

其实Hive的安装配置应该放在第二章来介绍,晚了些,希望对Hive初学者有用。三、Hive的安装配置3.1 环境需求Hadoop Client Mysql3.2 下载并解压Hive0.13.1安装包下载地址:http://archive.apache.or...

作者:admin|分类:大数据|浏览:441
15 11月
HBase参数配置及说明

版本:0.94-cdh4.2.1hbase-site.xml配置hbase.tmp.dir本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的 线上配置 <prope...

作者:admin|分类:大数据|浏览:428
15 11月
Kafka安装配置测试

Kafka的整体架构:本文中的配置:在两台机器Node1和Node2上,分别部署了两个broker,Zookeeper使用的是单独的ZK集群。在每个机器上下载并解压kafka_2.10-0.8.2.1http://kafka.apache.org/down...

作者:admin|分类:大数据|浏览:483
15 11月
Airflow1.8 分布式工作流平台搭建

版本信息: python 2.7.15 airflow==1.8.0 SQLAlchemy==1.1.18 flower==0.9.2其中SQLAlchemy的版本如果是1.2.x版本会在创建用户是报错, [root@loca...

作者:admin|分类:大数据|浏览:470
15 11月
OpenLDAP部署及管理维护

备份和还原备份# ldapsearch -x -b "dc=163,dc=com" -D "uid=authz,ou=Public,dc=163,dc=com" -w "CzfdX629K7" &...

作者:admin|分类:大数据|浏览:471
15 11月
centos7+ansible自动化工具使用

一、基础介绍==========================================================================================1、简介ansible是新出现的自动化运维工具,基于Python...

作者:admin|分类:大数据|浏览:482