虚拟化容器,大数据,DBA,中间件,监控。
15 11月
Flume学习之路 (三)Flume的配置方式

目录一、单一代理流配置 1.1 官网介绍 1.2 测试示例(一) 1.3 测试案例(二) 二、单代理多流配置 2.1 官方案例 三、配置多代理流程 3.1 官方案例 3.2 测试案例 四、多路复用流 4.1 官方案例 4.2 测试案例(一)复...

作者:admin|分类:大数据|浏览:459
15 11月
Flume的监控(Monitor)

使用Flume实时收集日志的过程中,尽管有事务机制保证数据不丢失,但仍然需要时刻关注Source、Channel、Sink之间的消息传输是否正常,比如,SouceàChannel传输了多少消息,ChannelàSink又传输了多少,两处的消息量是否偏差过大...

作者:admin|分类:大数据|浏览:451
15 11月
搭建Spark所遇过的坑

一.经验1.Spark Streaming包含三种计算模式:nonstate .stateful .window2.kafka可通过配置文件使用自带的zookeeper集群3.Spark一切操作归根结底是对RDD的操作4.部署Spark任务,不用拷贝整个架...

作者:admin|分类:大数据|浏览:421
15 11月
HBase学习之路 (一)HBase基础介绍

目录产生背景 HBase简介 关系型数据库 和 非关系型数据库的典型代表 HBase 这个 NoSQL 数据库的要点 结构化、半结构化和非结构化 HBase 中的表特点 HBase表结构逻辑视图 名词概念 正文回到顶部产生背景自 1970 年...

作者:admin|分类:大数据|浏览:378
15 11月
HBase学习之路 (二)HBase集群安装

目录前提 版本选择 JDK的选择 Hadoop的选择 安装 1、zookeeper的安装 2、Hadoopd的安装 3、下载安装包 4、上传服务器并解压缩到指定目录 5、修改配置文件 6、将HBase安装包分发到其他节点 7、 同步时间...

作者:admin|分类:大数据|浏览:458
15 11月
HBase学习之路 (三)HBase集群Shell操作

目录进入HBase命令行 HBase表的操作 创建create 查看表列表list 查看表的详细信息desc 修改表的定义alter HBase表中数据的操作 增put 查get + scan 删delete 正文回到顶部进入HBase命令行...

作者:admin|分类:大数据|浏览:439
15 11月
HBase学习之路 (四)HBase的API操作

目录Eclipse环境搭建 HBase API操作表和数据 正文回到顶部Eclipse环境搭建具体的jar的引入方式可以参考http://www.cnblogs.com/qingyunzong/p/8623309.html回到顶部HBase API操作表和...

作者:admin|分类:大数据|浏览:379
15 11月
HBase学习之路 (五)MapReduce操作Hbase

目录MapReduce从HDFS读取数据存储到HBase中 MapReduce从HBase读取数据计算平均年龄并存储到HDFS中 正文回到顶部MapReduce从HDFS读取数据存储到HBase中现有HDFS中有一个student.txt文件,格式如下95...

作者:admin|分类:大数据|浏览:381
15 11月
HBase学习之路 (六)过滤器

目录过滤器(Filter) HBase过滤器的分类 比较过滤器 专用过滤器 正文回到顶部过滤器(Filter) 基础API中的查询操作在面对大量数据的时候是非常苍白的,这里Hbase提供了高级的查询方法:Filter。Filter可以根据簇、列、版本...

作者:admin|分类:大数据|浏览:376
15 11月
HBase学习之路 (七)HBase 原理

目录系统架构 物理存储 整体的物理结构 StoreFile 和 HFile 结构 MemStore 和 StoreFile Hbase WAL HLog预写 Region 寻址机制 老的 Region 寻址方式 新的 Region 寻址方式 读...

作者:admin|分类:大数据|浏览:394