在大数据时代下，和数据打打交道是家常便饭。那么常用储存数据的一种方式：数据库，用起来那也是相当的得心应手，今天就用python连接各类常见数据库！常用数据库1.sqlite2.mysql3.postgresql4.mongodb5.redis6.hive7...

前言流式计算可能在日常不多见，主要统计一个阶段内的PV、UV，在风控场景很常见，比如统计某个用户一天内同地区下单总量来判断该用户是否为异常用户。还有一些大数据处理场景，如将某一段时间生成的日志按需要加工后倒入到存储DB中做查询报表。为什么要学习Flink，...

大数据SPARK系列篇-1个经典的入门实例(单词统计功能 基于SCALA语言 sparkContext.textFile(“hdfs://hadoopNode1:8000/data/word.txt” .flatMap{_.split(" &qu...

实验概述：1. 配置Hadoop主从服务2. 配置服务器ssh免登录3. 验证Hadoop安装成功实验目的：通过该实验后，可以独立安装配置Hadoop集群环境实验背景：本实验中会分配到三台装有Centos 7的服务器，请将其中的一台选定为主服务器(name...

以下操作除特殊说明外都在三个节点上操作。注意：操作前务必使三台虚拟机可以互相免密通信！一、安装Scala软件包使用xftp将软件包上传至三台虚拟机的/usr/package文件夹下创建工作目录mkdir -p /usr/scala解压缩...

准备工作： 安装jdk 克隆2台虚拟机完成后：新的2台虚拟机，请务必依次修改3台虚拟机的ip地址和主机名称【建议三台主机名称依次叫做：master、node1、node2 】（虚拟机的克隆，...

Apache Atlas 架构设计及源代码分析, 以Hive建库为例,分析元数据采集的主体流程...

准备工作以及安装Hadoop之前的操作和Hadoop2.X的安装相同，在我上一篇博客中，这里不做过多介绍 https://www.cnblogs.com/lmandcc/p/15306163.html...

1、Hive完整建表 1 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name( 2 [(col_name data_type [COMMENT col...

1、使用JDBC连接Hive 1 import java.sql.Connection; 2 import java.sql.DriverManager; 3 import java.sql.Prep...