hive llap 启动配置踩坑 && Presto
hive llap巨坑,前段时间在研究,一直启动不成功。关键是几个空间参数的配置,只要配错了,就会出现各种奇怪的问题,日志的错误提示很少而且很模糊,官方的文档又不够明确,发现问题很难定位。总之就是很坑。
yarn队列配置
要为llap分配一条队列,这条队列有几个要注意的地方.
最大容量和最少容量必须相等,容量一定要足够,即大于hive的hive.llap.daemon.yarn.containter.mb参数加上一个最少的container 容量(driver)。
Priority 设为大于其他队列的值,默认为0,设为1就行。
hive配置
详细配置我就不讲了,网上有。我就讲最关键的最坑爹的3个。
首先配置hive.llap.daemon.yarn.containter.mb参数。这个参数要大于yarn 的minimum container size小于maximum container size。
配置hive.llap.io.memory.size参数,该参数值可以等于hive.llap.daemon.yarn.containter.mb参数乘以10%。
配置LLAP Daemon Heap Size 参数,该参数值可以等于hive.llap.daemon.yarn.containter.mb参数乘以80%。
参考
https://community.hortonworks.com/articles/149486/llap-sizing-and-setup.html
https://community.hortonworks.com/questions/55387/cannot-start-hiveserver2-interactive-llap.html
https://community.hortonworks.com/articles/215868/hive-llap-deep-dive.html
https://community.hortonworks.com/articles/149486/llap-sizing-and-setup.html
Presto常用语句
表操作
功能 语句 描述
修改表 ALTER TABLE name RENAME TO new_name 改变一个现有表的定义
建表 CREATE TABLE table_name AS query 创建一个包含 查询 查询结果的新表
建视图 CREATE [ OR REPLACE ] VIEW view_name AS query 创建一个 查询 查询的新视图。视图是一个逻辑表, 可以在将来的查询中使用。视图不包含任何数据。 每当视图被其他查询语句使用时, 存储在视图中的查询语句都会被执行
查看表结构 DESCRIBE table_name 查看一个已经存在的表结构
删表 DROP TABLE table_name 删除一个已经存在的表
删视图 DROP VIEW view_name 删除一个已经存在的视图
显示
功能 语句 描述
显示列 SHOW COLUMNS FROM table 列出 表 中的列及其数据类型和其他属性
显示函数 SHOW FUNCTIONS 列出全部可用于查询的函数
显示分区 SHOW PARTITIONS FROM table [ WHERE … ] [ ORDER BY … ] [ LIMIT … ] 列出 表 中的分区,可以使用 WHERE 子句进行过滤, 使用 ORDER BY 子句排序,使用 LIMIT 子句限制。 这些子句与他们的在 查询 中的工作方式相同
显示库 SHOW SCHEMAS [ FROM catalog ] 列出 catalog 或当前catalog中的库
显示会话 SHOW SESSION 列出当前会话属性
显示表 SHOW TABLES [ FROM schema ] [ LIKE pattern ] 列出指定 库 或当前库中的表。 可以用 LIKE 子句控制列出的表名
目录 返回
首页