虚拟化容器,大数据,DBA,中间件,监控。

ElasticSearch7.10 生命周期配置 冷热分离 windows10版本测试

06 11月
作者:admin|分类:大数据


ElasticSearch7.10 生命周期配置 冷热分离 windows10版本测试


下载官方ElasticSearch7.10 与对应版本的kibana 便于操作

前提 安装jdk 并配置环境变量

更多详细内容参考 https://www.elastic.co


第一步解压文件,配置集群信息

  1. 首先复制三份

    2.进入第一个目录,备份原配置文件,修改配置文件

  2. 添加如下配置信息,主要涉及主节点,集群名称,数据目录,ip,box_type(冷热节点配置 重要)

# ---------------------------------- Cluster -----------------------------------cluster.name: my-application
cluster.initial_master_nodes: ["node1", "node2", "node3"]# ------------------------------------ Node ------------------------------------node.name: node1
node.attr.rack: r1
node.attr.box_type: hot
node.master: truenode.data: true# ----------------------------------- Paths ------------------------------------path.data: D:\data\e1
#path.logs: /path/to/logs
# ----------------------------------- Memory -----------------------------------bootstrap.memory_lock: true# ---------------------------------- Network -----------------------------------network.host: 127.0.0.1http.port: 9200transport.tcp.port: 9300http.cors.enabled: truehttp.cors.allow-origin: "*"# --------------------------------- Discovery ----------------------------------discovery.seed_hosts: ["127.0.0.1:9300", "127.0.0.1:9301", "127.0.0.1:9302"]

  1. 修改另外2个配置文件 例如:node2 主要就是 name box_type port 等不同 我是单机实验

cluster.name: my-application
cluster.initial_master_nodes: ["node1", "node2", "node3"]node.name: node2

node.attr.rack: r1
node.attr.box_type: warm
node.master: falsenode.data: truepath.data: D:\data\e2
bootstrap.memory_lock: truenetwork.host: 127.0.0.1http.port: 9201transport.tcp.port: 9301http.cors.enabled: truehttp.cors.allow-origin: "*"discovery.seed_hosts: ["127.0.0.1:9300", "127.0.0.1:9301", "127.0.0.1:9302"]

  1. 配置完成后 安顺启动服务,进入目录 启动程序

启动日志:

集群验证:

启动kibana:直接启动就可以

启动kibana日志:

kibana 访问页面:

生命周期管理过程

  1. 创建策略

  2. 一些关键配置

热区 配置

暖区配置 需要配置warm节点

冷区配置 需要配置cold节点

删除区配置 并保存改策略


3. 创建模板 使用策略myp1 上面已创建

PUT _template/my_template2{ 
  "index_patterns": ["event-*"],
  "settings": { "number_of_shards": 3,"number_of_replicas": 0,"index.lifecycle.name": "myp1", "index.lifecycle.rollover_alias": "event-all", "routing.allocation.require.box_type": "hot" 
  }}

注意: 索引必须按照该格式处理: # does not match pattern ‘^.*-\d+$’

  1. 创建索引

PUT /event-000001?include_type_name=true{ 
  "settings": { "index": {   "number_of_shards": "3",  "number_of_replicas": "1"}},"mappings": {   "event_all": { } }}

  1. 设置初始别名

POST _aliases{ 
  "actions": [{   "add": { "index": "event-00001","alias": "event-all"  }}
  ]}

  1. 设置 ILM轮询时间,更好观看效果 1分钟执行 默认10分钟

PUT _cluster/settings{ 
  "transient": { "indices.lifecycle.poll_interval": "1m" 
  }}

  1. **效果展示 当数量或者时间在或者空间达到策略设定阈值,经过上步设置的轮训时间会自动进行处理, 000001-2 已经进入cold状态 000003已经进入warm 000004还在hot中 **


浏览467 评论0
返回
目录
返回
首页
kafka rebalance 总结说明图 技术整理sqoop