ElasticSearch（五）集群架构

一、ES集群架构

        特性：高可用 可扩展

        优势：提高系统可用性，部分节点停止服务整个集群不受影响

                   存储可水平扩展

概念

集群
        一个集群可以有一个或者多个节点
        不同的集群通过不同的名字来区分，默认名字“elasticsearch“
        通过配置文件修改，或者在命令行中 -E cluster.name=es-cluster进行设定

二、节点

        节点是一个Elasticsearch的实例
        本质上就是一个JAVA进程
        一台机器上可以运行多个Elasticsearch进程，但是生产环境一
        般建议一台机器上只运
        行一个Elasticsearch实例
        每一个节点都有名字，通过配置文件配置，或者启动时候 -E node.name=node1指定
        每一个节点在启动之后，会分配一个UID，保存在data目录下

1 节点类型

        Master Node：主节点
        Master eligible nodes：可以参与选举的合格节点
        Data Node：数据节点
        Coordinating Node：协调节点（客户端的请求落在协调节点上，转发给相应节点）
        其他节点

2 Master eligible nodes和Master Node(可以选举成为master节点，相当于主节点的从节点）
        每个节点启动后，默认就是一个Master eligible节点，可以设置 node.master: false禁止；
        Master-eligible节点可以参加选主流程，成为Master节点；
        当第一个节点启动时候，它会将自己选举成Master节点；
        每个节点上都保存了集群的状态，只有Master节点才能修改集群的状态信息；
        集群状态(Cluster State) ，维护了一个集群中，必要的信息所有的节点信息
        所有的索引和其相关的Mapping与Setting信息，分片的路由信息；
3 Master Node的职责
        处理创建，删除索引等请求，负责索引的创建与删除
        决定分片被分配到哪个节点
        维护并且更新Cluster State
4 Master Node的最佳实践
        Master节点非常重要，在部署上需要考虑解决单点的问题
        为一个集群设置多个Master节点，每个节点只承担Master 的单一角色

5 选主的过程
        互相Ping对方，Node ld 低的会成为被选举的节点，其他节点会加入集群，但是不承担                     Master节点的角色。一旦发现被选中的主节点丢失，就会选举出新的Master节点

6 Data Node & Coordinating Node
Data Node
        可以保存数据的节点，叫做Data Node，负责保存分片数据。在数据扩展上起到了至关重要的作用;
节点启动后，默认就是数据节点。可以设置node.data: false
禁止由Master Node决定如何把分片分发到数据节点上
通过增加数据节点可以解决数据水平扩展和解决数据单点问题

Coordinating Node
负责接受Client的请求， 将请求分发到合适的节点，最终把结果汇集到一起
每个节点默认都起到了Coordinating Node的职责

其他节点类型
Hot & Warm Node
不同硬件配置 的Data Node,用来实现Hot & Warm架构，降
低集群部署的成本
Ingest Node
数据前置处理转换节点，支持pipeline管道设置，可以使用
ingest对数据进行过滤、转换等操作
Machine Learning Node
负责跑机器学习的Job，用来做异常检测
Tribe Node
Tribe Node连接到不同的Elasticsearch集群，并且支持将这
些集群当成一个单独的集群处理

读写分离架构

三、分片

主分片：用于解决数据水平扩展的问题，通过分片将数据分配到不同的节点上，一个分片是一个运行的lucene实例，主分片数在索引创建时指定，后续不允许修改；

副本分片：用于解决数据高可用问题，副本分片是主分片的copy。副本分片数可调整，增加副本数可以提高服务的可用性（读取可以从副本和主分片读取，提高读取的吞吐量）

分片的设定
对于生产环境中分片的设定，需要提前做好容量规划

分片数设置过小导致后续无法增加节点实现水平扩展
单个分片的数据量太大，导致数据重新分配耗时

分片数设置过大，7.0 开始，默认主分片设置成1，解决了over-sharding（分片过度）的问题
影响搜索结果的相关性打分，影响统计结果的准确性
单个节点上过多的分片，会导致资源浪费，同时也会影响性能

主分片的数量不允许更改，由于分片路由的时候是取的hash取模的结果；

生产环境集群配置建议
单一职责：master eligible nodes：负责集群的状态管理
                  使用低配置cpu Ram和磁盘

                  date nodes：负责数据存储及处理客户请求
                  使用高配置cpu Ram和磁盘

                  ingest nodes：负责处理数据
                  使用高配置cpu Ram和低配置磁盘

                  coordinating nodes：请求抓饭数据处理
                  使用低高cpu Ram和低配置磁盘

节点扩展方案

当磁盘容量无法满足需求时，可以增加数据节点；
磁盘读写压力大时，增加数据节点
当系统中有大量的复杂查询及聚合时候，增加Coordinating节点，增加查询的性能

es分片路由的规则
shard_num = hash(_routing) % num_primary_shards
_routing字段的取值，默认是_id字段，可以自定义。

大数据量索引可根据不同情况对索引进行拆分进行优化查询；