大数据查询 ELK 之 ES集群搭建
缘由
前面我们讲解了 ELK 的搭建过程。最近在处理系统数据发现了一个问题,一个ES节点处理太慢了,基本上要20多个小时才能处理完。这样我们就只能增加ES节点,部署集群模式了。当前是这种单节点服务
集群搭建
目的要搭建成3节点的服务器,其中3个节点是主节点也是数据节点
其实配置ES集群是比较方便了,大家主要几个参数就可以了,主要注意以下几个参数就好了
#集群的名字 cluster.name: app-data #节点的名字 node.name: node-1 #节点是否为master节点 node.master: true #节点是否为数据节点 node.data: true #发现节点,一般三个就够了,不需要配置所有的节点 discovery.zen.ping.unicast.hosts: ["192.160.10.1:9300","192.160.10.2:9300","192.160.10.3:9300"]
这些配置参数都是在 /etc/elasticsearch/elasticsearch.yml 配置文件中
效果展示
注意问题
ES版本必须一致,不然会出现各种莫名其妙的问题,小版本都要一样
LOGSTASH 节点不一定要和ES节点一样多,这是一个生产者和消费者模型,只要生产的速度跟得上消费的速度就行了