• ELK 之 GeoIP

    需求我们都知道nginx日志里面有域名,同时也有用户的远程ip。但是ip其实我们看不出什么东西,我们知道通过ip其实可以查询一些地理位置信息出来的(很多网站都可以直接查的)。这个过程就是GeoIP:就是通过来访者的IP,定位他的经纬度,国家/地区,省市,甚至街道等位置信息。而在logstash里面就有一个解决这个需求的插件:logstash-filter-geoip数据格式logstash-fil
  • ELK 之解析域名的TLD

    缘由我们在大数据数据里面有一类数据是域名,例如www.jixuejima.cn,我们需要把cn和jixuejima.cn提取处理,这个其实就是TLD(TOPLEVELDOMAIN)顶级域名解析过程。大家看过我们前面ELK相关文章的,都知道我们处理过程是FileBeat->Redis->LogStash->ES。在聊聊公司的技术栈这篇文章中我就说过这个过程,但是肯定很多人很郁闷,为
  • CentOS7 搭建ELK日志分析系统过程

    ELK简介ELK是什么?elk是三个开源软件的缩写,分别是:Elasticsearch、Logstash、Kibana。由于Logstash客户端太占用资源,对服务器的要求比较高,后来FileBeat出现了,解决了资源问题,官方也推荐这个工具。Elasticsearch:实时全文搜索和分析引擎,提供搜集、分析、存储数据三大功能Logstash:日志收集,分析,过滤并转化到对应的存储库Kibana: