1 概述

ELK套件(ELK stack)是指ElasticSearch、Logstash和Kibana三件套。这三个软件可以组成一套日志分析和监控工具。

由于三个软件各自的版本号太多,建议采用ElasticSearch官网推荐的搭配组合:http://www.elasticsearch.org/overview/elkdownloads/

2 环境准备

2.1 软件要求

本文把ELK套件部署在一台CentOS单机上。

具体的版本要求如下:

  • 操作系统版本:CentOS 6.4;

  • JDK版本:1.7.0;

  • Logstash版本:1.4.2;

  • ElasticSearch版本:1.4.2;

  • Kibana版本:3.1.2;

2.2 防火墙配置

为了正常使用HTTP服务等,需要关闭防火墙:

[plain] view plain copy

  1. #serviceiptablesstop

或者可以不关闭防火墙,但是要在iptables中打开相关的端口:

[plain] view plain copy

  1. #vim/etc/sysconfig/iptables

  2. -AINPUT-mstate--stateNEW-mtcp-ptcp--dport80-jACCEPT

  3. -AINPUT-mstate--stateNEW-mtcp-ptcp--dport9200-jACCEPT

  4. -AINPUT-mstate--stateNEW-mtcp-ptcp--dport9292-jACCEPT

  5. #serviceiptablesrestart

3 安装JDK

ElasticSearch和Logstash依赖于JDK,所以需要安装JDK:

[plain] view plain copy

  1. #yum-yinstalljava-1.7.0-openjdk*

  2. #java-version

4 安装ElasticSearch

ElasticSearch默认的对外服务的HTTP端口是9200,节点间交互的TCP端口是9300。

下载ElasticSearch:

[plain] view plain copy

  1. #mkdir-p/opt/software&&cd/opt/software

  2. #sudowgethttps://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.2.tar.gz

  3. #sudotar-zxvfelasticsearch-1.4.2.tar.gz-C/usr/local/

  4. #ln-s/usr/local/elasticsearch-1.4.2/usr/local/elasticsearch

安装elasticsearch-servicewrapper,并启动ElasticSearch服务:

[plain] view plain copy

  1. #sudowgethttps://github.com/elasticsearch/elasticsearch-servicewrapper/archive/master.tar.gz

  2. #sudotar-zxvfmaster

  3. #mv/opt/software/elasticsearch-servicewrapper-master/service/usr/local/elasticsearch/bin/

  4. #/usr/local/elasticsearch/bin/service/elasticsearchstart

测试ElasticSearch服务是否正常,预期返回200的状态码:

[plain] view plain copy

  1. #curl-XGEThttp://localhost:9200

5 安装Logstash

Logstash默认的对外服务的端口是9292。

下载Logstash:

[plain] view plain copy

  1. #sudowgethttps://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz

  2. #sudotar-zxvflogstash-1.4.2.tar.gz-C/usr/local/

  3. #ln-s/usr/local/logstash-1.4.2/usr/local/logstash

简单测试Logstash服务是否正常,预期可以将输入内容以简单的日志形式打印在界面上:

[plain] view plain copy

  1. #/usr/local/logstash/bin/logstash-e'input{stdin{}}output{stdout{}}'

创建Logstash配置文件,并再次测试Logstash服务是否正常,预期可以将输入内容以结构化的日志形式打印在界面上:

[plain] view plain copy

  1. #mkdir-p/usr/local/logstash/etc

  2. #vim/usr/local/logstash/etc/hello_search.conf

  3. input{

  4. stdin{

  5. type=>"human"

  6. }

  7. }

  8. output{

  9. stdout{

  10. codec=>rubydebug

  11. }

  12. elasticsearch{

  13. host=>"10.111.121.22"

  14. port=>9300

  15. }

  16. }

  17. #/usr/local/logstash/bin/logstash-f/usr/local/logstash/etc/hello_search.conf

6 安装Kibana

CentOS默认预装了Apache,所以将Kibana的代码直接拷贝到Apache可以访问的目录下即可。

[plain] view plain copy

  1. #sudowgethttps://download.elasticsearch.org/kibana/kibana/kibana-3.1.2.tar.gz

  2. #sudotar-zxvfkibana-3.1.2.tar.gz

  3. #mvkibana-3.1.2/var/www/html/kibana

修改Kibana的配置文件,把elasticsearch所在行的内容替换成如下:

[plain] view plain copy

  1. #vim/var/www/html/kibana/config.js

  2. elasticsearch:"http://10.111.121.22:9200",

启动一下HTTP服务:

[plain] view plain copy

  1. #servicehttpdstart

修改ElasticSearch的配置文件,追加一行内容,并重启ElasticSearch服务:

[plain] view plain copy

  1. #vim/usr/local/elasticsearch/config/elasticsearch.yml

  2. http.cors.enabled:true

  3. #/usr/local/elasticsearch/bin/service/elasticsearchrestart

然后就可以通过浏览器访问Kibana了:

[plain] view plain copy

  1. http://10.111.121.22/kibana

现在,在之前的Logstash会话中输入任意字符,就可以在Kibana中查看到日志情况。

7 配置Logstash

再次创建Logstash配置文件,这里将HTTP日志和文件系统日志作为输入,输出直接传给ElasticSearch,不再打印在界面上:

[plain] view plain copy

  1. #vim/usr/local/logstash/etc/logstash_agent.conf

  2. input{

  3. file{

  4. type=>"http.access"

  5. path=>["/var/log/httpd/access_log"]

  6. }

  7. file{

  8. type=>"http.error"

  9. path=>["/var/log/httpd/error_log"]

  10. }

  11. file{

  12. type=>"messages"

  13. path=>["/var/log/messages"]

  14. }

  15. }

  16. output{

  17. elasticsearch{

  18. host=>"10.111.121.22"

  19. port=>9300

  20. }

  21. }

  22. #nohup/usr/local/logstash/bin/logstash-f/usr/local/logstash/etc/logstash_agent.conf&

现在,一个简单的日志分析和监控平台就搭建好了,可以使用Kibana进行查看。

8 参考资料

1. 《安装logstash,elasticsearch,kibana三件套》,http://www.cnblogs.com/yjf512/p/4194012.html

CentOS 7 使用ELK套件搭建日志分析和监控平台的更多相关文章

  1. CentOS 8.2服务器上安装最新版Node.js的方法

    这篇文章主要介绍了CentOS 8.2服务器上安装最新版Node.js的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

  2. Elasticsearch属性单词常用解析说明

    这篇文章主要介绍了Elasticsearch属性单词常用解析说明,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下

  3. Java操作Elasticsearch rest-high-level-client 的基本使用

    这篇文章主要介绍了Java操作Elasticsearch rest-high-level-client 的基本使用,本篇主要讲解一下 rest-high-level-client 去操作 Elasticsearch的方法,结合实例代码给大家详细讲解,需要的朋友可以参考下

  4. centos+php+coreseek+sphinx+mysql之一coreseek安装篇

    这篇文章主要介绍了centos+php+coreseek+sphinx+mysql之一coreseek安装篇的相关资料,非常不错具有参考借鉴价值,需要的朋友可以参考下

  5. Centos7 中 Node.js安装简单方法

    这篇文章主要介绍了Centos7 中 Node.js安装简单方法,非常不错具有一定的参考借鉴价值,需要的朋友可以参考下

  6. nodejs脚本centos开机启动实操方法

    在本篇文章里小编给大家整理的是关于nodejs脚本centos开机启动实操方法,有兴趣的朋友们参考下。

  7. Elasticsearch插件及nodejs的安装配置

    这篇文章主要为大家介绍了Elasticsearch插件及nodejs的安装配置,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

  8. Centos PHP 扩展Xchche的安装教程

    这篇文章主要介绍了Centos PHP 扩展Xchche的安装教程的相关资料,非常不错,具有参考借鉴价值,需要的朋友可以参考下

  9. SpringBoot+Elasticsearch实现数据搜索的方法详解

    Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。本文将利用SpringBoot整合Elasticsearch实现海量级数据搜索,需要的可以参考一下

  10. Linux CentOS系统下安装node.js与express的方法

    这篇文章主要给大家介绍了在Linux CentOS系统下安装node.js与express的方法,文中介绍的非常详细,相信对大家具有一定的参考价值,需要的朋友们下面来一起看看吧。

随机推荐

  1. 在airgapped(离线)CentOS 6系统上安装yum软件包

    我有一个CentOS6系统,出于安全考虑,它已经被空气泄漏.它可能从未连接到互联网,如果有,它很长时间没有更新.我想将所有.rpm软件包放在一个驱动器上,这样它们就可以脱机安装而无需查询互联网.但是,我在测试VM上遇到的问题是,即使指定了本地路径,yum仍然会挂起并尝试从在线存储库进行更新.另外,有没有办法使用yum-utils/yumdownloader轻松获取该包的所有依赖项和所有依赖项?目前

  2. centos – 命名在日志旋转后停止记录到rsyslog

    CentOS6.2,绑定9.7.3,rsyslog4.6.2我最近设置了一个服务器,我注意到在日志轮换后,named已停止记录到/var/log/messages.我认为这很奇怪,因为所有日志记录都是通过rsyslog进行的,并且named不会直接写入日志文件.这更奇怪,因为我在更新区域文件后命名了HUPed,但它仍然没有记录.在我停止并重新启动命名后,记录恢复.这里发生了什么?

  3. centos – 显示错误的磁盘大小

    对于其中一个磁盘,Df-h在我的服务器上显示错误的空白区域:Cpanel表明它只有34GB免费,但还有更多.几分钟前,我删除了超过80GB的日志文件.所以,我确信它完全错了.fdisk-l/dev/sda2也显示错误:如果没有格式化,我该怎么做才能解决这个问题?并且打开文件描述符就是它需要使用才能做到这一点.所以…使用“lsof”并查找已删除的文件.重新启动写入日志文件的服务,你很可能会看到空间可用.

  4. 如何在centos 6.9上安装docker-ce 17?

    我目前正在尝试在centOS6.9服务器上安装docker-ce17,但是,当运行yuminstalldocker-ce时,我收到以下错误:如果我用跳过的标志运行它我仍然得到相同的消息,有没有人知道这方面的方法?

  5. centos – 闲置工作站的异常负载平均值

    我有一个新的工作站,具有不寻常的高负载平均值.机器规格是:>至强cpu>256GB的RAM>4x512GBSSD连接到LSI2108RAID控制器我从livecd安装了CentOS6.564位,配置了分区,网络,用户/组,并安装了一些软件,如开发工具和MATLAB.在启动几分钟后,工作站负载平均值的值介于0.5到0.9之间.但它没有做任何事情.因此我无法理解为什么负载平均值如此之高.你能帮我诊断一下这个问题吗?

  6. centos – Cryptsetup luks – 检查内核是否支持aes-xts-plain64密码

    我在CentOS5上使用cryptsetupluks加密加密了一堆硬盘.一切都很好,直到我将系统升级到CentOS6.现在我再也无法安装磁盘了.使用我的关键短语装载:我收到此错误:在/var/log/messages中:有关如何装载的任何想法?找到解决方案问题是驱动器使用大约512个字符长的交互式关键短语加密.出于某种原因,CentOS6中的新内核模块在由旧版本创建时无法正确读取512个字符的加密密钥.似乎只会影响内核或cryptsetup的不同版本,因为在同一系统上创建和打开时,512字符的密钥将起作用

  7. centos – 大量ssh登录尝试

    22个我今天登录CentOS盒找到以下内容这是过去3天内的11次登录尝试.WTF?请注意,这是我从我的提供商处获得的全新IP,该盒子是全新的.我还没有发布任何关于此框的内容.为什么我会进行如此大量的登录尝试?是某种IP/端口扫描?基本上有4名匪徒,其中2名来自中国,1名来自香港,1名来自Verizon.这只发生在SSH上.HTTP上没有问题.我应该将罪魁祸首子网路由吗?你们有什么建议?

  8. centos – kswap使用100%的CPU,即使有100GB的RAM也可用

    >Linux内核是否应该足够智能,只需从内存中清除旧缓存页而不是启动kswap?

  9. centos – Azure将VM从A2 / 3调整为DS2 v2

    我正在尝试调整前一段时间创建的几个AzureVM,从基本的A3和标准A3到标准的DS2v2.我似乎没有能力调整到这个大小的VM.必须从头开始重建服务器会有点痛苦.如果它有所不同我在VM中运行CentOS,每个都有一个带有应用程序和操作系统的磁盘.任何人都可以告诉我是否可以在不删除磁盘的情况下删除VM,创建新VM然后将磁盘附加到新VM?

  10. centos – 广泛使用RAM时服务器计算速度减慢

    我在非常具体的情况下遇到服务器速度下降的问题.事实是:>1)我使用计算应用WRF>2)我使用双XeonE5-2620v3和128GBRAM(NUMA架构–可能与问题有关!

返回
顶部