1 概述

ELK套件(ELK stack)是指ElasticSearch、Logstash和Kibana三件套。这三个软件可以组成一套日志分析和监控工具。

由于三个软件各自的版本号太多,建议采用ElasticSearch官网推荐的搭配组合:http://www.elasticsearch.org/overview/elkdownloads/

2 环境准备

2.1 软件要求

具体的版本要求如下:

  • 操作系统版本:CentOS 6.4;

  • JDK版本:1.7.0;

  • Logstash版本:1.4.2;

  • ElasticSearch版本:1.4.2;

  • Kibana版本:3.1.2;

2.2 防火墙配置

为了正常使用HTTP服务等,需要关闭防火墙:

[plain]view plaincopy

在CODE上查看代码片

派生到我的代码片

  1. #serviceiptablesstop

或者可以不关闭防火墙,但是要在iptables中打开相关的端口:

#vim/etc/sysconfig/iptables

  • -AINPUT-mstate--stateNEW-mtcp-ptcp--dport80-jACCEPT

  • -AINPUT-mstate--stateNEW-mtcp-ptcp--dport9200-jACCEPT

  • -AINPUT-mstate--stateNEW-mtcp-ptcp--dport9292-jACCEPT

  • #serviceiptablesrestart

  • 3 安装JDK

    ElasticSearch和Logstash依赖于JDK,所以需要安装JDK:

    #yum-yinstalljava-1.7.0-openjdk*

  • #java-version

  • 4 安装ElasticSearch

    ElasticSearch默认的对外服务的HTTP端口是9200,节点间交互的TCP端口是9300。

    下载ElasticSearch:

    copy

      #mkdir-p/opt/software&&cd/opt/software
    1. #sudowgethttps://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.2.tar.gz

    2. #sudotar-zxvfelasticsearch-1.4.2.tar.gz-C/usr/local/

    3. #ln-s/usr/local/elasticsearch-1.4.2/usr/local/elasticsearch

    安装elasticsearch-servicewrapper,并启动ElasticSearch服务:

    #sudowgethttps://github.com/elasticsearch/elasticsearch-servicewrapper/archive/master.tar.gz

  • #sudotar-zxvfmaster

  • #mv/opt/software/elasticsearch-servicewrapper-master/service/usr/local/elasticsearch/bin/

  • #/usr/local/elasticsearch/bin/service/elasticsearchstart

  • 测试ElasticSearch服务是否正常,预期返回200的状态码:
    #curl-XGEThttp://localhost:9200

    5 安装Logstash

    Logstash默认的对外服务的端口是9292。

    下载Logstash:

    #sudowgethttps://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz

  • #sudotar-zxvflogstash-1.4.2.tar.gz-C/usr/local/

  • #ln-s/usr/local/logstash-1.4.2/usr/local/logstash

  • 简单测试Logstash服务是否正常,预期可以将输入内容以简单的日志形式打印在界面上:
    #/usr/local/logstash/bin/logstash-e'input{stdin{}}output{stdout{}}'

    创建Logstash配置文件,并再次测试Logstash服务是否正常,预期可以将输入内容以结构化的日志形式打印在界面上:
    #mkdir-p/usr/local/logstash/etc

  • #vim/usr/local/logstash/etc/hello_search.conf

  • input{

  • stdin{

  • type=>"human"

  • }

  • output{

  • stdout{

  • codec=>rubydebug

  • elasticsearch{

  • host=>"10.111.121.22"

  • port=>9300

  • #/usr/local/logstash/bin/logstash-f/usr/local/logstash/etc/hello_search.conf

  • 6 安装Kibana

    CentOS默认预装了Apache,所以将Kibana的代码直接拷贝到Apache可以访问的目录下即可。
    #sudowgethttps://download.elasticsearch.org/kibana/kibana/kibana-3.1.2.tar.gz

  • #sudotar-zxvfkibana-3.1.2.tar.gz

  • #mvkibana-3.1.2/var/www/html/kibana

  • 修改Kibana的配置文件,把elasticsearch所在行的内容替换成如下:
    #vim/var/www/html/kibana/config.js

  • elasticsearch:"http://10.111.121.22:9200",

  • 启动一下HTTP服务:
    #servicehttpdstart

    修改ElasticSearch的配置文件,追加一行内容,并重启ElasticSearch服务:
    #vim/usr/local/elasticsearch/config/elasticsearch.yml

  • http.cors.enabled:true

  • #/usr/local/elasticsearch/bin/service/elasticsearchrestart

  • 然后就可以通过浏览器访问Kibana了:
    http://10.111.121.22/kibana

    现在,在之前的Logstash会话中输入任意字符,就可以在Kibana中查看到日志情况。

    7 配置Logstash

    再次创建Logstash配置文件,这里将HTTP日志和文件系统日志作为输入,输出直接传给ElasticSearch,不再打印在界面上:
    #vim/usr/local/logstash/etc/logstash_agent.conf


  • input {

  • file {

  • type => "http.access"

  • path => ["/var/log/httpd/access_log"]

  • }


  • type => "http.error"

  • path => ["/var/log/httpd/error_log"]

  • type => "messages"

  • path => ["/var/log/messages"]

  • }

  • }

  • output {

  • elasticsearch {

  • host => "123.206.211.52"

  • port => 9300

  • #/usr/local/logstash/bin/logstash-f/usr/local/logstash/etc/logstash_agent.conf&

  • 现在,一个简单的日志分析和监控平台就搭建好了,可以使用Kibana进行查看。

    CentOS下使用ELK套件搭建日志分析和监控平台的更多相关文章

    1. CentOS 8.2服务器上安装最新版Node.js的方法

      这篇文章主要介绍了CentOS 8.2服务器上安装最新版Node.js的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

    2. Elasticsearch属性单词常用解析说明

      这篇文章主要介绍了Elasticsearch属性单词常用解析说明,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下

    3. Java操作Elasticsearch rest-high-level-client 的基本使用

      这篇文章主要介绍了Java操作Elasticsearch rest-high-level-client 的基本使用,本篇主要讲解一下 rest-high-level-client 去操作 Elasticsearch的方法,结合实例代码给大家详细讲解,需要的朋友可以参考下

    4. centos+php+coreseek+sphinx+mysql之一coreseek安装篇

      这篇文章主要介绍了centos+php+coreseek+sphinx+mysql之一coreseek安装篇的相关资料,非常不错具有参考借鉴价值,需要的朋友可以参考下

    5. Centos7 中 Node.js安装简单方法

      这篇文章主要介绍了Centos7 中 Node.js安装简单方法,非常不错具有一定的参考借鉴价值,需要的朋友可以参考下

    6. nodejs脚本centos开机启动实操方法

      在本篇文章里小编给大家整理的是关于nodejs脚本centos开机启动实操方法,有兴趣的朋友们参考下。

    7. Elasticsearch插件及nodejs的安装配置

      这篇文章主要为大家介绍了Elasticsearch插件及nodejs的安装配置,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

    8. Centos PHP 扩展Xchche的安装教程

      这篇文章主要介绍了Centos PHP 扩展Xchche的安装教程的相关资料,非常不错,具有参考借鉴价值,需要的朋友可以参考下

    9. SpringBoot+Elasticsearch实现数据搜索的方法详解

      Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。本文将利用SpringBoot整合Elasticsearch实现海量级数据搜索,需要的可以参考一下

    10. Linux CentOS系统下安装node.js与express的方法

      这篇文章主要给大家介绍了在Linux CentOS系统下安装node.js与express的方法,文中介绍的非常详细,相信对大家具有一定的参考价值,需要的朋友们下面来一起看看吧。

    随机推荐

    1. 在airgapped(离线)CentOS 6系统上安装yum软件包

      我有一个CentOS6系统,出于安全考虑,它已经被空气泄漏.它可能从未连接到互联网,如果有,它很长时间没有更新.我想将所有.rpm软件包放在一个驱动器上,这样它们就可以脱机安装而无需查询互联网.但是,我在测试VM上遇到的问题是,即使指定了本地路径,yum仍然会挂起并尝试从在线存储库进行更新.另外,有没有办法使用yum-utils/yumdownloader轻松获取该包的所有依赖项和所有依赖项?目前

    2. centos – 命名在日志旋转后停止记录到rsyslog

      CentOS6.2,绑定9.7.3,rsyslog4.6.2我最近设置了一个服务器,我注意到在日志轮换后,named已停止记录到/var/log/messages.我认为这很奇怪,因为所有日志记录都是通过rsyslog进行的,并且named不会直接写入日志文件.这更奇怪,因为我在更新区域文件后命名了HUPed,但它仍然没有记录.在我停止并重新启动命名后,记录恢复.这里发生了什么?

    3. centos – 显示错误的磁盘大小

      对于其中一个磁盘,Df-h在我的服务器上显示错误的空白区域:Cpanel表明它只有34GB免费,但还有更多.几分钟前,我删除了超过80GB的日志文件.所以,我确信它完全错了.fdisk-l/dev/sda2也显示错误:如果没有格式化,我该怎么做才能解决这个问题?并且打开文件描述符就是它需要使用才能做到这一点.所以…使用“lsof”并查找已删除的文件.重新启动写入日志文件的服务,你很可能会看到空间可用.

    4. 如何在centos 6.9上安装docker-ce 17?

      我目前正在尝试在centOS6.9服务器上安装docker-ce17,但是,当运行yuminstalldocker-ce时,我收到以下错误:如果我用跳过的标志运行它我仍然得到相同的消息,有没有人知道这方面的方法?

    5. centos – 闲置工作站的异常负载平均值

      我有一个新的工作站,具有不寻常的高负载平均值.机器规格是:>至强cpu>256GB的RAM>4x512GBSSD连接到LSI2108RAID控制器我从livecd安装了CentOS6.564位,配置了分区,网络,用户/组,并安装了一些软件,如开发工具和MATLAB.在启动几分钟后,工作站负载平均值的值介于0.5到0.9之间.但它没有做任何事情.因此我无法理解为什么负载平均值如此之高.你能帮我诊断一下这个问题吗?

    6. centos – Cryptsetup luks – 检查内核是否支持aes-xts-plain64密码

      我在CentOS5上使用cryptsetupluks加密加密了一堆硬盘.一切都很好,直到我将系统升级到CentOS6.现在我再也无法安装磁盘了.使用我的关键短语装载:我收到此错误:在/var/log/messages中:有关如何装载的任何想法?找到解决方案问题是驱动器使用大约512个字符长的交互式关键短语加密.出于某种原因,CentOS6中的新内核模块在由旧版本创建时无法正确读取512个字符的加密密钥.似乎只会影响内核或cryptsetup的不同版本,因为在同一系统上创建和打开时,512字符的密钥将起作用

    7. centos – 大量ssh登录尝试

      22个我今天登录CentOS盒找到以下内容这是过去3天内的11次登录尝试.WTF?请注意,这是我从我的提供商处获得的全新IP,该盒子是全新的.我还没有发布任何关于此框的内容.为什么我会进行如此大量的登录尝试?是某种IP/端口扫描?基本上有4名匪徒,其中2名来自中国,1名来自香港,1名来自Verizon.这只发生在SSH上.HTTP上没有问题.我应该将罪魁祸首子网路由吗?你们有什么建议?

    8. centos – kswap使用100%的CPU,即使有100GB的RAM也可用

      >Linux内核是否应该足够智能,只需从内存中清除旧缓存页而不是启动kswap?

    9. centos – Azure将VM从A2 / 3调整为DS2 v2

      我正在尝试调整前一段时间创建的几个AzureVM,从基本的A3和标准A3到标准的DS2v2.我似乎没有能力调整到这个大小的VM.必须从头开始重建服务器会有点痛苦.如果它有所不同我在VM中运行CentOS,每个都有一个带有应用程序和操作系统的磁盘.任何人都可以告诉我是否可以在不删除磁盘的情况下删除VM,创建新VM然后将磁盘附加到新VM?

    10. centos – 广泛使用RAM时服务器计算速度减慢

      我在非常具体的情况下遇到服务器速度下降的问题.事实是:>1)我使用计算应用WRF>2)我使用双XeonE5-2620v3和128GBRAM(NUMA架构–可能与问题有关!

    返回
    顶部