0、前言

本篇文件詳細講述了在Centos7系統中搭建ELK&在Spring Boot項目中整合ELK的操作步驟。

1、ELK簡介

ELK是Elasticsearch、Logstash和Kibana三個開源項目的項目名稱首字母縮寫。這三個開源項目一起為我們提供了一個成熟且強大的實時日志集中處理解決方案。其中，Logstash負責收集日志數據，Elasticsearch用于存儲并索引數據，Kibana提供了一個可視化界面查看Elasticsearch中存儲的日志數據。

2、環境&版本

服務器系統版本、JDK版本、ELK版本信息如下：

Elasticsearch、Logstash和Kibana三個開源項目都需要在Java環境下運行，所以需要提前在服務器上安裝JDK。

筆者汪小成這里安裝的是JDK1.8。本文中沒有講述JDK的安裝，有需要的朋友可以參數《Centos7 | 安裝JDK1.8》這篇文章。

3、Elasticsearch

3.1、下載Elasticsearch

$ wget –c  https://mirrors.huaweicloud.com/elasticsearch/7.2.1/elasticsearch-7.2.1-x86_64.rpm

為了更快的下載速度，筆者汪小成選擇在華為開源鏡像站下載Elasticsearch。

3.2、安裝Elasticsearch

$ rpm -ivh elasticsearch-7.2.1-x86_64.rpm

3.3、配置Elasticsearch

Elasticsearch配置文件位置：/etc/elasticsearch。

進入配置文件所在文件夾：

$ cd /etc/elasticsearch

備份配置文件（非必要）：

$ cp elasticsearch.yml elasticsearch.backup.yml

使用vim打開elasticsearch.yml配置文件，按下i進入編輯模式。修改內容如下：

network.host: 0.0.0.0
http.port: 39100
discovery.seed_hosts: ["127.0.0.1:39100"]

配置項說明：

network.host用于設置綁定的主機地址，可以是IP地址或主機名。http.port用于設置監聽的HTTP端口，出于一些特殊原因，筆者汪小成將elasticsearch的端口號由默認的9200修改為39100。discovery.seed_hosts用于設置集群節點的種子主機地址，用于節點發現和加入集群。

3.4、啟動Elasticsearch

# 啟動Elasticsearch
$ sudo systemctl start elasticsearch

將Elasticsearch設置為開機啟動（非必要）：

# 將Elasticsearch設置為開機自啟
$ sudo systemctl enable elasticsearch

查看Elasticsearch的運行狀態：

$ sudo systemctl status elasticsearch

或者，使用如下命令檢查Elasticsearch是否啟動成功：

# 檢查Elasticsearch是否啟動成功
$ netstat -antp | grep 39100

待Elasticsearch啟動成功后，可以使用curl命令來測試Elasticsearch是否正常運行。例如：

$ curl http://127.0.0.1:39100

如果返回類似以下內容，說明Elasticsearch已經成功運行：

{
  "name" : "localhost.localdomain",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "NqlpN5iJQmeSV_TvHqPo6w",
  "version" : {
    "number" : "7.2.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "fe6cb20",
    "build_date" : "2019-07-24T17:58:29.979462Z",
    "build_snapshot" : false,
    "lucene_version" : "8.0.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

最后，使用如下命令修改Centos防火墻配置開放端口號供外訪問：

$ sudo firewall-cmd --zone=public --add-port=39100/tcp --permanent

重新加載防火墻規則以使更改生效：

$ sudo firewall-cmd --reload

4、Logstash

4.1、下載Logstash

在華為開源鏡像站下載Logstash：

$ wget –c https://repo.huaweicloud.com/logstash/7.2.1/logstash-7.2.1.rpm

4.2、安裝Logstash

$ rpm -ivh logstash-7.2.1.rpm

4.3、配置Logstash

在/etc/logstash/conf.d文件夾下創建logstash.conf配置文件，配置文件內容如下：

input {
    tcp {
        host=> "0.0.0.0"
        port=> 39102
        mode=> "server"
        codec=> json_lines
    }

}
output {
    elasticsearch {
        hosts=> "localhost:39100"
        index=> "%{[appname]}-%{+YYYY.MM.dd}"
    }
}

配置說明：

• input - 用于定義數據的輸入源，即Logstash的數據來源。
• tcp - 用于指定Logstash監聽指定的IP和端口，接收 TCP 連接傳入的數據。
• host - 監聽的主機IP地址，這里的0.0.0.0表示監聽所有可用的網絡接口。
• port - 監聽的端口號。筆者汪小成這里將端口號由默認的9600改為了39102。
• mode - 連接模式。
• codec - 數據編碼解碼方式，json_lines表示接收到的數據將以JSON行的形式解析。
• output - 用于定義數據的輸出目錄。
• elasticsearch - 表示將數據輸出到Elasticsearch集群。
• hosts - 用于設置Elasticsearch集群的主機地址和端口號。
• index - 用于指定Elasticsearch索引的名稱。這里使用 %{[appname]} 表示索引名稱從數據中的appname字段獲取。%{+YYYY.MM.dd}表示在索引中包含日期信息。

4.4、啟動Logstash

$ sudo systemctl start logstash

最后，使用如下命令修改Centos防火墻配置開放端口號供外訪問：

$ sudo firewall-cmd --zone=public --add-port=39102/tcp --permanent

重新加載防火墻規則以使更改生效：

$ sudo firewall-cmd --reload

5、Kibana

5.1、下載Kibana

$ wget –c https://repo.huaweicloud.com/kibana/7.2.1/kibana-7.2.1-x86_64.rpm

5.2、安裝Kibana

$ rpm -ivh kibana-7.2.1-x86_64.rpm

5.3、配置Kibana

進入/etc/kibana文件夾，修改kibana.yml配置文件中如下內容：

server.port: 39101
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:39100"]
i18n.locale: "zh-CN"

配置說明：

• server.port - 用于指定Kibana服務監聽的端口號，這里筆者汪小成將端口號由默認的5601改成了39101。
• server.host - 用于指定Kibana服務監聽的主機地址。"0.0.0.0"表示監聽所有可用的網絡接口，即可以從任意IP地址訪問Kibana。
• elasticsearch.hosts - 用于設置Elasticsearch集群的主機地址和端口號。
• i18n.locale - 用于設置界面語言，這里將界面語言設置成了中文。

5.4、啟動Kibana

$ sudo systemctl start kibana

最后，使用如下命令修改Centos防火墻配置開放端口號供外訪問：

$ sudo firewall-cmd --zone=public --add-port=39101/tcp --permanent

重新加載防火墻規則以使更改生效：

$ sudo firewall-cmd --reload

6、SpringBoot集成ELK

Spring Boot應用輸出日志到ELK的流程如下圖所示：

流程圖說明：

0. Spring Boot應用產生日志數據，使用Logback日志框架記錄日志。
1. Logstash作為日志收集器，接收Spring Boot應用發送的日志數據。
2. Logstash解析和過濾日志數據，可能會對其進行格式化和處理。
3. 處理后的日志數據被發送到Elasticsearch，Elasticsearch將日志數據存儲在分布式索引中。
4. Kibana連接到Elasticsearch，可以查看存儲在Elasticsearch中的日志數據。

6.1、添加依賴

修改pom.xml文件，添加如下配置：

<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>7.2</version>
</dependency>

6.2、修改Logback配置

修改Logback的配置文件：

+<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
+    <!-- 端口是在logstach.conf中配置的 -->
+    <destination>60.211.159.140:39102</destination>
+    <!-- encoder必須配置,有多種可選 -->
+    <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
+        <!-- "appname":"spring-boot-lee" 的作用是指定創建索引的名字時用，并且在生成的文檔中會多了這個字段,切記小寫  -->
+        <customFields>{"appname":"spring-boot-elk"}</customFields>
+    </encoder>
+</appender>

<!-- 日志輸出級別 -->
<root level="INFO">
    <appender-ref ref="STDOUT"/>
+    <appender-ref ref="LOGSTASH"/>
</root>

6.3、啟動SpringBoot項目

這一步，筆者汪小成就不廢話了。

6.4、在Kibana中查看日志

1、在瀏覽器地址樣中輸入服務器IP+Kibana端口號 --> 點擊管理 --> 點擊索引模式 --> 點擊創建索引模式。

2、輸入索引模式名稱 --> 點擊下一步

3、設置時間篩選字段名稱，筆者汪小成這里沒有使用時間篩選。

4、點擊Discover圖標就可以看到Spring Boot項目輸出的日志了。