Elasticsearch+Logstash+Kibana搭建日志分析系统 |
您所在的位置:网站首页 › 中北大学厉害吗 › Elasticsearch+Logstash+Kibana搭建日志分析系统 |
Elasticsearch+Logstash+Kibana搭建日志分析系统
发布时间:2020-06-16 17:46:58
来源:网络
阅读:356
作者:元一
栏目:系统运维
简介: ELK实际上是三个工具的集合,Elasticsearch + Logstash + Kibana,这三个工具组合形成了一套实用、易用的监控架构,很多公司利用它来搭建可视化的海量日志分析平台。 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。 Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理,提供 Web 接口用于查询和统计。 Kibana 是一个为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。 日志服务器: 提高安全性;集中存放日志;缺陷:对日志的分析困难 ELK日志处理步骤: 将日志进行集中格式化;将日志格式化(logstash)并输出到 Elasticsearch;对格式化后的数据进行索引和存储(Elasticsearch);前端数据的展示(Kibana) 搭建 ELK 日志分析系统 配置 elasticsearch 环境 修改两台主机名,分别是:node1 和 node2修改 hosts 文件: vim /etc/hosts添加以下主机名和主机IP地址(两台node都需要):192.168.220.129 node1192.168.220.130 node2 防火墙都关闭 systemctl stop firewalld.service setenforce 0 部署安装 elasticsearch 软件 rpm -ivh elasticsearch-5.5.0.rpm //安装systemctl daemon-reload //重新加载服务配置文件systemctl enable elasticsearch.service //设置为开机自启动cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak 修改配制文件: 注意:第二台节点服务器配置和第一台一样,注意修改一下节点名和ip地址即可。 vim /etc/elasticsearch/elasticsearch.yml 17/ cluster.name: my-elk-cluster //集群名字(自定义)23/ node.name: node-1 //节点名字33/ path.data: /data/elk_data //数据存放路径37/ path.logs: /var/log/elasticsearch/ //日志存放路径43/ bootstrap.memory_lock: false //不在启动的时候锁定内存55/ network.host: 0.0.0.0 //提供服务绑定的IP地址(本机地址)59/ http.port: 9200 //端口68/ discovery.zen.ping.unicast.hosts: ["node1", "node2"] //集群发现通过单播实现 创建数据存放路径并授权,开启服务 mkdir -p /data/elk_datachown elasticsearch:elasticsearch /data/elk_data/systemctl start elasticsearch.servicenetstat -natp | grep 9200 使用浏览器打开 http://192.168.50.142:9200 下面是节点信息 {"name" : "node1","cluster_name" : "my-elk-cluster","cluster_uuid" : "47bm_xHBSfSvB-mg5qaLWg","version" : {"number" : "5.5.0","build_hash" : "260387d","build_date" : "2017-06-30T23:16:05.735Z","build_snapshot" : false,"lucene_version" : "6.6.0"},"tagline" : "You Know, for Search"} 使用浏览器 http://192.168.50.142:9200/_cluster/health?pretty ###检查集群健康情况 {"cluster_name" : "my-elk-cluster","status" : "green","timed_out" : false,"number_of_nodes" : 2,"number_of_data_nodes" : 2,"active_primary_shards" : 0,"active_shards" : 0,"relocating_shards" : 0,"initializing_shards" : 0,"unassigned_shards" : 0,"delayed_unassigned_shards" : 0,"number_of_pending_tasks" : 0,"number_of_in_flight_fetch" : 0,"task_max_waiting_in_queue_millis" : 0,"active_shards_percent_as_number" : 100.0} 使用浏览器 http://192.168.50.142:9200/_cluster/state?pretty ###检查群集状态信息 {"cluster_name" : "my-elk-cluster","version" : 3,"state_uuid" : "vU5I5cttQiiedAu38QwWEQ","master_node" : "3wHS1VEBQ_q0FxZs2T5IiA","blocks" : { },"nodes" : {"V0n8BHRfS1CA75dbo312HA" : {"name" : "node2","ephemeral_id" : "2rC6LV1qQcaZNEFRc8uIBg","transport_address" : "192.168.50.139:9300","attributes" : { }},"3wHS1VEBQ_q0FxZs2T5IiA" : {"name" : "node1","ephemeral_id" : "d2nLeY3RSYaI7g7jpzNkMA","transport_address" : "192.168.50.142:9300","attributes" : { }}},"metadata" : {"cluster_uuid" : "47bm_xHBSfSvB-mg5qaLWg","templates" : { },"indices" : { },"index-graveyard" : {"tombstones" : [ ]}},"routing_table" : {"indices" : { }},"routing_nodes" : {"unassigned" : [ ],"nodes" : {"3wHS1VEBQ_q0FxZs2T5IiA" : [ ],"V0n8BHRfS1CA75dbo312HA" : [ ]}}} 安装 elasticsearch-head 插件 yum install gcc gcc-c++ make -y 编译安装 node 组件: tar zvxf node-v8.2.1.tar.gz -C /opt/cd /opt/node-v8.2.1/./configure make -j3 //这步耗时较长,耐心等待make install 安装 phantomjs 前端框架: tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /opt/cd phantomjs-2.1.1-linux-x86_64/bincp phantomjs /usr/local/bin/ 安装 elasticsearch-head 数据可视化工具: tar zvxf elasticsearch-head.tar.gz -C /opt/cd /opt/elasticsearch-head/npm install 修改主配置文件: vim /etc/elasticsearch/elasticsearch.yml末尾插入以下两行代码:http.cors.enabled: truehttp.cors.allow-origin: "*" 启动 elasticsearch-head cd /opt/elasticsearch-head/npm run start & //放在后台运行 使用浏览器输入 http://192.168.50.142:9100/ 可以看到群集很健康是绿色在Elasticsearch 后面的栏目中输入http://192.168.50.142:9200 然后点连接会发现: 集群健康值: green (0 of 0)◉node1信息动作★node2信息动作 创建索引 可以直接新建索引 也可以输入以下命令创建索引: curl -XPUT '192.168.50.142:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'//索引名为 index-demo,类型为test 浏览器刷新一下,就会看到刚刚创建的索引信息,可以看出索引默认被分片5个,并且有一个副本 安装 logstash 并做一些日志搜集输出到 elasticsearch中 修改主机名 hostnamectl set-hostname apache 安装Apache服务 systemctl stop firewalld.servicesetenforce 0yum install httpd -ysystemctl start httpd.service 安装 logstash rpm -ivh logstash-5.5.1.rpmsystemctl start logstashsystemctl enable logstashln -s /usr/share/logstash/bin/logstash /usr/local/bin/ //创建软连接到bin目录下 logstash(Apache)与 elasticsearch(node)功能是否正常,做对接测试:可以用 logstash 这个命令测试: [root@apache bin]# logstash-f:可以指定 logstash的配置文件,根据配置文件配置 logstash-e:后面跟着字符串,该字符串可以被当做 logstash 的配置(如果是“”,则默认使用stdin作为输入、stdout作为输出)-t:测试配置文件是否正确,然后退出 输入采用标准输入、输出采用标准输出: logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.220.136:9200"] } }' 此时,浏览器访问 http://192.168.50.142:9200/ 查看索引信息,就会多出 logstash-2019.12.17 登录Apache主机,做对接配置: logstash 配置文件主要由三部分组成:input、output、filter(这个视情况做不做)给日志文件授权:chmod o+r /var/log/messages ll /var/log/messages-rw----r--. 1 root root 488359 12月 17 14:52 /var/log/messages 创建并编辑配置文件:vim /etc/logstash/conf.d/system.conf input {file {path => "/var/log/messages"type => "system"start_position => "beginning"}} output {elasticsearch {hosts => ["192.168.50.142:9200"]index => "system-%{+YYYY.MM.dd}"}} 重启服务: systemctl restart logstash.service 浏览器查看索引信息:会多出 system-2019.12.17 node1主机安装 kibana rpm -ivh kibana-5.5.1-x86_64.rpmcd /etc/kibana/cp kibana.yml kibana.yml.bak vim kibana.yml修改,开放以下功能:server.port: 5601 //开发端口server.host: "0.0.0.0" //监听所有elasticsearch.url: "http://192.168.50.142:9200" kibana.index: ".kibana" 重启服务: systemctl start kibana.service 浏览器访问:192.168.50.142:5601接下来在可视化界面中创建一个索引名:system-* (对接系统日志文件) 对接 Apache 主机的 Apache 日志文件 (包括正常访问的、错误的) cd /etc/logstash/conf.d/ vim apache_log.conf //创建配置文件,添加以下代码: input {file{path => "/etc/httpd/logs/access_log"type => "access"start_position => "beginning"}file{path => "/etc/httpd/logs/error_log"type => "error"start_position => "beginning"}}output {if [type] == "access" {elasticsearch {hosts => ["192.168.220.136:9200"]index => "apache_access-%{+YYYY.MM.dd}"}}if [type] == "error"{elasticsearch {hosts => ["192.168.220.136:9200"]index => "apache_error-%{+YYYY.MM.dd}"}}} 再在可视化界面上, 创建两个索引:1、apache_access-2、apache_error-
推荐阅读:ELK日志分析系统(实战!) 免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:[email protected]进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。 elasticsearch logstash kibana 上一篇新闻:如何在centos7中安装配置FasterDFS 下一篇新闻:php 5.6.6 源码安装配置 猜你喜欢 装HarmonyOS Sans字体后为什么不能在Linux设置同款字体不同类型 在Linux系统下修改现有systemd单元文件的方法是什么 在Fedora Linux系统上安装Image Builder的方法是什么 在Fedora Linux系统下安装Python 3.10 beta版本的方法是什么 在Linux系统下使用Systemd定时器的基础是什么 在Linux中创建自定义脚本和创建systemd服务单元文件的方法是什么 Deepin 20.2中安装Python3和python3-pip的方法是什么 在Linux下如何用Wine安装和运行DirectX修复工具及360系统急救箱 在Linux系统上安装HarmonyOS字体的方法是什么 在Linux系统上怎么安装LinApple |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |