饰品企业网站建设,apache网站部署,网站建设部,有域名怎么做网站之前我们搭建的ELK日志收集系统#xff0c;主要是用来收集SpringBoot应用的日志。其原理是应用通过Logstash插件#xff0c;使用TCP向Logstash传输日志#xff0c;从而存储到Elasticsearch中去。但是有很多中间件的日志都是直接存储在文件中的#xff0c;比如Nginx、Elasti…之前我们搭建的ELK日志收集系统主要是用来收集SpringBoot应用的日志。其原理是应用通过Logstash插件使用TCP向Logstash传输日志从而存储到Elasticsearch中去。但是有很多中间件的日志都是直接存储在文件中的比如Nginx、Elasticsearch和MySQL此时我们就需要一个搬运工来把日志搬到Elasticsearch中去Filebeat正是这样一个日志搬运工本文将详细介绍它的使用方法希望对大家有所帮助。SpringBoot实战电商项目mall40kstar地址https://github.com/macrozheng/mallFilebeat简介Filebeat是一款轻量级日志采集器可用于转发和汇总日志与文件。Filebeat内置有多种模块Nginx、MySQL、Redis、Elasticsearch、Logstash等可针对常见格式的日志大大简化收集、解析和可视化过程只需一条命令即可。Filebeat安装及配置安装Filebeat之前我们需要先安装好Elasticsearch和Kibana具体参考《你居然还去服务器上捞日志搭个日志收集系统难道不香么》注意使用7.6.2版本。我们先下载Filebeat的安装包下载地址https://www.elastic.co/cn/downloads/past-releases/filebeat-7-6-2下载完成后解压到指定目录注意图中所示的三个地方Kibana中早就提供好了Filebeat收集各种日志的教程我们先进入首页访问地址http://localhost:5601/app/kibana#/home点击Add log data按钮可以发现支持的中间件还是很丰富的涵盖了常用的点开Nginx的日志收集教程看下是不是很详细接下来我们就要开始配置Filebeat了配置好Elasticsearch和Kibana的连接地址修改Filebeat的安装目录下的配置文件filebeat.yml即可修改内容如下。output.elasticsearch:hosts: [localhost:9200]
setup.kibana:host: localhost:5601收集Nginx日志我们先拿Nginx来练练手体验下Filebeat的日志收集功能吧。使用如下命令开启Filebeat的Nginx日志收集模块filebeat modules enable nginx开启完成后进入modules.d目录下你会发现nginx.yml的disable后缀没有了说明已经被开启接下来修改nginx.yml文件配置好Nginx的access和error日志路径# Module: nginx
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.6/filebeat-module-nginx.html- module: nginxaccess:enabled: truevar.paths: [I:/developer/env/nginx-1.8.1/logs/access.log]error:enabled: truevar.paths: [I:/developer/env/nginx-1.8.1/logs/error.log]由于启用了Nginx日志收集模块我们需要通过如下命令对Filebeat进行设置filebeat setup通过如下命令启动Filebeat服务filebeat -e我们可以通过之前使用的Kibana中的Nginx教程页面检查下数据是否成功被收集了点击Nginx logs dashboard按钮可以查看收集到的Nginx日志先看看概览日志再看看详细日志从此不用再去服务器上捞Nginx日志了收集Elasticsearch日志接下来我们再试试收集Elasticsearch的日志。使用如下命令开启Filebeat的Elasticsearch日志收集模块filebeat modules enable elasticsearch接下来修改elasticsearch.yml配置配置好Elasticsearch的日志路径# Module: elasticsearch
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.6/filebeat-module-elasticsearch.html- module: elasticsearchserver:enabled: truevar.paths: [I:/developer/env/elasticsearch-7.6.2/logs/elasticsearch.log]slowlog:enabled: truevar.paths: [I:/developer/env/elasticsearch-7.6.2/logs/elasticsearch_index_indexing_slowlog.log,I:/developer/env/elasticsearch-7.6.2/logs/elasticsearch_index_search_slowlog.log]deprecation:enabled: truevar.paths: [I:/developer/env/elasticsearch-7.6.2/logs/elasticsearch_deprecation.log]设置并启动Filebeat服务filebeat setup
filebeat -e在Discover页面中查看Elasticsearch日志。收集MySQL日志再来试试收集MySQL的日志。使用如下命令开启Filebeat的MySQL日志收集模块filebeat modules enable mysql接下来修改mysql.yml配置配置好MySQL的日志路径主要是错误日志和慢查询日志# Module: mysql
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.6/filebeat-module-mysql.html- module: mysqlerror:enabled: truevar.paths: [C:/ProgramData/MySQL/MySQL Server 5.7/Data/DESKTOP-5NIMJ19.err]slowlog:enabled: truevar.paths: [C:/ProgramData/MySQL/MySQL Server 5.7/Data/DESKTOP-5NIMJ19-slow.log]设置并启动Filebeat服务filebeat setup
filebeat -e点击MySQL logs dashboard按钮可以查看收集到的MySQL日志查看MySQL收集到的日志详情。总结本文主要介绍了使用Filebeat去收集Nginx、Elasticsearch和MySQL的文件日志其他中间件的日志收集用法也基本相同用Filebeat收集中间件日志是不是方便本文 GitHub https://github.com/macrozheng/mall-learning已经收录欢迎大家Star
