网站建设做网站怎么做百度推广代理商加盟
前言
前面讲了elk每个组件已经x-pack的安装使用,具体联合操作没有详细讲。本文使用logstach收集mysql慢日志,传送给elasticsearch进行分析处理,使用kibana进行web端的显示。
mysql开启慢日志记录
百度。
增加logstach的一个新配置文件
新增一个配置文件 启动使用命令参数 -f
引入。
mysql-slow.log.conf
input {file {type => "mysql-slow"path => "/var/lib/mysql/mysql_slow_query01.log"codec => multiline {pattern => "^# User@Host:"negate => truewhat => "previous"}}
}
#input节的配置定义了输入的日志类型为mysql慢查询日志类型以及日志路径,采用合并多行数据。negate字段是一个选择开关,可以正向匹配和反向匹配
filter {# drop sleep eventsgrok {match => { "message" => "SELECT SLEEP" }add_tag => [ "sleep_drop" ]tag_on_failure => [] # prevent default _grokparsefailure tag on real records}if "sleep_drop" in [tags] {drop {}}
#filter节的配置定义了过滤mysql查询为sleep状态SQL语句
grok {
match => [ "message", "(?m)^# User@Host: %{USER:user}\[[^\]]+\] @ (?:(?<clienthost>\S*) )?\[(?:%{IP:clientip})?\]\s*# Query_time: %{NUMBER:query_time:float}\s+Lock_time: %{NUMBER:lock_time:float}\s+Rows_sent: %{NUMBER:rows_sent:int}\s+Rows_examined: %{NUMBER:rows_examined:int}\s*(?:use %{DATA:database};\s*)?SET timestamp=%{NUMBER:timestamp};\s*(?<query>(?<action>\w+)\s+.*)\n# Time:.*$" ]
}date {match => [ "timestamp", "UNIX" ]remove_field => [ "timestamp" ]}
}
#grok节定义了慢查询日志输出的正则切割,这个容易头晕眼花!
output {stdout {codec => rubydebug {}
}elasticsearch {hosts => "192.168.0.111:9200"user => "elastic"password => "123456"index => "mysql-server81-%{+YYYY.MM.dd}"
}
}
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
主要修改的就是input里面的path
,output里面的es地址hosts
和x-pack密码user
,password
的设置。
启动
启动es先,在启动logstach和kibana。
个人用户启动es
[root@localhost elasticsearch-6.2.4]# su lin
[lin@localhost elasticsearch-6.2.4]$ ./bin/elasticsearch
启动logstach,等待20~30s
[root@Hicard_wallet logstash-6.2.4]# ./bin/logstash -f /root/mysql-slow.log.conf
启动kibana
[root@Hicard_wallet kibana-6.2.4-linux-x86_64]# ./bin/kibana
访问http://192.168.1.110:5601
创建索引模式
增加时间戳
查看sql