使用Prometheus监控Tomcat等java应用的状态
作者：富士康质检员张全蛋
5月应用服务出现问题，当别的小伙伴问我，有没有Tomcat等应用状态的监控的时候，我有点儿尴尬。所以赶紧抽空部署一下。
在配置之前，就当已经会安装jdk和tomcat了。
一、下载jmx_exporter
#linux下 cd /usr/local/prometheus wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar
二、配置jmx_exporter
其实配置的时候，可以很简单的写成下面的格式如下
#vim /usr/local/prometheus/jmx-exporter.yaml --- rules: - pattern: '.*'
不过，个人觉得上面这种配置，可以快速的上手，正式使用的时候，不推荐这样，因为这样会导致prometheus收集的指标太多了，对于存储和网络都会有些许的影响，特别是手机的主机特别多的时候。
比较推荐官方给的配置，如下：
#官方推荐配置实例：https://github.com/prometheus/jmx_exporter/blob/master/example_configs/tomcat.yml
#将文件下载下来放到下面文件中/usr/local/prometheus/jmx-exporter.yaml
#cat /usr/local/prometheus/jmx-exporter.yaml
---
lowercaseOutputLabelNames: true
lowercaseOutputName: true
rules:
- pattern: 'Catalina<type=GlobalRequestProcessor, name=\"(\w+-\w+)-(\d+)\"><>(\w+):'
name: tomcat_$3_total
labels:
port: "$2"
protocol: "$1"
help: Tomcat global $3
type: COUNTER
- pattern: 'Catalina<j2eeType=Servlet, WebModule=//([-a-zA-Z0-9+&@#/%?=~_|!:.,;]*[-a-zA-Z0-9+&@#/%=~_|]), name=([-a-zA-Z0-9+/$%~_-|!.]*), J2EEApplication=none, J2EEServer=none><>(requestCount|maxTime|processingTime|errorCount):'
name: tomcat_servlet_$3_total
labels:
module: "$1"
servlet: "$2"
help: Tomcat servlet $3 total
type: COUNTER
- pattern: 'Catalina<type=ThreadPool, name="(\w+-\w+)-(\d+)"><>(currentThreadCount|currentThreadsBusy|keepAliveCount|pollerThreadCount|connectionCount):'
name: tomcat_threadpool_$3
labels:
port: "$2"
protocol: "$1"
help: Tomcat threadpool $3
type: GAUGE
- pattern: 'Catalina<type=Manager, host=([-a-zA-Z0-9+&@#/%?=~_|!:.,;]*[-a-zA-Z0-9+&@#/%=~_|]), context=([-a-zA-Z0-9+/$%~_-|!.]*)><>(processingTime|sessionCounter|rejectedSessions|expiredSessions):'
name: tomcat_session_$3_total
labels:
context: "$2"
host: "$1"
help: Tomcat session $3 total
type: COUNTER三、配置tomcat
在配置Tomcat的时候，网上很多人给的都是下面这个配置：
修改文件：tomcat/bin/catalina.sh 或者win下修改tomcat/bin/catalina.bat
JAVA_OPTS=" -javaagent:/usr/local/prometheus/jmx_prometheus_javaagent-0.13.0.jar=20000:/usr/local/prometheus/jmx-exporter.yaml"
这个配置在tomcat8中挺好用的，centos6.9版本的tomcat7 和tomcat8 也都挺好用的。
但是centos6.5的tomcat7中，不好用。需要使用下面的配置
]# vim tomcat/bin/catalina.sh CATALINA_OPTS="$CATALINA_OPTS -javaagent:/usr/local/prometheus/jmx_prometheus_javaagent-0.13.0.jar=20000:/usr/local/prometheus/jmx-exporter.yaml";exportCATALINA_OPTS # for win tomcat/bin/catalina.bat
恩，catalina_opts这个，在Tomcat7 和8 中都是好用的。
如果是java -jar的java包的话，启动命令如下：
java -javaagent:/usr/local/prometheus/jmx_prometheus_javaagent-0.13.0.jar=20000:/usr/local/prometheus/jmx-exporter.yaml -jar yourJar.jar
启动java应用，然后使用ps -ef |grep java 命令来检查启动的java应用中是否有 -javaagent。
如果有就表示正常，如果没有，请自行排查问题所在，比如路径不对等。
四、prometheus的配置
我的prometheus使用的是file_sd文件自动发现。
所以配置如下
- job_name: "jvm_monitor"
file_sd_configs:
- refresh_interval: 30s
files:
- ./conf/jvm_monitor/*.json - job_name: 'JVM/druid'
metrics_path: /metrics
honor_labels: true
file_sd_configs:
- files:
- targets/jvm/druid.yaml
[apps@HZPM004149096 jvm]$ pwd
/data/docker/prometheus/conf/targets/jvm
[apps@HZPM004149096 jvm]$ cat druid.yaml
- labels:
app: 中运系统
project: 大运系统
service: zto-sitefintask-export
team: 研发一部
env: 生产
developer: 聂青
maintainer: 陈\纲
targets:
- 192.168.17.15:8024
- labels:
app: 中运系统
project: 大运系统
service: zto-fintask-export
team: 研发一部
env: 生产
developer: 聂绿水青
maintainer: 陈振纲
targets:
- 192.168.72.19:8023当然了，也可以使用一台一台的写到prometheus配置文件里，如下：
// prometheus.yml 配置文件内容
- job_name: 'jvm_monitor'
static_configs:
- targets: ['192.168.1.200:20000']
labels:
appname: 'tomcat_xxx'当这些都配置的时候，重新加载prometheus的配置文件，使配置生效。
五、配置grafana
grafana的dashboards编号是8563，添加到grafana中即可。之后，就完成了tomcat的监控，如下图，稍微做了一点儿调整。
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。