一、背景

最近A同事要迭代一个已上线的功能，开始一切都很顺利，但在测试的时候一旦触发某个动作，后台java服务有很大概率挂掉，与A同事一起review了代码，后台逻辑也就是常规的数据库操作加一个httpclient调用，感觉没什么逻辑问题。

二、问题排查

根据经验猜测大概率是内存问题，由于是测试环境没有开启监控，使用如下命令查看了系统日志：

dmesg －T | grep -E -i -B100 'killed process'

结果如下：

35007945.579532] [ pid ]   uid  tgid total_vm      rss nr_ptes swapents oom_score_adj name
[35007945.579539] [  370]     0   370    41752      131      85        0             0 systemd-journal
[35007945.579541] [  403]     0   403    31210       83      27        0             0 lvmetad
[35007945.579542] [  404]     0   404    11389      167      23        0         -1000 systemd-udevd
[35007945.579544] [  789]     0   789    13883      112      26        0         -1000 auditd
[35007945.579546] [  816]     0   816    13213      203      32        0             0 smartd
[35007945.579612] [22752]  1000 22752    27023       24      11        0             0 tail
[35007945.579613] [23980]  1002 23980 18233580  1369156    2853        0             0 java
[35007945.579614] [26111]     0 26111    39325      348      78        0             0 sshd
[35007945.579619] [26472]     0 26472    29662      381      17        0             0 bash
[35007945.579620] [26791]     0 26791  1701879     8918      84        0             0 jstat
[35007945.579621] Out of memory: Kill process 23980 (java) score 337 or sacrifice child
[35007945.580376] Killed process 23980 (java), UID 1002, total-vm:72934320kB, anon-rss:5476560kB, file-rss:64kB, shmem-rss:0kB

不出所料，果然是内存溢出导致服务被杀， 可以确定代码逻辑没问题，但是为什么会内存溢出？

突然想起来之前 使用的gc在线分析工具 Universal JVM GC analyzer ，正好实验一下：

上述图中汇总了 GC的各个指标，虽然没有直接指出问题，对我们了解GC情况还是很有帮助的。当看到已分配内存2G时，突然想到测试环境默认最大堆内存是1G，现在达到 2G应该是有人改了默认配置，到现在为止还没看最重要的JVM配置，赶快去看了下：

 -Dsun.misc.URLClassPath.disableJarChecking=true 
-server -Xmx1g -Xms1g -Xss256k -XX:MaxDirectMemorySize=1G 
-XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:G1ReservePercent=25 
-XX:InitiatingHeapOccupancyPercent=40 -XX:+PrintGCDateStamps 
-XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 
-XX:GCLogFileSize=100M -XX:+HeapDumpOnOutOfMemoryError -XX:+DisableExplicitGC 
-XX:-OmitStackTraceInFastThrow -XX:+PrintCommandLineFlags -Djava.awt.headless=true 
-Djava.net.preferIPv4Stack=true -Djava.util.Arrays.useLegacyMergeSort=true 
-Dfile.encoding=UTF-8 -Djava.security.egd=file:/dev/./urandom 
-Xms2g -Xmx4g -Xss1024m

当看到 -Xss=1024m时有种豁然开朗的感觉，有人竟然将线程堆栈大小设置为1G，之前的现象也就得到了解释，一个线程分配1G内存，代码中随便 new一个线程就可能导致内存溢出，这也是为什么屏蔽了 httpclient调用 问题就暂时消失了。问题原因很简单甚至搞笑，但如果只是分析代码估计要"废寝忘食"了。

三、所得

1、排查问题要按照步骤一步步来，问题可能出现在任何一个环节；

2、“问题往往在代码之外”；

3、小心求证，大胆实验；

4、解决问题需要先发现问题，一个完备的监控系统是非常有必要的。