之前文章提到服务器上一个进程启动后不到三分钟就挂掉，到底是什么原因挂掉了，这个问题可以写篇文章了。进程死了，无非就两种可能：自杀，他杀。他杀又包括第三方杀害和系统判死刑。

先来看自杀。

1.自杀

我们以Java为例，Java程序在main方法运行完就会退出，这种属于自杀。或者像下面这样

System.exit();

这样也属于自杀。

比如下面的代码

public class SelfKill {

    public static void main(String[] args) throws InterruptedException {
        while(true){
            Thread.sleep(5000);
            System.exit(4);
        }
    }
}

运行如下：

[koudai@koudai-pc classes]$ java baicai.other.SelfKill
[koudai@koudai-pc classes]$ echo $?4

我们能用shutdownHook来在临死前记日志。

public class SelfKill {

    public static void main(String[] args) throws InterruptedException {
        Runtime.getRuntime().addShutdownHook(new Thread(() -> {
            System.out.println("关闭应用，释放资源");
        }));
        while(true){
            Thread.sleep(2000);
            System.exit(4);
        }
    }
}

执行结果

[koudai@koudai-pc classes]$ java baicai.other.SelfKill
关闭应用，释放资源

可以看到，无论是主动自杀，还是被自杀，shutdownHook都能保持现场。那如果是不支持shutdownHook的语言呢，或者程序里没有做Hook，那我们是不知道的。另外，不只是自杀shutdownHook能触发，它杀shutdownHook也会被触发。

总结下：对于主动自杀，如果我们有使用了shutdownHook，是能记录下自杀时间和现场的。如果是被自杀（恶意后门调用System.exit），并且我们没有做Hook，那对自杀现场是不知情的。代码里一定要有完善的shutdownHook。

主动自杀是我们的主动行为，那怎样避免被动自杀呢？刚才说了，被动自杀一般是恶意调用System.exit导致，一种是开发者加入的后门，一种是脚本小子加入的后门。System.exit导致JVM直接退出，且没有日志可以查询到是哪个类里的代码导致，因此通常情况下需要屏蔽。System.exit是可以被禁止的，方法就是自定义SecurityManager：

public class SelfSecurityManager extends SecurityManager{
    @Override
    public void checkPermission(Permission perm) {
        if (perm instanceof java.lang.RuntimePermission) {
            String name = perm.getName();
            if (name != null && name.contains("setSecurityManager")) {
                throw new SecurityException("System.setSecurityManager denied!");
            }
        }
    }

    @Override
    public void checkPermission(Permission perm, Object context) {
        //
    }

    @Override
    public void checkExit(int status) {
        super.checkExit(status);
        throw new ExitException(status);//自定义异常
    }
}

System.setSecurityManager(new SelfSecurityManager());//main方法中

需要注意的是，你可以自定义SecurityManager，脚本小子也可以自定义。因此光在Java类中自定义SecurityManager是不够的，你需要在JVM启动参数上定义更精细的policy文件，以及保护自己的SecurityManager不被重置。尤其需要注意不要被反射绕过。

2.他杀

前面说了，不只是自杀shutdownHook能触发，以下场景都会触发 ShutdownHook :

• 代码执行结束，JVM 正常退出
• 应用代码中调用 System#exit 方法
• 应用中发生 OOM 错误，导致 JVM 关闭
• 终端中使用 Ctrl+C(非后台运行)
• 主动关闭应用

我们模拟Ctrl+C试试。如下所示

[koudai@koudai-pc classes]$ java baicai.other.SelfKill^C关闭应用，释放资源[koudai@koudai-pc classes]$

可以看到ctrl+C是能被捕获到的。那么kill指令能被捕获吗

[koudai@koudai-pc classes]$ kill 14675[koudai@koudai-pc classes]$ java baicai.other.SelfKill关闭应用，释放资源

可以看到普通的kill是能被捕获的，那么kill -9呢

[koudai@koudai-pc classes]$ ps -ef|grep Kill
koudai     14948    8231  0 00:57 pts/1    00:00:00 java baicai.other.SelfKill
koudai     15235   14640  0 00:58 pts/2    00:00:00 grep --colour=auto Kill
[koudai@koudai-pc classes]$ kill -9 14948
[koudai@koudai-pc classes]$ java baicai.other.SelfKill
已杀死

可以看到kill -9是无法被进程自身所捕获的。

到这里就结束了吗？

真正的问题来了，就算我有shutdownHook能记下临终遗言，但是最关键的是我无法知道是谁杀死了我。尤其是分析某些木马的场景下

如果是系统杀死我的，那一般就是OOM，这种情况也还好。

Linux内核有个机制叫OOM killer(Out Of Memory killer)，该机制会监控那些占用内存过大，尤其是瞬间占用内存很快的进程，然后防止内存耗尽而自动把该进程杀掉。内核检测到系统内存不足、挑选并杀掉某个进程的过程可以参考内核源代码linux/mm/oom_kill.c，当系统内存不足的时候，out_of_memory()被触发，然后调用select_bad_process()选择一个”bad”进程杀掉。

这种OOM，是有日志记录的，可以用下面的方法查看

grep "Out of memory" /var/log/messagessudo 
dmesg|grep "Out of memory"

系统杀的，自认倒霉。

最麻烦的是被第三方杀的，比如木马，各种监控脚本，各种sh脚本，我咋样才知道是哪个进程杀的呢？这就需要用到systemtap了。

3.systemtap使用

systemtap是一个用于简化linux系统运行形态信息收集的开源工具。它立足于性能诊断和bug调试，对内核及用户态程序提供了动态追踪功能，用户可以自定探测事件来跟踪程序的运行情况，如函数的调用路径、CPU占用和磁盘IO等一系列可以探测的情况。有了systemtap，可以在程序不修改代码，甚至不用重启就能分析出程序的运行情况。

systemtap 的核心思想是定义一个事件（event），以及给出处理该事件的句柄（Handler）。当一个特定的事件发生时，内核运行该处理句柄，就像快速调用一个子函数一样，处理完之后恢复到内核原始状态。

先来安装它

yum install systemtap systemtap-runtime
stap-prep
stap -e 'probe begin{printf("Hello, World"); exit();}' #测试验证

由于我们并不需要高级功能，所以暂不安装内核符号文件。接下来，我们写一个stap脚本

vim sigmon.stp
# 内容如下
probe begin
{
  printf("%-8s %-16s %-5s %-16s %6s %-16s\n",
         "SPID", "SNAME", "RPID", "RNAME", "SIGNUM", "SIGNAME")
}

probe signal.send
{
  if (sig_name == @1 && sig_pid == target())
    printf("%-8d %-16s %-5d %-16s %-6d %-16s\n",
      pid(), execname(), sig_pid, pid_name, sig, sig_name)
}

现在我们需要监控某个进程，就这么调用

(base) [root@VM-0-7-centos ~]# stap -x 28262  sigmon.stp SIGKILLSPID     SNAME            RPID  RNAME            SIGNUM SIGNAME         2362819  bash             28262 rsyslogd         9      SIGKILL

这样我们就知道28262这个进程是被2362819这个进程，也就是bash所杀死的。

当然，如果不在事前监控，事后我们是拿不到日志信息的。

如果我们即不做ShutdownHook，也不使用systemtap进行监控，仅仅靠操作系统自带日志，那我们是无法保存死亡现场，也很难知道谁是进程killed背后的凶手了