Swap 耗尽的现象
[grid@rac1 ~]$ top
top - 21:15:20 up 1:00, 3 users, load average: 71.54, 71.64, 57.21
Tasks: 466 total, 29 running, 349 sleeping, 0 stopped, 0 zombie
%Cpu(s): 7.6 us, 74.6 sy, 0.0 ni, 0.1 id, 0.0 wa, 15.2 hi, 2.4 si, 0.0 st
KiB Mem : 3636624 total, 47048 free, 2671876 used, 917700 buff/cache
KiB Swap: 5097144 total, 0 free, 5097144 used. 217036 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2911 grid 20 0 4911960 296480 5680 S 5.9 8.2 1:31.25 java
27340 grid 20 0 3217756 324124 18344 S 5.5 8.9 0:57.00 java
5409 root 20 0 1406800 57156 27644 S 4.2 1.6 2:23.29 crsd.bin
6189 oracle 20 0 1435400 31584 19708 R 3.6 0.9 0:15.23 ora_rms0_mes1
26924 oracle 20 0 1400916 72948 67444 R 3.3 2.0 0:12.68 ora_ppa7_mes1
30670 oracle 20 0 1538876 13428 10584 R 3.3 0.4 0:02.85 ora_gcr0_orcl1
30709 oracle 20 0 1125400 15384 12812 R 3.3 0.4 0:02.00 oracle
8935 grid 20 0 1581224 21056 19244 D 3.3 0.6 0:48.91 asm_ppa7_+asm1
27338 oracle 20 0 1404368 65456 54088 R 3.3 1.8 0:27.64 ora_m002_mes1
27274 root 20 0 2518212 78980 0 S 3.2 2.2 1:51.07 java
29879 oracle 20 0 1419808 50668 41712 R 3.2 1.4 0:14.07 oracle_29879_me
5337 grid 20 0 1578928 18792 17756 R 3.1 0.5 0:18.15 asm_mmon_+asm1
140 root 20 0 0 0 0 R 3.0 0.0 4:50.05 kswapd0:0
5348 grid 20 0 1579528 17536 16584 S 3.0 0.5 0:48.53 asm_gcr0_+asm1
30762 grid 20 0 2807248 10252 3940 S 3.0 0.3 0:01.10 java
10552 oracle 20 0 1567152 38332 21204 S 2.4 1.1 0:37.32 ora_dia0_orcl1
30782 root 20 0 131800 5716 4768 R 2.4 0.2 0:00.85 perl
5279 grid 20 0 1593124 16524 11880 R 2.4 0.5 0:17.28 asm_ping_+asm1
27636 root 20 0 2486736 31964 15044 S 2.3 0.9 0:51.50 java
5285 grid 20 0 1612440 55520 27376 S 2.1 1.5 0:50.62 asm_dia0_+asm1
6177 oracle 20 0 1423788 37852 20996 R 2.0 1.0 0:39.29 ora_dia0_mes1
5293 grid 20 0 1593416 23420 15660 S 2.0 0.6 0:35.35 asm_lmd0_+asm1
10638 oracle 20 0 1543244 17420 16028 S 2.0 0.5 0:06.32 ora_mmnl_orcl1
6570 root 20 0 1247064 210144 98212 S 1.8 5.8 0:54.39 ologgerd
5746 oracle 20 0 1428252 44624 33628 S 1.7 1.2 0:34.21 oraagent.bin
5254 grid 20 0 1579588 20284 19584 R 1.6 0.6 0:27.32 asm_gen0_+asm1
5515 root 20 0 1418188 36384 31588 S 1.6 1.0 0:49.76 orarootagent.bi
12365 oracle 20 0 1548468 13232 6720 S 1.6 0.4 0:13.69 oracle_12365_or
24654 grid 20 0 1581836 30896 28752 R 1.6 0.8 0:20.81 oracle_24654_+a
599 root 0 -20 0 0 0 I 1.5 0.0 1:55.71 kworker/1:1H-kb
4388 root 20 0 988916 32160 28052 S 1.5 0.9 0:26.08 octssd.bin
[grid@rac1 ~]$ top
top - 21:21:20 up 1:06, 3 users, load average: 78.83, 74.78, 63.00
Tasks: 483 total, 50 running, 347 sleeping, 0 stopped, 0 zombie
%Cpu(s): 4.8 us, 77.0 sy, 0.0 ni, 0.0 id, 0.0 wa, 15.7 hi, 2.5 si, 0.0 st
KiB Mem : 3636624 total, 47864 free, 2713200 used, 875560 buff/cache
KiB Swap: 5097144 total, 0 free, 5097144 used. 164564 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
31275 grid 20 0 3140096 13220 2400 S 4.0 0.4 0:04.80 java
5409 root 20 0 1406800 54876 25380 S 3.3 1.5 2:40.14 crsd.bin
2771 root 20 0 1432128 57324 39440 S 2.6 1.6 1:02.17 orarootagent.bi
27340 grid 20 0 3219812 308724 9140 S 2.4 8.5 1:08.41 java
27383 oracle 20 0 468368 9880 6064 R 2.4 0.3 0:05.93 ora_m004_orcl1
29879 oracle 20 0 1423904 52560 38416 R 2.4 1.4 0:24.87 oracle_29879_me
30709 oracle 20 0 1402868 28964 22776 R 2.4 0.8 0:12.71 oracle_30709_me
31348 oracle 20 0 1123440 5416 3508 R 2.4 0.1 0:02.38 oracle
31420 oracle 20 0 1264160 6716 5340 R 2.3 0.2 0:01.33 oracle
30938 grid 20 0 1726952 6648 2056 S 2.3 0.2 0:09.26 java
31390 grid 20 0 1558084 11532 9492 R 2.3 0.3 0:01.68 oracle
31436 grid 20 0 1558080 11424 9388 R 2.3 0.3 0:01.17 oracle
27338 oracle 20 0 1404368 61948 51404 R 2.3 1.7 0:38.39 ora_m002_mes1
10635 oracle 20 0 1575440 26580 22780 R 2.2 0.7 0:21.66 ora_mmon_orcl1
5285 grid 20 0 1612440 56932 28812 R 2.2 1.6 1:01.16 asm_dia0_+asm1
10370 oracle 20 0 1545704 14756 11800 R 2.2 0.4 0:11.70 ora_ipc0_orcl1
10552 oracle 20 0 1567152 33748 16596 S 2.1 0.9 0:45.48 ora_dia0_orcl1
5301 grid 20 0 1579612 27928 26712 R 2.1 0.8 0:35.27 asm_lmhb_+asm1
27338 oracle 20 0 1404368 62748 52204 R 2.1 1.7 0:37.74 ora_m002_mes1
10635 oracle 20 0 1575440 33072 29268 R 2.0 0.9 0:21.02 ora_mmon_orcl1
30938 grid 20 0 1726952 5764 1184 S 2.0 0.2 0:08.60 java
599 root 0 -20 0 0 0 I 2.0 0.0 2:00.87 kworker/1:1H-kb
29879 oracle 20 0 1423904 51092 37004 R 2.0 1.4 0:24.19 oracle_29879_me
8935 grid 20 0 1581224 19976 18168 R 1.9 0.5 0:57.39 asm_ppa7_+asm1
30709 oracle 20 0 1402868 31024 24880 R 1.9 0.9 0:12.03 oracle_30709_me
5254 grid 20 0 1579588 18044 17364 R 1.9 0.5 0:33.40 asm_gen0_+asm1
27160 oracle 20 0 1141000 23840 15872 R 1.9 0.7 0:03.24 ora_m000_mes1
31420 oracle 20 0 452368 1484 972 R 1.9 0.0 0:00.66 oracle
5333 grid 20 0 1581360 19028 18116 R 1.8 0.5 0:31.61 asm_gmon_+asm1
27340 grid 20 0 3219812 305708 6032 S 1.8 8.4 1:07.71 java
31248 grid 20 0 1558084 9008 6924 R 1.8 0.2 0:03.50 oracle
[grid@rac1 ~]$ vmstat 5 10
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
97 0 5097144 47304 4 897192 998 1690 64767 1856 2895 313 19 73 7 1 0
91 0 5097144 47980 4 897228 125 106 241644 324 5862 10710 6 94 0 0 0
82 1 5097144 47100 4 894404 101 89 269693 554 5697 9742 5 95 0 0 0
99 2 5097144 47216 4 885576 140 128 301699 453 6580 11009 6 94 0 0 0
98 0 5097144 46940 4 889732 114 98 257268 456 5359 9430 6 94 0 0 0
87 0 5097144 46532 4 892772 125 105 263083 501 5295 9431 5 95 0 0 0
85 0 5097144 46344 4 888856 60 50 287905 407 5487 9411 5 95 0 0 0
[grid@rac1 ~]$ vmstat 5 10
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
68 0 5097144 48752 4 908640 982 1662 66100 1829 2892 392 19 73 7 1 0
67 1 5097144 46776 4 913704 507 532 248012 1219 5548 10168 9 91 0 0 0
68 0 5097144 46780 4 908056 1652 1433 250263 2043 5937 10603 8 92 0 0 0
75 0 5097144 47176 4 898836 1014 908 270115 1342 5563 10409 8 92 0 0 0
63 1 5097144 47016 4 903060 1127 998 293107 1474 5793 11075 7 93 0 0 0
top - 21:31:48 up 1:16, 4 users, load average: 103.75, 92.14, 77.29
Tasks: 481 total, 52 running, 341 sleeping, 0 stopped, 1 zombie
%Cpu(s): 4.8 us, 78.3 sy, 0.0 ni, 0.0 id, 0.0 wa, 14.8 hi, 2.1 si, 0.0 st
KiB Mem : 3636624 total, 46952 free, 2672476 used, 917196 buff/cache
KiB Swap: 5097144 total, 0 free, 5097144 used. 169676 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
27340 grid 20 0 3219812 311104 12728 S 3.9 8.6 1:33.00 java
3038 grid 20 0 945548 48476 26452 S 3.4 1.3 0:55.99 gipcd.bin
5505 grid 20 0 1442720 51644 39056 S 3.3 1.4 1:53.56 oraagent.bin
5409 root 20 0 1406800 61876 27900 S 3.2 1.7 3:05.43 crsd.bin
2316 root 20 0 1346212 47524 27220 S 2.9 1.3 1:24.88 ohasd.bin
32137 grid 20 0 3140096 9768 0 S 2.8 0.3 0:06.89 java
2771 root 20 0 1432128 57036 38504 S 2.7 1.6 1:18.12 orarootagent.bi
32533 oracle 20 0 1120540 6580 5348 R 2.7 0.2 0:00.93 oracle
5746 oracle 20 0 1434408 55308 38364 S 2.6 1.5 0:46.38 oraagent.bin
599 root 0 -20 0 0 0 I 2.4 0.0 2:13.72 kworker/1:1H-kb
5515 root 20 0 1418188 39052 33516 S 2.3 1.1 1:11.05 orarootagent.bi
5337 grid 20 0 1578944 27832 25988 R 2.2 0.8 0:40.96 asm_mmon_+asm1
6189 oracle 20 0 1435400 31484 19532 R 2.2 0.9 0:28.19 ora_rms0_mes1
5293 grid 20 0 1596372 31244 21860 R 2.2 0.9 0:57.83 asm_lmd0_+asm1
6219 oracle 20 0 1402216 18376 15784 R 2.2 0.5 0:06.08 ora_smon_mes1
10635 oracle 20 0 1575724 32464 27728 R 2.2 0.9 0:37.04 ora_mmon_orcl1
140 root 20 0 0 0 0 R 2.1 0.0 5:17.46 kswapd0:0
5285 grid 20 0 1612440 57064 28424 S 2.1 1.6 1:16.29 asm_dia0_+asm1
5287 grid 20 0 1597340 22300 19064 R 2.1 0.6 0:21.76 asm_lmon_+asm1
6140 oracle 20 0 1417288 17508 14304 R 2.1 0.5 0:18.50 ora_gen0_mes1
6177 oracle 20 0 1423788 36748 19376 R 2.1 1.0 1:02.38 ora_dia0_mes1
10596 oracle 20 0 1560708 15384 12688 R 2.1 0.4 0:06.48 ora_smon_orcl1
32551 grid 20 0 441272 5372 4344 R 2.1 0.1 0:00.72 oracle
6869 oracle 20 0 1411176 30800 20616 R 2.0 0.8 0:04.41 ora_q002_mes1
5348 grid 20 0 1579528 15500 14620 R 2.0 0.4 1:13.23 asm_gcr0_+asm1
10522 oracle 20 0 1567420 17080 13780 R 2.0 0.5 0:24.03 ora_svcb_orcl1
10617 oracle 20 0 1555092 19464 17660 R 2.0 0.5 0:12.26 ora_pxmn_orcl1
27274 root 20 0 2518036 64088 0 S 2.0 1.8 2:10.73 java
29879 oracle 20 0 1428000 53120 37212 S 2.0 1.5 0:35.87 oracle_29879_me
30938 grid 20 0 1793516 6088 1180 S 1.9 0.2 0:24.52 java
8181 oracle 20 0 1415860 13764 12044 R 1.9 0.4 0:04.57 ora_w005_mes1
R 是 Running 或 Runnable 的缩写，表示进程在 CPU 的就绪队列中，正在运行或者正在等待运行。
D 是 Disk Sleep 的缩写，也就是不可中断状态睡眠（Uninterruptible Sleep），一般表示进程正在跟硬件交互，为了保护进程数据与硬件一致，系统不允许被其他进程中断打断。
Z 是 Zombie 的缩写，如果你玩过“植物大战僵尸”这款游戏，应该知道它的意思。它表示僵尸进程，也就是进程实际上已经结束了，但是父进程还没有回收它的资源（比如进程的描述符、PID 等）。
S 是 Interruptible Sleep 的缩写，也就是可中断状态睡眠，表示进程因为等待某个事件而被系统挂起。当进程等待的事件发生时，它会被唤醒并进入 R 状态。
I 是 Idle 的缩写，也就是空闲状态，用在不可中断睡眠的内核线程上。前面说了，硬件交互导致的不可中断进程用 D 表示，但对某些内核线程来说，它们有可能实际上并没有任何负载，用 Idle 正是为了区分这种情况。要注意，D 状态的进程会导致平均负载升高， I 状态的进程却不会。
T 或者 t，也就是 Stopped 或 Traced 的缩写，表示进程处于暂停或者跟踪状态。向一个进程发送 SIGSTOP 信号，它就会因响应这个信号变成暂停状态（Stopped）。而当用调试器（如 gdb）调试一个进程时，在使用断点中断进程后，进程就会变成跟踪状态，这其实也是一种特殊的暂停状态，只不过你可以用调试器来跟踪并按需要控制进程的运行。
X是 Dead 的缩写，表示进程已经消亡，所以你不会在 top 或者 ps 命令中看到它。
在top和ps命令中有一列显示进程状态，分别有如下值：
|
值 |
含义 |
|
S |
进程处于interruptable sleep状态 |
|
D |
进程处于Uninterruptable sleep状态 |
|
R |
进程处于运行状态 |
|
Z |
进程处于僵尸状态 |
|
T |
Stop模式，进程要么处于被调试状态 |
【S进程】
进程等待某个资源处于sleep状态，此时可以通过发送信号将这个进程唤醒。例如发送kill 信号。
【D进程】
进程在内核中某些不能被信号打断，例如对某些硬件设备进行操作时刻（等待磁盘Io,等待网络io等等）。
进程处于D状态一般情况下很短暂，不应该被top或者ps看到。
如果进程在top和ps看到长期处于D状态，那么可能进程在等待IO时出现了问题导致进程一直等待不到IO资源，此时如果要处理掉这个D进程，那么只能重启整个系统才会恢复。因为此时整个进程无法被kill 掉。
【Z进程】
僵尸进程。
在Linux中，每个进程都有一个父进程，进程号叫PID（Process ID），父进程号叫PPID（Parent PID）。当进程死亡时，会关闭已经打开的文件，舍弃已经占用的内存，交换空间等公共资源，然后向父进程返回一个退出状态值，报告死讯。
如果在报告的过程中出了问题，父进程不知道子进程死了，子进程便变成了僵尸。
Linux中，可以通过杀死父进程的方式来让子进程消失。但是，僵尸进程并不占用任何资源，只是错误显示，如果父进程正在跑业务，千万不可以贸然杀死父进程。
-----正常的
[oracle@rac1 ~]$ vmstat 3 100
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
15 0 1556224 1283996 4240 1695660 365 1239 7280 1371 1939 3996 37 28 35 0 0
8 0 1554944 1298388 4240 1765580 416 0 22491 347 3682 7990 73 27 0 0 0
11 0 1553152 1213716 4240 1778412 585 0 5148 824 4202 8664 71 29 0 0 0
12 0 1552640 1102724 4240 1792972 243 0 4882 60 4163 9025 74 26 0 0 0
7 0 1552640 1026084 4240 1804240 77 0 3480 44 3522 7909 78 22 0 0 0
5 0 1551616 965132 4240 1819656 331 0 4746 24 3009 7278 71 28 0 0 0
8 0 1550848 844996 4240 1841692 288 0 5589 37 3610 7779 75 25 0 0 0
8 0 1550080 710872 4240 1842348 424 0 658 30 4112 8904 76 24 0 0 0
5 0 1548800 615420 4240 1842384 460 0 532 538 3871 8254 78 22 0 0 0
top - 09:19:24 up 23 min, 3 users, load average: 2.23, 4.74, 4.35
Tasks: 360 total, 1 running, 274 sleeping, 0 stopped, 0 zombie
%Cpu(s): 8.2 us, 4.9 sy, 0.0 ni, 76.8 id, 0.0 wa, 8.6 hi, 1.5 si, 0.0 st
KiB Mem : 5647768 total, 2244200 free, 2038516 used, 1365052 buff/cache
KiB Swap: 5097144 total, 3122360 free, 1974784 used. 2845420 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1991 root 20 0 1342808 61184 39656 S 3.6 1.1 0:30.71 ohasd.bin
7157 root 20 0 1247184 224812 103352 S 3.3 4.0 0:15.14 ologgerd
3875 grid rt 0 1235088 231020 112832 S 2.3 4.1 0:24.42 ocssd.bin
8529 root 20 0 2486540 78364 16896 S 1.7 1.4 0:25.72 java
2887 grid 20 0 945548 52124 30468 S 1.3 0.9 0:11.37 gipcd.bin
7606 root 20 0 1406860 93104 44576 S 1.3 1.6 0:51.89 crsd.bin
7695 grid 20 0 1446780 59336 46252 S 1.3 1.1 0:13.78 oraagent.bin
7705 root 20 0 1420224 42940 35612 S 1.3 0.8 0:13.86 orarootagent.bi
2745 grid 20 0 858180 38636 31508 S 0.7 0.7 0:08.35 evmd.bin
9160 oracle -2 0 1396280 7752 7508 S 0.7 0.1 0:06.72 ora_vktm_mes1
9239 oracle 20 0 1423788 39388 21780 S 0.7 0.7 0:03.61 ora_dia0_mes1
9435 oracle 20 0 1396712 8036 7568 S 0.7 0.1 0:05.08 ora_gcr0_mes1
7 root 20 0 0 0 0 I 0.3 0.0 0:00.21 kworker/u4:0-fl
9 root 20 0 0 0 0 S 0.3 0.0 0:03.42 ksoftirqd/0
10 root 20 0 0 0 0 I 0.3 0.0 0:04.65 rcu_sched
11 root rt 0 0 0 0 S 0.3 0.0 0:00.07 migration/0
16 root 20 0 0 0 0 S 0.3 0.0 0:02.00 ksoftirqd/1
2576 root 20 0 1431660 61904 45716 S 0.3 1.1 0:07.91 orarootagent.bi
2703 grid 20 0 1410304 43332 38748 S 0.3 0.8 0:07.18 oraagent.bin
2747 grid 20 0 425500 22764 21720 S 0.3 0.4 0:02.99 mdnsd.bin
2798 grid 20 0 1112404 30228 26232 S 0.3 0.5 0:03.99 gpnpd.bin
2867 grid 20 0 501684 26764 24056 S 0.3 0.5 0:03.83 evmlogger.bin
3817 root rt 0 1178704 149408 105868 S 0.3 2.6 0:04.21 cssdmonitor
3822 root -30 0 1203676 177944 105168 S 0.3 3.2 0:19.86 osysmond.bin
4218 root 20 0 163976 2764 2108 S 0.3 0.0 0:06.48 top
5458 grid 20 0 1568784 43540 39756 S 0.3 0.8 0:00.84 oracle_5458_+as
6940 root 20 0 988912 35496 29000 S 0.3 0.6 0:07.12 octssd.bin
7281 grid -2 0 1565440 15732 15564 S 0.3 0.3 0:07.28 asm_vktm_+asm1
7316 grid 20 0 1599340 64232 34616 S 0.3 1.1 0:05.54 asm_dia0_+asm1
7319 grid 20 0 1582708 43928 36804 S 0.3 0.8 0:03.26 asm_lmon_+asm1
7325 grid 20 0 1580288 35084 27188 S 0.3 0.6 0:02.81 asm_lmd0_+asm1