海运的博客

vmstat是一个全面的性能分析工具，可以用来观察系统的进程、IO、内存、CPU使用情况，对优化系统有很大的帮助。

vmstat 2 2

参数说明：

procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0      0 362212 131608 314792    0    0     4    16  468   63  0  0 99  0  0
 0  0      0 362212 131608 314792    0    0     0     0  999   45  0  0 100  0  0
 0  0      0 362212 131608 314792    0    0     0     0 1007   65  0  0 100  0  0
procs:
r 正在运行或等待CPU的进程数
b 等待IO/内存等资源的进程数
memory:
swpd 虚拟内存的使用量
free 空闲的内存量
buff 块设备读写缓存
cache 文件系统读写缓存
SWAP:
si 从磁盘交换到内存的交换页数量，单位KB。
so 从内存交换到磁盘的交换页数量，单位KB。
IO:
bi 读取块设备的数量，单位块。
bo 写入块设备的数量，单位块。
System:
in 每秒的中断数，包括时钟中断。
cs 每秒的环境上下文切换次数。
CPU:
us 用户进程占用时间
sy 系统占用时间
id 闲置时间
wa IO等待时间

总结：

如果r大于3或4，且id小于%50，则CPU是瓶颈。
wa经常不等于0，b中的队列较大，则IO是瓶颈。
如bi bo长期不等于0，则内存较小。

iostat使用语法：

iostat [ -c | -d] [ -k ] [ -t ] [ -x [device] ] [ <interval> [ <count> ] ]

使用参数：

-c 显示CPU的使用情况
-d 显示磁盘的使用情况
-k 以K为单位输出
-m 以M为单位输出
-t 显示执行时间
-x 更为详细的输出
interval 指定间隔时间
count 指定统计次数

iostat应用示例：

iostat -x 2 2 #统计2次，间隔2秒
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           1.04    0.00    1.55    0.00    0.00   97.41

Device:         rrqm/s   wrqm/s   r/s   w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00    36.79  0.00  7.25     0.00   352.33    48.57     0.00    0.50   0.50   0.36
sda1              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda2              0.00    36.79  0.00  7.25     0.00   352.33    48.57     0.00    0.50   0.50   0.36
dm-0              0.00     0.00  0.00 44.04     0.00   352.33     8.00     0.04    0.86   0.08   0.36
dm-1              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
hdc               0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

iostat参数说明：

Blk_read/s：每秒钟块设备写入块的数量，每块一般是4096字节
Blk_wrtn/s ：每秒钟块设备读取块的数量
tps：每秒磁盘连续读次数和连续写次数之和
rrqm/s：每秒进行合并的读操作数目
wrqm/s：每秒进行合并的写操作数目
r/s：每秒完成读IO的次数
w/s：每秒完成写IO的次数
rsec/s：每秒读扇区数，每扇区512字节
wsec/s：每秒写扇区数，每扇区512字节
rkB/s：每秒读千字节数
wkB/s：每秒写千字节数
avgrq-sz：平均每次IO操作的数据大小（扇区），即(rsec/s+wsec/s)/(r/s+w/s)。
avgqu-sz：平均IO队列的长度
await：平均每次IO操作的等待时间，单位毫秒
svctm：平均每次IO操作的服务时间，单位毫秒
%util：一秒中有百分之多少的时间用于IO操作，即(r/s+w/s)*(svctm/1000)。

总结：

如果%util较大代表IO请求太多，硬盘可能存在瓶颈。
如果avctm比较接近await，说明IO几乎没等待时间。
如果await远大于avctm，说明IO队列太长，应用响应时间也变长。
avgqu-sz队列长度也可衡量IO负荷的指标，avgqu-sz是单位时间内的平均值。
其它还可参考vmstat结果b参数（等待资源的进程数）和wa参数（IO等待所占用CPU时间百分比）。

free语法：

free [-b|-k|-m|-g] [-l] [-o] [-t] [-s delay] [-c count] [-V]
-b,-k,-m,-g 以b/k/m/g为单位输出
-o 旧格式输出，无缓存行
-t 显示物理内存和虚拟内存之和
-s 刷新时间，不间断输出
-c 输出次数，配合-s使用

free使用：

free -m
             total       used       free     shared    buffers     cached
Mem:          1000        641        359          0        126        305
-/+ buffers/cache:        209        791
Swap:         1024          0       1024
total：内存总数1000M
used：已经使用的内存641M，包括缓存的内存数
free：空闲内存359M，不含缓存的内存数
buffers/cached：缓存的内存数
-buffers/cache：真实已用的内存数209M，即used-buffers-cached
+buffers/cache：真实可用的内存数791M，即free+buffers+cached
SWAP：虚拟内存数

内存缓存说明：

Buffers：用于缓存块设备读写的内存大小（buffer cache），使用先进先出策略。这部分缓存主要用于目录项、
inode等文件系统元数据。如果ls一个包含很多内容的目录，可以发现这个值明显增大。
Cache：用于缓存文件系统读写的内存大小（page cache），使用最少使用策略，这部分缓存主要用于打开的文件，
如果 cache 的值很大，说明缓存的文件较多，在进行读写时，命中率也将提高，如果频繁访问到的文件大部分被缓存，
则必然会减少磁盘的读IO。

清空内存缓存：

sync 
#先将缓存写入磁盘
echo 1 > /proc/sys/vm/drop_caches
#释放buffer cache
echo 2 > /proc/sys/vm/drop_caches
#释放page cache
echo 3 > /proc/sys/vm/drop_caches
#释放buffer cache和page cache

开启IO监控：

sysctl vm.block_dump=1
#或
echo 1 >/proc/sys/vm/block_dump 

开启后内核会将IO读写dump到日记，用dmesg查看：

dmesg

进程读写block到磁盘dm-0：

mysqld(7822): READ block 78196624 on dm-0
kjournald(529): WRITE block 211136 on dm-0
bash(8336): dirtied inode 7391146 (dmesg) on dm-0

统计当前占用IO最高的10个进程：

dmesg |awk -F: '{print $1}'|sort|uniq -c|sort -rn|head -n 10

top是linux下常用的监控程序，htop相当于其加强版，颜色显示不同参数，且支持鼠标操作。
如图：

安装支持组件

wget http://ftp.gnu.org/pub/gnu/ncurses/ncurses-5.9.tar.gz
tar xvfz ncurses-5.9.tar.gz
cd ncurses-5.9
./configure
make
make install

安装htop:

wget http://sourceforge.net/projects/htop/files/htop/0.9/htop-0.9.tar.gz
tar zxvf htop-0.9.tar.gz
cd htop-0.9
./configure
make