海运的博客

Nginx需配置日记格式为Apache日志格式，便于分析。
1.访问次数最多的前10个IP。

awk '{print $1}' www.haiyun.me.log|sort|uniq -c|sort -rn|head -n 10

2.访问次数最多的10个页面。

awk '{print $7}' www.haiyun.me.log|sort|uniq -c|sort -rn|head -n 10

3.访问最多的时间，取前十个。

awk '{print $4}' www.haiyun.me.log|cut -c 14-18|sort|uniq -c|sort -rn|head -n10

4.查看下载次数最多的文件，显示前10个。

awk '{print $7}' www.haiyun.me.log|awk -F '/' '{print $NF}'|sort|uniq -c|sort -rn|head -n 10
#如统计请求链接去除awk -F '/' '{print $NF}'|sort|

5.统计网站流量，以M为单位。

awk '{sum+=$10} END {print sum/1024/1024}' www.haiyun.me.log

6.统计IP平均流量、总流量。

awk 'BEGIN {print"ip average total"}{a[$1]+=$10;b[$1]++}END{for(i in a)print i,a[i]/1024/1024/b[i]"MB",\
a[i]/1024/1024"MB"}' www.haiyun.me.log |column -t

7.用sed统计特定时间内日志，配合以上使用awk分析。

sed -n '/10\/Feb\/2012:18:[0-9][0-9]:[0-9][0-9]/,$p' www.haiyun.me.log
#截取二月10号18点后所有日志
sed -n '/10\/Feb\/2012:18:[0-9][0-9]:[0-9][0-9]/,/10\/Feb\/2012:20:[0-9][0-9]:[0-9][0-9]/p' \
www.haiyun.me.log
#截取二月10号18点到20点之间日志

8.统计404或403最多的网址。

awk '$9 ~ /403/ {print $7}' www.haiyun.me.log|sort|uniq -c|sort -rn|head -n 80
awk '$9 ~ /404/ {print $7}' www.haiyun.me.log|sort|uniq -c|sort -rn|head -n 80

查看所有80端口的连接数

netstat -nat|grep -i  "80" |wc -l

对连接的IP按连接数量进行排序

netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n

查看TCP连接状态

netstat -nat |awk '{print $6}'|sort|uniq -c|sort -rn
netstat -an | awk '/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}'
netstat -an | awk '/^tcp/ {++state[$NF]}; END {for(key in state) print key,"\t",state[key]}'
netstat -an | awk '/^tcp/ {++arr[$NF]};END {for(k in arr) print k,"\t",arr[k]}'
netstat -an |awk '/^tcp/ {print $NF}'|sort|uniq -c|sort -rn
netstat -ant | awk '{print $NF}' | grep -v '[a-z]' | sort | uniq -c

查看80端口连接数最多的20个IP

netstat -anlp|grep 80|grep tcp|awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -nr|head -n20
netstat -ant |awk '/:80/{split($5,ip,":");++A[ip[1]]}END{for(i in A) print A[i],i}' |sort -rn|head -n20

用tcpdump嗅探80端口的访问看看谁最高

tcpdump -i eth0 -tnn dst port 80 -c 1000

查找较多time_wait连接

netstat -n|grep TIME_WAIT|awk '{print $5}'|sort|uniq -c|sort -rn|head -n20

查找较多的SYN连接

netstat -an | grep SYN | awk '{print $5}' | awk -F: '{print $1}' | sort | uniq -c | sort -nr | more

首先安装Vsftpd，本文以Yum方式安装，当然也可以源码方式编译安装Vsftpd，感觉没那个必要。

yum -y install vsftpd

备份默认配置文件

cd /etc/vsftpd
cp vsftpd.conf vsftpd.conf.back
vim vsftpd.conf

添加如下配置：

listen=YES
hide_ids=YES
tcp_wrappers=NO
dirmessage_enable=NO
utf8_filesystem=YES
use_localtime=YES
xferlog_enable=YES
xferlog_std_format=YES
xferlog_file=/run/log/xferlog 
dual_log_enable=YES
vsftpd_log_file=/run/log/vsftpd.log
log_ftp_protocol=YES
#pam认证配置/etc/pam.d/vsftpd_db
pam_service_name=vsftpd_db
#处理ftp读写任务的vsftpd子进程运行用户
nopriv_user=www-data
#开启被动模式
pasv_enable=YES
pasv_min_port=65400
pasv_max_port=65410

#ubuntu使用本地用户shell为/usr/sbin/nologin时要将/usr/sbin/nologin添加到/etc/shells
#或去除/etc/pam.d/vsftpd内auth    required        pam_shells.so
local_umask=022
local_enable=YES
write_enable=YES
chroot_local_user=YES
chroot_list_enable=NO
allow_writeable_chroot=YES
userlist_enable=YES
userlist_deny=NO
#可登录的本地用户或虚拟用户列表
userlist_file=/etc/vsftpd/allow_user
#非匿名用户使用宿主用户
guest_enable=YES
#读写文件宿主用户
guest_username=www-data
#虚拟用户使用宿主用户权限
virtual_use_local_privs=YES
local_root=/webdav/
#user_sub_token=$USER
#local_root=/webdav/$USER
#虚拟用户配置文件目录,如user1配置文件/etc/vsftpd/vusers/user1
#user_config_dir=/etc/gfw/vsftpd/vusers

#如同时开启local和userlist_enable白名单，要将anonymous用户添加进去，不然不能匿名登录
anonymous_enable=YES
no_anon_password=YES
#匿名访问目录
anon_root=/mnt/
#匿名用户上传/删除/重命名权限
anon_upload_enable=NO
anon_mkdir_write_enable=NO
anon_other_write_enable=NO
anon_umask=022

虚拟用户密码使用db5格式：

apt install db-util
cat >> /etc/vsftpd/user.txt << EOF
testuser
password
EOF
db_load -T -t hash -f user.txt user.db
cat >> /etc/pam.d/vsftpd_db << EOF
#注意user文件不带后缀.db，不然会提示找不到文件
auth       required     pam_userdb.so db=/etc/vsftpd/user
account    required     pam_userdb.so db=/etc/vsftpd/user
session    required     pam_loginuid.so
EOF

使用htpasswd验证密码：

#使用openssl生成密码：echo 123456|openssl passwd -6 -in -
apt install htpasswd libpam-pwdfile
htpasswd -b -d /etc/gfw/vsftpd/user.htpasswd testuser password
cat >> /etc/pam.d/vsftpd_db << EOF
auth required pam_pwdfile.so pwdfile /etc/vsftpd/user.htpasswd
account required pam_permit.so
EOF

如有开启iptalbes防火墙，放行Vsftpd端口：

iptables -A INPUT -p tcp   --dport 21 -j ACCEPT
iptables -A INPUT -p tcp   --dport 65400:65410 -j ACCEPT

启动Vsftpd，配置为开机自启动。

/etc/init.d/vsftpd start
chkconfig vsftpd on

添加用户：

adduser test -s /sbin/nologin -d /home/test
passwd test

首先用iostat查看各个磁盘读写情况，虚拟机磁盘是以dm-id为名显示的。

iostat 2 2 #取样两次，每次相隔2秒

查找tps大于20的vm，并按大小排序

iostat 2 2|grep ^dm-|awk -F"[ ]+|[-]" '{if($3>20){print $2"\t"$3}}'|sort -rnk 2
#第一列为磁盘ID，第二列为当前tps

根据磁盘ID查找相应的虚拟机

#!/bin/bash
#根据iostat结果ID找出相应VM
#执行sh file.sh 编号
case $1 in
*)
  id=`ls -l /dev/mapper/|awk '{if ($6=="'$*'"){print $NF}}'|awk -F-- '{print $NF}'`;xe vdi-list|grep -A 1 $id
;;
esac   

1.通过vif列表直接获取

xe vm-vif-list|grep -B 2 "mac"

2.通过vm uuid获取

vmid=`xe vif-list MAC=be:c1:46:fd:4e:b7|grep vm-uuid|awk '{print $4}'`;xe vm-list|grep $vmid -A 1