海运的博客

Curl是款功能很强大的www客户端，之前介绍过用curl上传下载FTP文件，本次记录下curl用于调试web服务器常用的命令。
1.获取服务器head信息：

curl -I https://www.haiyun.me

2.测试服务器网页压缩，如返回乱码即压缩。

curl  -H  "Accept-Encoding: gzip" https://www.haiyun.me

3.查看请求及返回head信息，如服务器支持压缩会返回Content-Encoding: gzip。

curl -v -I -H  "Accept-Encoding: gzip" https://www.haiyun.me

4.测试服务器虚拟主机：

curl -L -H "Host: www.haiyun.me" http://192.168.1.2/

5.测试HTTP性能：

curl -so /dev/null -w "%{time_namelookup} %{time_connect} %{time_redirect} %{time_pretransfer} \
%{time_starttransfer} %{time_total}\n" www.haiyun.me

6.测试服务器KeepAlive：

curl -v -I -H "Keep-Alive: 60" -H "Connection: keep-alive" www.haiyun.me www.haiyun.me

7.测试Proxy：

curl -I --proxy 192.168.1.1:7070 www.haiyun.me
curl -I --socks5 192.168.1.1:7070 www.haiyun.me

8.指定域名对应ip地址，相对于host支持https sni。

curl --resolve www.haiyun.me:443:1.2.3.4 https://www.haiyun.me/

通过服务器的head头可以得到服务器的很多信息，这给服务器安全带来很大隐患，如：

curl -I https://www.haiyun.me
HTTP/1.1 301 Moved Permanently
Server: nginx/1.0.15
Date: Fri, 10 Feb 2012 10:43:42 GMT
Content-Type: text/html
Connection: keep-alive
X-Powered-By: PHP/5.2.17p1
location: forum.php

Nginx可以编译添加第三方模块more_set_headers来自定义或清除相关head信息。

cd /usr/local/src/
wget http://nginx.org/download/nginx-1.0.15.tar.gz
tar zxvf nginx-1.0.15.tar.gz
cd nginx-1.0.15
wget -O header.zip --no-check-certificate https://github.com/agentzh/headers-more-nginx-module/zipball/v0.17rc1
unzip header.zip 
./configure --user=www --group=www --prefix=/usr/local/nginx --with-http_stub_status_module --with-\
http_ssl_module --with-http_gzip_static_module --add-module=./agentzh-headers-more-nginx-module-3580526/
make && make install

应用示例，清除服务器及php信息，在配置文件http段添加以下：

more_clear_headers "X-Powered-By:";
more_clear_headers "Server:";

重新加载配置文件：

/etc/init.d/nginx reload

查看当前head头信息：

curl -I https://www.haiyun.me
HTTP/1.1 301 Moved Permanently
Date: Fri, 10 Feb 2012 10:58:38 GMT
Content-Type: text/html
Connection: keep-alive
location: forum.php

现在nginx及php信息都没了，当然也可自定义为其它信息。

查看系统最大文件数限制：

cat /proc/sys/fs/file-max 

查看系统当前已打开的文件数：

cat /proc/sys/fs/file-nr 

调整系统最大文件数限制：

echo "fs.file-max=65535" >> /etc/sysctl.conf
sysctl -p

查看特定进程限制：

cat /proc/1526/limits

查看指定进程已打开的文件数：

ls /proc/1526/fd/|wc -l

修改进程方面限制：

ulimit -HSn 65535 #只对当前用户有效

修改永久限制：

#centos6 /etc/security/limits.d/90-nproc.conf 
cat >>/etc/security/limits.conf<<EOF 
* soft nproc 65535
* hard nproc 65535
* soft nofile 65535
* hard nofile 65535
EOF

如不能保持：

cat >> /etc/pam.d/login <<EOF
session required /lib/security/pam_limits.so
EOF

Centos7下修改/etc/security/limits.conf文件只在用户登录后打开的进程有效，系统服务或通过rc.local启动的无效，系统服务修改文件/usr/lib/systemd/system/SOME_SERVICE.service添加：

[Service]
LimitNOFILE=65535

rc.local启动进程前添加：

ulimit -SHn 65535

awk常用内置变量：

FS 输入分隔符，等同于-F
OFS 输出分隔符
NF 列数
FNR 输入文件的记录数
NR 行数
RS 输入记录分隔符
ORS 输出记录分隔符
FIRENAME 当前处理的文件名

Awk应用举例：

#https://www.haiyun.me
awk 'BEGIN {num=5} {FS=":"} $3>num {OFS="-";print NF,NR,FNR "\t" $1 "\t" $2 "\t" $3 "\t" $NF} END{print FILENAME}' /etc/passwd

7-13-13    games    x    12    /sbin/nologin
7-14-14    gopher    x    13    /sbin/nologin
7-15-15    ftp    x    14    /sbin/nologin
7-16-16    nobody    x    99    /sbin/nologin
7-17-17    nscd    x    28    /sbin/nologin
7-18-18    vcsa    x    69    /sbin/nologin
7-19-19    pcap    x    77    /sbin/nologin

如果服务器访问量较大，Nginx日志占用空间也是个很大的问题，也不可能每天都手工清除日志，久而久之硬盘空间。。。
此脚本用于每天定时切割日记，备份30天内的日志数据备查，并删除30前备份的数据。

#/bin/bash
#Create by https://www.haiyun.me
log_path="/home/wwwlogs"
mkdir -p $log_path/$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")/$(date -d "yesterday" +"%d")  
for logname in $(ls /home/wwwlogs/*.log |awk -F/ '{print $NF}')
do
         mv $log_path/$logname $log_path/$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")/$(date -d "yesterday" +"%d")/$logname
 done
kill -USR1 `cat /usr/local/nginx/logs/nginx.pid`
find $log_path -type d -mtime +30 -exec rm {} \;

将此脚本添加到计划任务：

echo "30 1 * * * sh /path/file.sh" > /etc/cron.d/nginx
#每天凌晨1点30执行任务