Linux下文本处理工具很丰富很强大，去重复行可用以下方法：
cat log
www.haiyun.me 192.168.1.1
www.haiyun.me 192.168.1.1
www.haiyun.me 192.168.1.2uniq log
sort -u log
uniq log
www.haiyun.me 192.168.1.1
www.haiyun.me 192.168.1.2使用awk按列删除重复行，也可按多列或整行操作。
awk '!i[$1]++' log
www.haiyun.me 192.168.1.1使用sed删除重复行：
sed '$!N; /^\(.*\)\n\1$/!P; D' log
www.haiyun.me 192.168.1.1
www.haiyun.me 192.168.1.2