#删除当前目录小于1kb的文件
ls -l | awk '{if($5<=1024){print $9;}}'| xargs rm

awk命令

awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息

awk处理过程: 依次对每一行进行处理，然后输出

awk命令形式:

• awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file
• [-F|-f|-v] 大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value
• ''      :  引用代码块
• BEGIN 初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符
• // 匹配代码块，可以是字符串或正则表达式
• {}           命令代码块，包含一条或多条命令
• ； 多条命令使用分号分隔
• END 结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息

要点：

• $0           表示整个当前行
• $1           每行第一个字段
• NF          字段数量变量
• NR          每行的记录号，多文件记录递增
• FNR        与NR类似，不过多文件记录不递增，每个文件都从1开始
• \t             制表符
• \n           换行符
• FS           BEGIN时定义分隔符
• RS        输入的记录分隔符， 默认为换行符(即文本是按一行一行输入)
• ~             匹配，与==相比不是精确比较
• !~           不匹配，不精确比较
• ==         等于，必须全部相等，精确比较
• !=           不等于，精确比较
• &&　     逻辑与
• ||         逻辑或
• +            匹配时表示1个或1个以上
• /[0-9][0-9]+/   两个或两个以上数字
• /[0-9][0-9]*/    一个或一个以上数字
• FILENAME 文件名
• OFS       输出字段分隔符， 默认也是空格，可以改为制表符等
• ORS      输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕
• -F'[:#/]'   定义三个分隔符
• print awk打印指定内容的主要命令

示例：

#按冒号分割，并打印第1、2列数据且使用制表符分割
awk  -F: '{print $1,$2}' OFS="\t" /etc/passwd

#正则匹配
#//纯字符匹配 !//纯字符不匹配   ~//字段值匹配    !~//字段值不匹~/a|b/字段值匹配a或b
#输出包含www字符串用户，等价代码
awk '/www/' /etc/passwd
awk '/www/{print }' /etc/passwd
awk '/www/{print $0}' /etc/passwd
#不包含www
awk '!/www/{print $0}' /etc/passwd

#匹配按冒号分割，第二段包含Server的
$ awk -F: '$2~/Server/{print $2}' /etc/passwd

#if语句，写在{}中.匹配到第一列为_www，则打印第三列
awk -F":" '{if($1=="_www") print $3}' /etc/passwd

#while语句
awk -F: 'BEGIN{i=2} {while(i<NF) print NF,$i,i++}' /etc/passwd 

#数组
netstat -an|awk 'NR!=1{a[$6]++} END{for (i in a) print i,"\t",a[i]}'

#应用：
#统计/home目录下不同用户的普通文件的总数是多少
ls -l|awk 'NR!=1 && !/^d/{sum[$3]++} END{for (i in sum) printf "%-6s %-5s %-3s \n",i," ",sum[i]}' 

#统计/home目录下不同用户的普通文件的大小总size是多少？
ls -l|awk 'NR!=1 && !/^d/{sum[$3]+=$5} END{for (i in sum) printf "%-6s %-5s %-3s %-2s \n",i," ",sum[i]/1024/1024,"MB"}'

#统计netstat -anp 状态为LISTEN和CONNECT的连接数量分别是多少
netstat -anp|awk '$6~/LISTEN|CONNECTED/{sum[$6]++} END{for (i in sum) printf "%-10s %-6s %-3s \n", i," ",sum[i]}'
 
#删除temp文件的重复行
awk '!($0 in array) { array[$0]; print }' temp
 
#查看最长使用的10个unix命令
awk '{print $1}' ~/.bash_history | sort | uniq -c | sort -rn | head -n 10
 
#查看机器的ip列表
ifconfig -a | awk '/Bcast/{print $2}' | cut -c 5-19
 
#查看机器的每个远程链接机器的连接数
netstat -antu | awk '$5 ~ /[0-9]:/{split($5, a, ":"); ips[a[1]]++} END {for (ip in ips) print ips[ip], ip | "sort -k1 -nr"}'
 
#查看某个进程打开的socket数量
ps aux | grep [process] | awk '{print $2}' | xargs -I % ls /proc/%/fd | wc -l
 
#查看无线网络的ip
sudo ifconfig wlan0 | grep inet | awk 'NR==1 {print $2}' | cut -c 6-
 
#批量重命名文件
find . -name '*.jpg' | awk 'BEGIN{ a=0 }{ printf "mv %s name%01d.jpg\n", $0, a++ }' | bash
 
#查看某个用户打开的文件句柄列表
for x in `ps -u 500 u | grep java | awk '{ print $2 }'`;do ls /proc/$x/fd|wc -l;done
 
#计算文件temp的第一列的值的和
awk '{s+=$1}END{print s}' temp
 
#查看最常用的命令和使用次数
history | awk '{if ($2 == "sudo") a[$3]++; else a[$2]++}END{for(i in a){print a[i] " " i}}' |  sort -rn | head
 
#查找某个时间戳的文件列表
cp -p `ls -l | awk '/Apr 14/ {print $NF}'` /usr/users/backup_dir
 
#格式化输出当前的进程信息
ps -ef | awk -v OFS="\n" '{ for (i=8;i<=NF;i++) line = (line ? line FS : "") $i; print NR ":", $1, $2, $7, line, ""; line = "" }'

#查看输入数据的特定位置的单个字符
echo "abcdefg"|awk 'BEGIN {FS="''"} {print $2}'

#打印行号
ls | awk '{print NR "\t" $0}'

#打印当前的ssh 客户端
netstat -tn | awk '($4 ~ /:22\s*/) && ($6 ~ /^EST/) {print substr($5, 0, index($5,":"))}'

#打印文件第一列不同值的行
awk '!array[$1]++' file.txt

#打印第二列唯一值
awk '{ a[$2]++ } END { for (b in a) { print b } }' file

#查看系统所有分区
awk '{if ($NF ~ "^[a-zA-Z].*[0-9]$" && $NF !~ "c[0-9]+d[0-9]+$" && $NF !~ "^loop.*") print "/dev/"$NF}'  /proc/partitions

#查看2到100所有质数
for num in `seq 2 100`;do if [ `factor $num|awk '{print $2}'` == $num ];then echo -n "$num ";fi done;echo

#查看第3到第6行
awk 'NR >= 3 && NR <= 6' /path/to/file
 
#逆序查看文件
awk '{a[i++]=$0} END {for (j=i-1; j>=0;) print a[j--] }'
 
#打印99乘法表
seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'