标签：awk

你是否曾经有过要计算一个非常大的数据(几百GB)的需求？或在里面搜索，或其它操作——一些无法并行的操作。数据专家们，我是在对你们说。你可能有一个4核或更多核的CPU，但我们合适的工具，例如 grep, bzip2, wc, awk, sed等等，都是单线程的，只能使用一个CPU内核。借用卡通人物Cartman的话，“如何我能使用这些内核”?要想让Linux命令使用所有的CPU内核，我们需要用到GNU Parallel命令，它让我们所有的CPU内核在单机内做神奇的map-reduce操作，当然，这还要借助很少用到的–pipes 参数(也叫做–spreadstdin)。这样，你的负载就会平均分配到各CPU上，真的。

在排除故障时，需要分析发生故障的原因，避免再次出现同样的问题，需要对日志进行分析，截取故障前后时间段的日志。通常用正则表达式来获取某段时间的内的日志，比较繁琐。可以通过awk方便简捷的实现。

分组求和awk ‘{s[$1] += $2}END{ for(i in s){ print i, s[i] } }‘ file1 > file2以第一列 为变量名  第一列为变量，将相同第一列的第二列数据进行累加打印出和.awk ‘{s[$1\" \"$2] += $3}END{ for(i in s){ print i, s[i] } }‘ file1 > file2以第一列和第二