awk使用手册：从入门到精通的文本处理指南

一、awk基础：语法结构与运行机制

1.1 基础语法结构

awk程序由模式（Pattern）和动作（Action）组成，基本格式为：pattern {action}。当输入行匹配模式时，执行对应的动作。例如：

awk '/error/ {print $0}' log.txt

此命令会输出所有包含”error”的行。若省略模式，则对所有行执行动作；若省略动作，默认打印匹配行。

1.2 执行方式

awk支持三种运行模式：

• 命令行模式：直接输入命令，适合简单任务

  awk '{print $1}' data.txt

• 脚本文件模式：将复杂逻辑写入.awk文件

  awk -f script.awk input.txt

• 管道输入模式：与其他命令组合使用

  cat data.txt | awk '{sum+=$1} END{print sum}'

1.3 字段处理机制

awk默认以空格/制表符分隔字段，通过$n访问第n列（$0表示整行）。内置变量NF记录字段数，NR记录行号。例如：

awk '{print "Line", NR, "has", NF, "fields"}' data.txt

二、核心功能详解

2.1 模式匹配

• 正则表达式：使用~运算符进行匹配

  awk '$2 ~ /^[0-9]+$/ {print $2}' data.txt  # 匹配第二列为数字的行

• 比较运算：支持数值/字符串比较

  awk '$3 > 100 && $4 == "active" {print $0}' data.txt

• 范围模式：指定行范围

  awk 'NR>=5 && NR<=10 {print}' data.txt

2.2 数据处理

• 算术运算：支持四则运算和数学函数

  awk '{total=$2+$3; avg=total/2; print avg}' data.txt

• 字符串操作：拼接、长度计算、子串提取

  awk '{name=$1" "$2; print "Full name:", length(name), "chars"}' names.txt

• 数组使用：关联数组实现高效统计

  awk '{count[$1]++} END{for (word in count) print word, count[word]}' words.txt

2.3 控制结构

• 条件语句：if-else结构

  awk '{if ($3 > 90) grade="A"; else if ($3 > 80) grade="B"; else grade="C"; print grade}' scores.txt

• 循环结构：while/for循环处理数组

  awk 'BEGIN{for (i=1; i<=5; i++) print "Square of", i, "is", i*i}'

三、实用场景解析

3.1 日志分析

统计Nginx访问日志中各状态码出现次数：

awk '{count[$9]++} END{for (code in count) print code, count[code]}' access.log

3.2 CSV文件处理

提取第二列大于100的记录，并输出指定字段：

awk -F',' '$2 > 100 {print "ID:",$1,"Value:",$2}' data.csv

3.3 系统监控

计算CPU使用率超过80%的进程数：

ps aux | awk '$3 > 80 {count++} END{print "High CPU processes:", count}'

四、高级特性

4.1 自定义函数

定义计算阶乘的函数：

awk 'function factorial(n) {
    if (n <= 1) return 1;
    else return n * factorial(n-1);
}
{print $1, "!", factorial($1)}' numbers.txt

4.2 多文件处理

同时处理多个文件，FILENAME变量记录当前文件名：

awk '{print FILENAME, NR, $0}' file1.txt file2.txt

4.3 格式化输出

使用printf实现精确格式控制：

awk '{printf "Name: %-10s Age: %3d Score: %5.2f\n", $1, $2, $3}' students.txt

五、性能优化建议

1. 字段访问优化：避免在循环中重复计算$n，可先赋值给变量
2. 正则表达式预编译：复杂模式可提取到BEGIN块中
3. 减少I/O操作：批量处理大文件比多次调用awk更高效
4. 使用内置函数：如length()、substr()等比自定义实现更快

六、常见问题解决方案

1. 字段分隔问题：指定分隔符使用-F选项

   awk -F':' '{print $1}' /etc/passwd

2. 浮点数精度：使用printf指定小数位数
3. 大文件处理：分块处理或结合sort/uniq预处理
4. 跨平台兼容：注意不同系统下awk版本的细微差异（建议使用gawk）

通过系统学习awk的语法结构、数据处理方法和实用技巧，开发者可以显著提升文本处理效率。建议从简单命令开始实践，逐步掌握复杂逻辑的实现，最终达到灵活运用awk解决各类文本处理问题的水平。