awk 命令

用途

在文件中查找与模式匹配的行并在这些行上执行指定的操作。

语法

awk [ -u ] [ -F Ere ] [ -v assignment ] ... { -f ProgramFile | 'Program' } [[ File ... | assignment ...]] ...

描述

awk 命令利用一组用户提供的指令来将一组文件与用户提供的扩展正则表达式比较，一次一行。 然后在任何与扩展正则表达式匹配的行上执行操作。

awk 命令的模式搜索比 grep 命令的搜索更常用，且它允许用户在输入文本行上执行多个操作。 awk 命令编程语言不需要编译，并允许用户使用变量、数字函数、字符串函数和逻辑运算符。

awk 命令受到 LANG、LC_ALL、 LC_COLLATE、LC_CTYPE、LC_MESSAGES 、LC_NUMERIC、NLSPATH 和 PATH 环境变量的影响。

本章中包括以下主题：

• awk 命令的输入
• awk 命令的输出
• 通过记录和字段的文件处理
• awk 命令编程语言
  • 模式
  • 操作
  • 变量
  • 特殊变量
• 标志
• 示例

awk 命令的输入

awk 命令采取两种类型的输入：输入文本文件和程序指令。

输入文本文件

搜索和操作在输入文本文件上执行。 文件如下指定：

• 在命令行指定 File 变量。
• 修改特殊变量 ARGV 和 ARGC。
• 在未提供 File 变量的情况下提供标准输入。

如果用 File 变量指定多个文件，那么文件以指定的顺序处理。

程序指示信息

用户提供的指令控制 awk 命令的操作。 这些指令来自命令行的‘Program’变量或来自用 -f 标志和 ProgramFile 变量一起指定的文件。 如果指定多个程序文件，这些文件按指定顺序并置，且使用指令的生成的顺序。

awk 命令的输出

awk 命令从输入文本文件中的数据产生三种类型的输出：

• 选定的数据可以打印至标准输出，此输出完全同于输入文件。
• 输入文件的选定部分可以更改。
• 选定数据可以更改并可打印至标准输出，此输出可以同于或不同于输入文件的内容。

可以在同一个文件上执行所有三种类型的输出。 awk 命令识别的编程语言允许用户重定向输出。

通过记录和字段的文件处理

文件以下列方式处理：

1. awk 命令扫描它的指令，并执行任何指定为在读取输入文件前发生的操作。

   awk 编程语言中的 BEGIN 语句允许用户指定在读取第一个记录前要执行的一组指令。 这对于初始化特殊变量特别有用。

2. 从输入文件读取一个记录。

   记录是由记录分隔符隔开的一组数据。 记录分隔符的缺省值是换行符，它使文件中的每一行成为一个单独的记录。 记录分隔符可以通过设置 RS 特殊变量来更改。

3. 将针对 awk 命令的指示信息所指定的每种模式比较该记录。

   命令指令可以指定应比较记录内的特定字段。 缺省情况下，字段由空白区（空格或跳格）隔开。 每个字段由一个字段变量表示。 记录中的第一个字段指定为 $1 变量，第二个字段指定为 $2 变量，以此类推。 整个记录指定为 $0 变量。 可通过在命令行上使用 -F 标志或通过设置 外勤人员 特殊变量来更改字段分隔符。 可以将 外勤人员 特殊变量设置为以下值 :blank ， single character 或 扩展正则表达式。

4. 如果一个记录与一个模式相匹配，那么任何与该模式相关的操作都在该记录上执行。
5. 在记录和每个模式比较且执行了所有指定操作以后，从输入读取下一个记录；在从输入文件读取所有的记录之前，该进程重复。
6. 如果已经指定了多个输入文件，那么下一个文件打开，且在读取所有的输入文件之前，该进程重复。
7. 在读取了最后一个文件中的最后一个记录后， awk 命令执行任何指定为在输入处理后发生的指令。

   awk 编程语言中的 END 语句允许用户指定在读取最后一个记录后要执行的操作。 这对于发送有关 awk 命令完成了什么工作的消息特别有用。

awk 命令编程语言

awk 命令编程语言由以下格式的语句构成：

模式 { 操作 }

如果一个记录与指定模式相匹配，或包含与该模式匹配的字段，那么执行相关的操作。 可以指定没有操作的模式，这种情况下，包含该模式的整行写至标准输出。 为每个输入记录执行指定的没有模式的操作。

模式

在 awk 命令语言语法中使用四种类型的模式：

• 正则表达式
• 关系表达式
• 模式组合
• BEGIN 和 END 模式.

正则表达式

awk 命令使用的扩展正则表达式类似于 grep 或 egrep 命令使用的表达式。 扩展正则表达式的最简单的形式就是包括在斜杠中的一串字符。 例如，假定有一个文件testfile具有以下内容:

smawley, andy
smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

输入以下一行命令：

awk '/smi/' testfile

将打印到所有包含出现字符串的记录的标准输出smi。在此示例中，程序'/smi/'对于 奥克 命令是不执行任何操作的模式。 输出为：

smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

以下特殊字符用于形成扩展正则表达式：

awk '/smith+ern/' testfile

smithern, harry
smithhern, anne

awk '/smith?/' testfile

smith, alan
smithern, harry
smithhern, anne
smitters, alexis

awk '/allen 
| 
alan /' testfile

smiley, allen
smith, alan

awk '/a(ll)?(nn)?e/' testfile

smiley, allen
smithhern, anne

awk '/l{2}/' testfile

smiley, allen

awk '/t{2,}/' testfile

smitters, alexis

awk '/er{1, 2}/' testfile

smithern, harry
smithern, anne
smitters, alexis

awk '/sm[a-h]/' testfile

smawley, andy

awk '/sm[^a-h]/' testfile

smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

awk '$1 ~ /n/' testfile

smithern, harry
smithhern, anne

awk '$2 ~ /^h/' testfile

smithern, harry

awk '$2 ~ /y$/' testfile

smawley, andy
smithern, harry

awk '/a..e/' testfile

smawley, andy
smiley, allen
smithhern, anne

awk '/a.*e/' testfile

smawley, andy
smiley, allen
smithhern, anne
smitters, alexis

/a\/\//

识别转义序列

awk 命令识别大多数用于 C 语言约定中的转义序列，以及 awk 命令本身用作特殊字符的几个转义序列。 转义序列是：

注：除了在 gsub、match、split 和 sub 内置函数中，扩展正则表达式的匹配都基于输入记录。 记录分隔符字符（缺省情况下为换行符）不能嵌套在表达式中，且没与记录分隔符字符匹配的表达式。 如果记录分隔符不是换行符，那么可与换行符匹配。 在指定的四个内置函数中，匹配基于文本字符串，且任何字符（包含记录分隔符）可以嵌套在模式中，这样模式与适当的字符相匹配。 然而，用 awk 命令进行的所有正则表达式匹配中，在模式使用一个或多个 NULL（空）字符将生成未定义的结果。

关系表达式

The relational operators < (less than), > (greater than), <= (less than or equal to), >= (greater than or equal to), = = (equal to), and ! = (not equal to) can be used to form patterns. 例如，模式：

$1 < $4

将与第一个字段小于第四个字段的记录匹配。 关系运算符还和字符串值一起使用。 例如：

$1 =! "q"

匹配第一个字段不是以下字段的所有记录:q. 字符串值也可以在整理值上匹配。 例如：

$1 >= "d"

匹配第一个字段以以下字符开头的所有记录:a,b,c，或d如果未提供其他信息，那么会将字段变量作为字符串值进行比较。

模式组合

可以使用三种选项组合模式：

• 范围由两个以 a ， (逗号) 分隔的模式指定。 操作在每个以匹配第一个模式的记录开始的每个记录上执行，并通过匹配第二个模式的记录（包含此记录）继续。 例如：

  /begin/,/end/

  匹配包含字符串的记录begin以及它与包含字符串的记录之间的每条记录end，包括包含字符串的记录end.
• 括号 ( ) 将模式组合在一起。
• 布尔运算符 ||（或）&&（和）以及 ! （不）将模式组合成如果它们求值为真则匹配，否则不匹配的表达式。 例如，模式：

  $1 == "al" && $2 == "123"

  匹配第一个字段所在的记录al第二个字段是123.

BEGIN 和 END 模式

用 BEGIN 模式指定的操作在读取任何输入之前执行。 用 END 模式指定的操作在读取了所有输入后执行。 允许多个 BEGIN 和 END 模式，并以指定的顺序处理它们。 在程序语句中 END 模式可以在 BEGIN 模式之前。 如果程序仅由 BEGIN 语句构成，那么执行操作且不读取输入。 如果程序仅由 END 语句构成，那么在任何操作执行前读取所有输入。

操作

有多种类型的操作语句：

• 操作语句
• 内置函数
• 用户定义的函数
• 条件语句
• 输出操作

操作语句

操作语句括在 { } (花括号) 中。 如果语句指定为没有模式，那么它们在每个记录上执行。 在括号里可以指定多个操作，但操作间必须以换行符或 ;（分号）分隔，且语句以它们出现的顺序处理。 操作语句包含：

内置函数

awk 命令语言使用算术函数、字符串函数和一般函数。 如果打算编写一个文件，且稍后在同一个程序里读取它，那么 close 子例程语句是必需的。

算术函数

以下算术函数执行与 C 语言中名称相同的子例程相同的操作：

字符串函数

字符串函数是：

常规函数

一般函数是：

注：所有 getline 函数的格式对于成功输入返回 1，对于文件结束返回零，对于错误返回 -1。

用户定义的函数

用户定义的函数以下列格式说明：

function Name (Parameter, Parameter,...)  { Statements }

函数可以指向 awk 命令程序中的任何位置，且它的使用可以优先于它的定义。 此函数的作用域是全局的。

函数参数可以是标量或数组。 参数名称对函数而言是本地的；所有其他变量名称都是全局的。 同一个名称不应用作不同的实体；例如，一个参数名称不能用作函数名称又用作特殊变量。 具有全局作用域的变量不应共享一个函数的名称。 同个作用域中的标量和数组不应具有同一个名称。

函数定义中的参数数量不必和调用函数时使用的参数数量匹配。 多余的形式参数可用作本地变量。 额外的标量参数初始化后具有等同于空字符串和数字值为 0（零）的字符串值；额外的数组参数初始化为空数组。

当调用函数时，函数名称和左括号之间没有空格。 函数调用可以是嵌套的或循环的。 从任何嵌套的或循环函数函数调用返回时，所有调用函数的参数的值应保持不变，除了引用传送的数组参数。 return 语句可用于返回一个值。

在函数定义内，在左 { ( 花括号 ) 之前和右 } ( 花括号 ) 之后的换行符是可选的。

函数定义的一个示例是：

function average ( g,n) 
  {
        for (i in g)
           sum=sum+g[i]
        avg=sum/n
        return avg
  } 

函数平均值被传递到一个数组，g，还有一个变量，n，其中包含数组中的元素数。 然后函数获得一个平均值并返回它。

条件语句

awk 命令编程语言中的大部分条件语句和 C 编程语言中的条件语句具有相同的语法和功能。 所有条件语句允许使用｛ } (花括号) 将语句组合在一起。 可以在条件语句的表达式部分和语句部分之间使用可选的换行符，且换行符或 ;（分号）用于隔离 { } (花括号) 中的多个语句。 C 语言中的六种条件语句是：

awk 命令编程语言中的五种不遵循 C 语言规则的条件语句是：

for (i in g)
   delete g[i];

输出语句

awk 命令编程语言的两种输出语句是：

注：如果 Expression 参数为 Redirection 参数指定一个路径名称，那么 Expression 参数将括在双引号中以确保将它当作字符串对待。

变量

变量可以是标量、字段变量、数组或特殊变量。 变量名称不能以数字开始。

变量可仅用于引用。 除了函数参数以外，它们没有明确说明。 未初始化的标量变量和数组元素具有一个为 0（零）的数字值和一个为空字符串（" "）的字符串值。

根据上下文，变量呈现出数字或字符串值。 每个变量可以具有数字值和/或字符串值。 例如：

x = "4" + "8"

分配值12到变量x. 对于字符串常量，表达式应括在 "" 中 (双引号) 标记。

数字和字符串间没有显式转换。 要促使将表达式当作一个数字，向它添加 0（零）。 要促使将表达式当作一个字符串，那么添加一个空字符串（" "）。

字段变量 (Field Variables)

字段变量由 $（美元符号）后跟一个数字或数字表达式来表示。 记录中的第一个字段指定为 $1 变量，第二个字段指定为 $2，以次类推。 $0 字段变量指定给整个记录。 新字段变量可以通过指定一个值给它们来创建。 将一个值指定给不存在的字段（即任何大于 $NF 字段变量的当前值的字段）将促使创建任何干扰字段（指定为空字符串），增加 NF 特殊变量的值，并促使重新计算 $0 记录变量。 新字段由当前字段分隔符（FS 特殊变量的值）隔开。 空格和跳格是缺省字段分隔符。 要更改字段分隔符，请使用 -F 标志或 在 awk 命令程序中为 FS 特殊变量指定另一个值。

数组

数组初始为空且它们大小可动态更改。 数组由一个变量和在 [ ]（方括号）中的下标来表示。 下标或元素标识符可以是几个字符串，它们提供了一种相关数组能力。 例如，程序：

/red/  { x["red"]++ }
/green/ { y["green"]++ }

两个计数的增量red柜台和green计数器。

数组可以用多个下标来建立索引，类似于一些编程语言中的多维数组。 因为 awk 命令的编程数组实际上是一维的，通过并置各独立表达式的字符串值（每个表达式由 SUBSEP 环境变量的值隔开）来将以逗号隔开的下标转换为单个字符串。 所以，以下两个索引操作是等同的：

x[expr1, expr2,...exprn]

和

x[expr1SUBSEPexpr2SUBSEP...SUBSEPexprn]

当使用 in 运算符时，一个多维 Index 值应包含在圆括号之中。 除了 in 运算符，任何对不存在数组元素的引用将自动创建该元素。

特殊变量

以下变量对于 awk 命令具有特殊含义：

标志

退出状态

本命令返回以下退出值：

您可以通过使用 退出 [ 表达式 ] 条件语句来改变程序中的退出状态。

示例

1. 要显示长于 72 个字符的文件的行，请输入：

   awk  'length  >72'  chapter1

   这将选择以下项的每一行:chapter1长度超过 72 个字符的文件，并将这些行写入标准输出，因为未指定 行动 。 制表符以 1 个字符计数。
2. 显示单词之间的所有行 start和stop,包含 "start"和 "stop",请输入：

   awk  '/start/,/stop/'  chapter1

3. 要运行 奥克 命令程序，sum2.awk,处理文件，chapter1，请输入:

   awk  -f  sum2.awk  chapter1

   以下程序，sum2.awk计算输入文件的第二列中的数字之和和和平均值，chapter1:

       {
          sum += $2
       }
   END {
          print "Sum: ", sum;
          print "Average:", sum/NR;
       }

   第一个操作将每行的第二个字段的值添加到变量中sum. 首次引用时，所有变量都初始化为数字值 0 (零)。 第二个操作前的模式 END 使那些操作在读取了所有输入文件之后才执行。 用于计算平均值的 NR 特殊变量是一个指定已经读取的记录的个数的特殊变量。
4. 要以相反顺序打印前两个字段，请输入：

   awk '{ print $2, $1 }' chapter1

5. 以下 awk 程序

   awk -f sum3.awk chapter2

   打印文件的前两个字段chapter2以逗号和/或空格和制表符分隔的输入字段，然后将第一列相加，并打印总和和平均值:

   BEGIN  {FS = ",|[ \t]+"}
          {print $1, $2}
          {s += $1}
   END    {print "sum is",s,"average is", s/NR }