comando awk

Propósito

Encontra linhas em arquivos que correspondem a um padrão e executa ações especificadas nessas linhas.

Sintaxe

awk [ -u ] [ -F Ere ] [ -v Designação ] ... { -f ProgramArquivo | 'Programa' } [ [ Arquivo ... | Designação ... ] ] ...

Descrição

O comando awk usa um conjunto de instruções fornecidas pelo usuário para comparar um conjunto de arquivos, uma linha por vez, para estenderem as expressões regulares fornecidas pelo usuário. Em seguida, as ações são executadas mediante qualquer linha que corresponda às expressões regulares estendidas.

O padrão em busca do comando awk é mais geral do que o do comando grep , e permite que o usuário realize diversas ações em linhas de texto de entrada. A linguagem de programação de comandos awk não requer compilação, e permite que o usuário utilize variáveis, funções numéricas, funções string e operadoras lógicas.

O comando awk é afetado pelas variáveis de ambiente LANG, LC_ALL, LC_COLLATE, LC_CTYPE, LC_MENSAGENS, LC_NUMÉRICO, NLSPATHe PATH .

Os tópicos a seguir são abordados neste artigo:

• Entrada para o Comando awk
• Saída para o Comando awk
• Processamento de Arquivos com Registros e Campos
• Linguagem de Programação de Comando awk
  • Padrões
  • Ações
  • Variáveis
  • Variáveis Especiais
• Sinalizações
• Exemplos

Entrada para o Comando awk

O comando awk leva dois tipos de entrada: arquivos de texto de entrada e instruções do programa.

Arquivos de Texto de Entrada

Pesquisa e ações são executadas em arquivos de texto de entrada. Os arquivos são especificados por:

• Especificando a variável Arquivo na linha de comando.
• Modificando as variáveis especiais ARGV e ARGC.
• Fornecendo entrada padrão na ausência da variável Arquivo .

Se vários arquivos forem especificados com a variável Arquivo , os arquivos serão processados na ordem especificada.

Instruções Do Programa

Instruções fornecidas pelo usuário controlam as ações do comando awk . Essas instruções são provenientes da variável ` Program' na linha de comandos ou de um arquivo especificado pelo sinalizador -f junto com a variável ProgramFile Se vários arquivos de programas forem especificados, os arquivos são concatenados na ordem especificada e a ordem resultante de instruções é utilizada.

Saída para o Comando awk

O comando awk produz três tipos de saída a partir dos dados dentro do arquivo de texto de entrada:

• Os dados selecionados podem ser impressos para a saída padrão, sem alteração no arquivo de entrada.
• As porções selecionadas do arquivo de entrada podem ser alteradas.
• Os dados selecionados podem ser alterados e impressos para a saída padrão, com ou sem alteração do conteúdo do arquivo de entrada.

Todos esses tipos de saída podem ser executados no mesmo arquivo. A linguagem de programação reconhecida pelo comando awk permite que o usuário redirecionar a saída.

Processamento de Arquivos com Registros e Campos

Os arquivos são processados da seguinte maneira:

1. O comando awk varre suas instruções e executa quaisquer ações especificadas para ocorrer antes que o arquivo de entrada seja lido.

   A instrução COMEÇAR na linguagem de programação awk permite que o usuário especifique um conjunto de instruções a serem feitas antes que o primeiro registro seja lido. Isso é particularmente útil para inicializar variáveis especiais.

2. Um registro é lido a partir do arquivo de entrada.

   Um registro é um conjunto de dados separados por um separador de registros. O valor padrão para o separador de registro é o caractere de nova linha, o que faz com que cada linha no arquivo seja um registro separado. O separador de registro pode ser alterado configurando a variável especial RS .

3. O registro é comparado a cada padrão especificado pelas instruções do comando awk .

   As instruções de comando podem especificar que um campo específico dentro do registro seja comparado. Por padrão, os campos são separados por espaço em branco (espaços em branco ou guias). Cada campo é referido por uma variável de campo. O primeiro campo em um registro é atribuído a variável $1 , o segundo campo é atribuído a variável $2 , etc. O registro inteiro é atribuído à variável $0 . O separador de campo pode ser alterado usando-se a sinalização -F na linha de comando ou configurando o FS variável especial. A variável especial FS pode ser configurada para os valores de: branco, caractere único ou expressão regular estendida.

4. Se o registro corresponde a um padrão, quaisquer ações associadas a esse padrão são realizadas no registro.
5. Depois que o registro é comparado a cada padrão, e todas as ações especificadas são executadas, o próximo registro é lido a partir de entrada; o processo é repetido até que todos os registros sejam lidos a partir do arquivo de entrada.
6. Se vários arquivos de entrada tiverem sido especificados, o próximo arquivo será então aberto e o processo repetido até que todos os arquivos de entrada tenham sido lidos.
7. Após a leitura do último registro no último arquivo, o comando awk executa quaisquer instruções especificadas para ocorrer após o processamento de entrada.

   A instrução END na linguagem de programação awk permite que o usuário especifique ações a serem executadas após a leitura do último registro. Isso é particularmente útil para o envio de mensagens sobre o que o trabalho foi realizado pelo comando awk .

Linguagem de Programação de Comando awk

A linguagem de programação de comandos awk consiste em instruções na forma:

Padrão { Action }

Se um registro corresponde ao padrão especificado, ou contém um campo que corresponde ao padrão, a ação associada é então realizada. Um padrão pode ser especificado sem uma ação, caso em que a linha inteira contendo o padrão é escrita para saída padrão. Uma ação especificada sem um padrão é realizada para cada registro de entrada.

Padrões

Existem quatro tipos de padrões usados na sintaxe de linguagem de comandos awk :

• Expressões Regulares
• Expressões Relacionais
• Combinações de Padrões
• BEGIN e END Patterns.

Expressões Regulares

As expressões regulares estendidas usadas pelo comando awk são semelhantes àquelas usadas pelo comando grep ou egrep . A forma mais simples de uma expressão regular estendida é uma sequência de caracteres fechados em barras. Para um exemplo, suponha um arquivo denominadotestfiletinha os seguintes conteúdos:

smawley, andy
smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

Entrando na linha de comando a seguir:

awk '/smi/' testfile

imprimiria a saída padrão de todos os registros que continou uma ocorrência da stringsmi. Neste exemplo, o programa'/smi/'para o comando awk é um padrão sem nenhuma ação. A saída é:

smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

Os seguintes caracteres especiais são usados para formar expressões regulares estendidas:

awk '/smith+ern/' testfile

smithern, harry
smithhern, anne

awk '/smith?/' testfile

smith, alan
smithern, harry
smithhern, anne
smitters, alexis

awk '/allen 
| 
alan /' testfile

smiley, allen
smith, alan

awk '/a(ll)?(nn)?e/' testfile

smiley, allen
smithhern, anne

awk '/l{2}/' testfile

smiley, allen

awk '/t{2,}/' testfile

smitters, alexis

awk '/er{1, 2}/' testfile

smithern, harry
smithern, anne
smitters, alexis

awk '/sm[a-h]/' testfile

smawley, andy

awk '/sm[^a-h]/' testfile

smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

awk '$1 ~ /n/' testfile

smithern, harry
smithhern, anne

awk '$2 ~ /^h/' testfile

smithern, harry

awk '$2 ~ /y$/' testfile

smawley, andy
smithern, harry

awk '/a..e/' testfile

smawley, andy
smiley, allen
smithhern, anne

awk '/a.*e/' testfile

smawley, andy
smiley, allen
smithhern, anne
smitters, alexis

/a\/\//

Seqüências De Escape Reconhecidas

O comando awk reconhece a maioria das sequências de escape usadas em convenções de linguagem C, assim como várias que são usadas como caracteres especiais pelo próprio comando awk . As seqüências de escape são:

Nota: Exceto nas funções gsub, match, divisãoe sub embutidas, a correspondência de expressões regulares estendidas é baseada em registros de entrada. Caracteres de separador de registro (o caractere de nova linha por padrão) não pode ser integrado na expressão, e nenhuma expressão corresponde ao caractere de separador de registro. Se o separador de registro não for o caractere de nova linha, então o caractere de nova linha pode ser correspondido. Nas quatro funções integradas especificadas, a correspondência é baseada em strings de texto, e qualquer caractere (incluindo o separador de registro) pode ser incorporado no padrão para que o padrão corresponda ao caráter adequado. No entanto, em toda a expressão regular combinando com o comando awk , o uso de um ou mais caracteres NULL no padrão produz resultados indefinidos.

Expressões Relacionais

As operadoras relacionais < (menor do que),> (maior que), < = (menor ou igual a),> = (maior ou igual a), = = (igual a), e! = (não igual a) pode ser usado para formar padrões. Por exemplo, o padrão:

$1 < $4

corresponde aos registros onde o primeiro campo é menor que o quarto campo. Os operadores relacionais também trabalham com valores string. Por exemplo:

$1 =! "q"

corresponde a todos os registros onde o primeiro campo não é umq. Os valores de String também podem ser correspondidos em valores de ordenação. Por exemplo:

$1 >= "d"

corresponde a todos os registros onde o primeiro campo começa com um caractere que éa,b,coud. Se nenhuma outra informação for dada, as variáveis de campo são comparadas como valores string.

Combinações de Padrões

Os padrões podem ser combinados usando três opções:

• Intervalos são especificados por dois padrões separados com a, (vírgula). As ações são executadas em todos os registros iniciando com o registro que corresponde ao primeiro padrão, e continuando por meio e incluindo o registro que corresponde ao segundo padrão. Por exemplo:

  /begin/,/end/

  corresponde ao registro contendo a sequênciabegin, e a cada registro entre ele e o registro contendo a stringend, incluindo o registro contendo a sequênciaend.
• Parênteses () padrões de grupo juntos.
• As operadoras booleanas | | (ou), & & (e), e! (não) combinar padrões em expressões que combinam se avaliarem true, caso contrário não combinam. Por exemplo, o padrão:

  $1 == "al" && $2 == "123"

  corresponde registros onde o primeiro campo éale o segundo campo é123.

BEGIN e END Patterns

Ações especificadas com o padrão COMEÇAR são executadas antes de qualquer entrada ser lida. As ações especificadas com o padrão END são realizadas após toda a entrada ter sido lida. Vários padrões COMEÇAR e END são permitidos e processados na ordem especificada. Um padrão END pode preceder um padrão COMEÇAR dentro das instruções do programa. Se um programa consiste apenas em instruções COMEÇAR , as ações são executadas e nenhuma entrada é lida. Se um programa consiste apenas em instruções END , toda a entrada é lida antes de quaisquer ações serem tomadas.

Ações

Existem vários tipos de instruções de ação:

• Instruções De Ação
• Funções Integradas
• Funções Definidas Pelo Usuário
• Instruções Condicionais
• Ações de Saída

Instruções De Ação

As instruções de ação são encerradas em { } (braces). Se as instruções forem especificadas sem um padrão, elas são realizadas em cada registro. Diversas ações podem ser especificadas dentro do aparelho, mas devem ser separadas por caracteres de nova linha ou; (semicolons), e as instruções são processadas na ordem em que aparecem. As instruções de ação incluem:

Funções Integradas

A linguagem de comando awk usa funções aritméticas, funções de cadeia e funções gerais. A instrução próxima Subroutine é necessária se você pretende escrever um arquivo, depois leia-o posteriormente no mesmo programa.

Funções Aritméticas

As funções aritméticas a seguir executam as mesmas ações que as subroutines de linguagem C pelo mesmo nome:

Funções de sequência de caracteres

As funções string são:

Funções Gerais

As funções gerais são:

Observação: todas as formas da função getline retornam 1 para uma entrada bem-sucedida, zero para o fim do arquivo e -1 para um erro.

Funções Definidas Pelo Usuário

As funções definidas pelo usuário são declaradas na seguinte forma:

function Name (Parameter, Parameter,...)  { Statements }

Uma função pode ser referência em qualquer lugar em um programa de comandos awk e seu uso pode preceder sua definição. O escopo da função é global.

Os parâmetros de função podem ser escalares ou matrizes. Os nomes de parâmetros são locais para a função; todos os outros nomes de variáveis são globais. O mesmo nome não deve ser usado para entidades diferentes; por exemplo, um nome de parâmetro não deve ser duplicado como nome de função, ou variável especial. As variáveis com escopo global não devem compartilhar o nome de uma função. Os escalares e matrizes não devem ter o mesmo nome no mesmo escopo.

O número de parâmetros na definição de função não tem como corresponder o número de parâmetros utilizados quando a função é chamada. Os parâmetros formais em excesso podem ser usados como variáveis locais. Parâmetros escalares extras são inicializados com um valor string equivalente à string vazia e um valor numérico de 0 (zero); os parâmetros extra array são inicializados como matrizes vazias.

Ao invocar uma função, nenhum espaço em branco é colocado entre o nome da função e o parêntese de abertura. As chamadas de função podem ser aninhadas e recursivas. Ao retornar de qualquer chamada de função aninhada ou recursiva, os valores de todos os parâmetros da função de chamada devem ficar inalterados, exceto os parâmetros da matriz transmitidos por referência. A instrução voltar pode ser usada para retornar um valor.

Dentro de uma definição de função, os caracteres new-line são opcionais antes da abertura { (brace) and after the closing } (brace).

Um exemplo de uma definição de função é:

function average ( g,n) 
  {
        for (i in g)
           sum=sum+g[i]
        avg=sum/n
        return avg
  } 

A média da função é passada uma matriz,g, e uma variável,n, com o número de elementos na matriz. A função então obtém uma média e a devolve.

Instruções Condicionais

A maioria das instruções condicionais na linguagem de programação de comandos awk tem a mesma sintaxe e função como instruções condicionais na linguagem de programação C. Todas as instruções condicionais permitem o uso de { } (braces) para agrupar declarações. Uma nova linha opcional pode ser usada entre a porção de expressão e a parte de instrução da instrução condicional, e novas-linhas ou; (ponto e vírgula) são usadas para separar várias instruções em { } (braces). Seis instruções condicionais em linguagem C são:

Cinco instruções condicionais na linguagem de programação de comandos awk que não seguem as regras de C-language são:

for (i in g)
   delete g[i];

Instruções De Saída

Duas instruções de saída na linguagem de programação de comandos awk são:

Nota: Se o parâmetro Expressão especificar um nome de caminho para o parâmetro Redirecionamento , o parâmetro Expressão deverá ser enfechado em cotações duplas para insure que ele é tratado como uma string.

Variáveis

As variáveis podem ser escalares, variáveis de campo, matrizes ou variáveis especiais. Os nomes de variáveis não podem começar com um dígito.

As variáveis podem ser usadas apenas referenciando-as. Com exceção dos parâmetros da função, eles não são declarados explicitamente. Variáveis escalares não inicializadas e elementos da matriz possuem um valor numérico de 0 (zero) e um valor string da string nula ("").

As variáveis assumem valores numéricos ou string de acordo com o contexto. Cada variável pode ter um valor numérico, um valor string ou ambos. Por exemplo:

x = "4" + "8"

atribui o valor de12para a variávelx. Para constantes de cadeia, as expressões devem ser enfecadas em "" (aspas duplas) marcas.

Não há conversões explícitas entre números e strings. Para forçar uma expressão a ser tratada como um número, adicio 0 (zero) a ele. Para forçar uma expressão a ser tratada como uma string, anexe uma string nula ("").

Variáveis De Campo

As variáveis de campo são designadas por um $ (sinal de dólar) seguido por uma expressão numérica ou numérica. O primeiro campo em um registro é atribuído a variável $1 , o segundo campo é designado para a variável $2 , etc. A variável de campo $0 é atribuída a todo o registro. Novas variáveis de campo podem ser criadas atribuem um valor a elas. Atribuindo um valor a um campo inexistente, ou seja, qualquer campo maior que o valor atual da variável de campo $NF , força a criação de quaisquer campos intervencionantes (configurados para a cadeia nula), aumenta o valor da variável especial NF e força o valor de $0 variável de registro a ser recalculado. Os novos campos são separados pelo separador de campo atual (que é o valor da variável especial FS ). Espaços em branco e guias são os separadores de campo padrão. Para alterar o separador de campo, use a sinalização -F ou atribua a variável especial FS um valor diferente no programa de comandos awk .

Matrizes

As matrizes estão inicialmente vazias e seus tamanhos mudam dinamicamente. As matrizes são representadas por uma variável com subscritos em [] (colchetes). Os subscritos, ou identificadores de elementos, podem ser números de strings, que fornecem um tipo de capacidade de matriz associativa. Por exemplo, o programa:

/red/  { x["red"]++ }
/green/ { y["green"]++ }

incrementos conta para ambos osredcontador e ogreencontador.

As matrizes podem ser indexadas com mais de um subscrito, semelhantes a matrizes multidimensionais em algumas linguagens de programação. Como as matrizes de programação para o comando awk são realmente uma dimensionais, os subscritos separados por vírgula são convertidos em uma única string concatenando os valores string das expressões separadas, com cada expressão separada pelo valor da variável ambiental SUBSEP . Portanto, as duas operações de índice seguintes são equivalentes:

x[expr1, expr2,...exprn]

E

x[expr1SUBSEPexpr2SUBSEP...SUBSEPexprn]

Ao utilizar o operador em , um valor de Índice multidimensional deve ser contido dentro de parênteses. Exceto para o operador em , qualquer referência a um elemento de matriz inexistente cria automaticamente esse elemento.

Variáveis Especiais

As variáveis a seguir têm significado especial para o comando awk :

Sinalizações

Status de saída

Esse comando retorna os valores de saída a seguir:

Você pode alterar o status de saída dentro do programa usando a instrução condicional saída [ Expressão ] .

Exemplos

1. Para exibir as linhas de um arquivo que tenham mais de 72 caracteres, digite:

   awk  'length  >72'  chapter1

   Isso seleciona cada linha dochapter1arquivo que tem mais de 72 caracteres e grava estas linhas para saída padrão, pois não é especificado nenhum Ação . Um caractere de guia é contado como 1 byte.
2. Como exibir todas as linhas entre as palavras startestop,incluindo "start"e "stop",Digite:

   awk  '/start/,/stop/'  chapter1

3. Para executar um programa de comandos awk ,sum2.awk,que processa o arquivo,chapter1, digite:

   awk  -f  sum2.awk  chapter1

   O programa a seguir,sum2.awk, computa a soma e média dos números na segunda coluna do arquivo de entrada,chapter1:

       {
          sum += $2
       }
   END {
          print "Sum: ", sum;
          print "Average:", sum/NR;
       }

   A primeira ação acrescenta o valor do segundo campo de cada linha para a variávelsum. Todas as variáveis são inicializadas para o valor numérico de 0 (zero) quando referenciadas pela primeira vez. O padrão END antes da segunda ação faz com que essas ações sejam executadas depois que todo o arquivo de entrada foi lido. A variável especial NR , que é usada para calcular a média, é uma variável especial especificando o número de registros que foram lidos.
4. Para imprimir os dois primeiros campos em ordem contrária, digite:

   awk '{ print $2, $1 }' chapter1

5. O programa awk a seguir

   awk -f sum3.awk chapter2

   imprime os dois primeiros campos do arquivochapter2com campos de entrada separados por vírgula e / ou espaços em branco e guias e, em seguida, adiciona-se a primeira coluna, e imprime a soma e média:

   BEGIN  {FS = ",|[ \t]+"}
          {print $1, $2}
          {s += $1}
   END    {print "sum is",s,"average is", s/NR }