mandato awk

Finalidad

Busca líneas en archivos que coinciden con un patrón y realiza acciones especificadas en esas líneas.

Sintaxis

awk [ -u ] [ -F Ere ] [ -v Asignación ] ... { -f ProgramFile | 'Programa' } [[ Archivo ... | Asignación ...]] ...

Descripción

El mandato awk utiliza un conjunto de instrucciones proporcionadas por el usuario para comparar un conjunto de archivos, una línea a la vez, con expresiones regulares ampliadas suministradas por el usuario. A continuación, las acciones se realizan en cualquier línea que coincida con las expresiones regulares ampliadas.

La búsqueda de patrón del mandato awk es más general que la del mandato grep y permite al usuario realizar varias acciones en líneas de texto de entrada. El lenguaje de programación de mandatos de awk no requiere compilación y permite al usuario utilizar variables, funciones numéricas, funciones de serie y operadores lógicos.

El mandato awk se ve afectado por las variables de entorno LANG, LC_ALL, LC_COLLATE, LC_CTYPE, LC_MESSAGES, LC_NUMERIC, NLSPATHy PATH .

En este artículo se tratan los temas siguientes:

• Entrada para el mandato awk
• Salida para el mandato awk
• Proceso de archivos con registros y campos
• El Lenguaje De Programación De Mandatos De Awk
  • Patrones
  • Acciones
  • Variables
  • Variables especiales
• distintivos
• Ejemplos

Entrada para el mandato awk

El mandato awk toma dos tipos de entrada: archivos de texto de entrada e instrucciones de programa.

Archivos de texto de entrada

La búsqueda y las acciones se realizan en archivos de texto de entrada. Los archivos se especifican mediante:

• Especificación de la variable Archivo en la línea de mandatos.
• Modificación de las variables especiales ARGV y ARGC.
• Proporcionando entrada estándar en ausencia de la variable Archivo .

Si se especifican varios archivos con la variable Archivo , los archivos se procesan en el orden especificado.

Instrucciones del programa

Las instrucciones proporcionadas por el usuario controlan las acciones del mandato awk . Estas instrucciones proceden de la variable ` Program' en la línea de mandatos o de un archivo especificado por el distintivo -f junto con la variable ProgramFile . Si se especifican varios archivos de programa, los archivos se concatenan en el orden especificado y se utiliza el orden de instrucciones resultante.

Salida para el mandato awk

El mandato awk produce tres tipos de salida de los datos del archivo de texto de entrada:

• Los datos seleccionados se pueden imprimir en la salida estándar, sin alteración en el archivo de entrada.
• Las partes seleccionadas del archivo de entrada se pueden modificar.
• Los datos seleccionados se pueden modificar e imprimir en la salida estándar, con o sin alterar el contenido del archivo de entrada.

Todos estos tipos de salida se pueden realizar en el mismo archivo. El lenguaje de programación reconocido por el mandato awk permite al usuario redirigir la salida.

Proceso de archivos con registros y campos

Los archivos se procesan de la siguiente manera:

1. El mandato awk explora sus instrucciones y ejecuta las acciones especificadas para que se produzcan antes de que se lea el archivo de entrada.

   La sentencia BEGIN del lenguaje de programación awk permite al usuario especificar un conjunto de instrucciones que se deben realizar antes de leer el primer registro. Esto es especialmente útil para inicializar variables especiales.

2. Se lee un registro del archivo de entrada.

   Un registro es un conjunto de datos separados por un separador de registros. El valor predeterminado para el separador de registros es el carácter de nueva línea, que hace que cada línea del archivo sea un registro distinto. El separador de registros se puede cambiar estableciendo la variable especial RS .

3. El registro se compara con cada patrón especificado por las instrucciones del mandato awk .

   Las instrucciones del mandato pueden especificar que se compare un campo específico dentro del registro. De forma predeterminada, los campos están separados por espacios en blanco (blancos o tabuladores). Cada campo se hace referencia a una variable de campo. Al primer campo de un registro se le asigna la variable $1 , al segundo campo se le asigna la variable $2 , y así sucesivamente. El registro entero se asigna a la variable $0 . El separador de campo se puede cambiar utilizando el distintivo -F en la línea de mandatos o estableciendo Variable especial FS. La variable especial FS se puede establecer en los valores de: en blanco, en un solo carácter o en expresión regular ampliada.

4. Si el registro coincide con un patrón, las acciones asociadas a ese patrón se realizan en el registro.
5. Después de comparar el registro con cada patrón, y se realizan todas las acciones especificadas, el siguiente registro se lee de la entrada; el proceso se repite hasta que se leen todos los registros del archivo de entrada.
6. Si se han especificado varios archivos de entrada, se abre el siguiente archivo y se repite el proceso hasta que se han leído todos los archivos de entrada.
7. Después de leer el último registro del último archivo, el mandato awk ejecuta las instrucciones especificadas para que se produzcan después del proceso de entrada.

   La sentencia FIN del lenguaje de programación awk permite al usuario especificar acciones que se deben realizar después de leer el último registro. Esto es especialmente útil para enviar mensajes sobre el trabajo realizado por el mandato awk .

El Lenguaje De Programación De Mandatos De Awk

El lenguaje de programación de mandatos de awk consta de sentencias en el formato:

Patrón { Acción }

Si un registro coincide con el patrón especificado o contiene un campo que coincide con el patrón, se realiza la acción asociada. Se puede especificar un patrón sin una acción, en cuyo caso toda la línea que contiene el patrón se escribe en la salida estándar. Se realiza una acción especificada sin un patrón para cada registro de entrada.

Patrones

Hay cuatro tipos de patrones utilizados en la sintaxis del lenguaje de mandatos de awk :

• expresiones normales
• Expresiones relacionales
• Combinaciones de patrones
• Patrones BEGIN y END.

expresiones normales

Las expresiones regulares ampliadas que utiliza el mandato awk son similares a las utilizadas por el mandato grep o egrep . La forma más simple de una expresión regular ampliada es una serie de caracteres encerrados en barras inclinadas. Por ejemplo, suponga un archivo denominadotestfiletenía los siguientes contenidos:

smawley, andy
smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

Entrando la siguiente línea de mandatos:

awk '/smi/' testfile

imprimirá en la salida estándar de todos los registros que contenían una aparición de la seriesmi. En este ejemplo, el programa'/smi/'para el mandato awk es un patrón sin ninguna acción. La salida es:

smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

Los siguientes caracteres especiales se utilizan para formar expresiones regulares ampliadas:

awk '/smith+ern/' testfile

smithern, harry
smithhern, anne

awk '/smith?/' testfile

smith, alan
smithern, harry
smithhern, anne
smitters, alexis

awk '/allen 
| 
alan /' testfile

smiley, allen
smith, alan

awk '/a(ll)?(nn)?e/' testfile

smiley, allen
smithhern, anne

awk '/l{2}/' testfile

smiley, allen

awk '/t{2,}/' testfile

smitters, alexis

awk '/er{1, 2}/' testfile

smithern, harry
smithern, anne
smitters, alexis

awk '/sm[a-h]/' testfile

smawley, andy

awk '/sm[^a-h]/' testfile

smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

awk '$1 ~ /n/' testfile

smithern, harry
smithhern, anne

awk '$2 ~ /^h/' testfile

smithern, harry

awk '$2 ~ /y$/' testfile

smawley, andy
smithern, harry

awk '/a..e/' testfile

smawley, andy
smiley, allen
smithhern, anne

awk '/a.*e/' testfile

smawley, andy
smiley, allen
smithhern, anne
smitters, alexis

/a\/\//

Secuencias de escape reconocidas

El mandato awk reconoce la mayoría de las secuencias de escape utilizadas en los convenios de lenguaje C, así como varias que se utilizan como caracteres especiales por el propio mandato awk . Las secuencias de escape son:

Nota: Excepto en las funciones incorporadas de gsub, match, splity Subartículo , la coincidencia de expresiones regulares ampliadas se basa en registros de entrada. Los caracteres de separador de registro (el carácter de nueva línea por omisión) no se pueden incluir en la expresión y ninguna expresión coincide con el carácter de separador de registro. Si el separador de registros no es el carácter de nueva línea, el carácter de nueva línea se puede emparejar. En las cuatro funciones incorporadas especificadas, la coincidencia se basa en series de texto, y cualquier carácter (incluido el separador de registros) se puede incluir en el patrón para que el patrón coincida con el carácter adecuado. Sin embargo, en todas las expresiones regulares que coinciden con el mandato awk , el uso de uno o más caracteres NULL en el patrón produce resultados no definidos.

Expresiones relacionales

Los operadores relacionales < (menor que), > (mayor que), < = (menor o igual que), > = (mayor o igual que), = = (igual a), y! = (no igual a) se puede utilizar para formar patrones. Por ejemplo, el patrón:

$1 < $4

coincide con los registros donde el primer campo es menor que el cuarto campo. Los operadores relacionales también trabajan con valores de serie. Por ejemplo:

$1 =! "q"

coincide con todos los registros donde el primer campo no es unq. Los valores de serie también pueden coincidir en valores de clasificación. Por ejemplo:

$1 >= "d"

coincide con todos los registros donde el primer campo se inicia con un carácter que esa,b,cod. Si no se proporciona ninguna otra información, las variables de campo se comparan como valores de serie.

Combinaciones de patrones

Los patrones se pueden combinar utilizando tres opciones:

• Los rangos se especifican mediante dos patrones separados por una, (coma). Las acciones se realizan en cada registro empezando por el registro que coincide con el primer patrón, y continuando a través de e incluyendo el registro que coincide con el segundo patrón. Por ejemplo:

  /begin/,/end/

  coincide con el registro que contiene la seriebegin, y cada registro entre éste y el registro que contiene la serieend, incluido el registro que contiene la serieend.
• Paréntesis () patrones de grupo juntos.
• Los operadores booleanos | | (o), & & (y), y! (no) combine patrones en expresiones que coincidan si se evalúan como verdaderas, de lo contrario no coinciden. Por ejemplo, el patrón:

  $1 == "al" && $2 == "123"

  coincide con los registros donde se encuentra el primer campoaly el segundo campo es123.

Patrones BEGIN y END

Las acciones especificadas con el patrón BEGIN se realizan antes de que se lea cualquier entrada. Las acciones especificadas con el patrón FIN se realizan después de que se haya leído toda la entrada. Se permiten varios patrones BEGIN y FIN y se procesan en el orden especificado. Un patrón FIN puede preceder a un patrón de BEGIN dentro de las sentencias del programa. Si un programa sólo consta de sentencias BEGIN , las acciones se realizan y no se lee ninguna entrada. Si un programa sólo consta de sentencias FIN , se lee toda la entrada antes de realizar cualquier acción.

Acciones

Existen varios tipos de sentencias de acción:

• Declaraciones de acción
• Built-in Functions
• funciones definidas por el usuario
• Conditional Statements
• Acciones de producción

Declaraciones de acción

Las sentencias de acción se incluyen en { } (llaves). Si las sentencias se especifican sin un patrón, se realizan en cada registro. Se pueden especificar varias acciones dentro de las llaves, pero deben estar separadas por caracteres de nueva línea o; (punto y coma), y las sentencias se procesan en el orden en que aparecen. Las sentencias de acción incluyen:

Built-in Functions

El lenguaje de mandatos de awk utiliza funciones aritméticas, funciones de serie y funciones generales. La sentencia de cierre de subrutina es necesaria si tiene la intención de escribir un archivo y, a continuación, leerlo más tarde en el mismo programa.

Funciones aritméticas

Las siguientes funciones aritméticas realizan las mismas acciones que las subrutinas de lenguaje C con el mismo nombre:

Funciones de serie

Las funciones de serie son:

Funciones generales

Las funciones generales son:

Nota: Todas las formas de la función getline devuelven 1 en caso de entrada correcta, cero en caso de fin de archivo y -1 en caso de error.

funciones definidas por el usuario

Las funciones definidas por el usuario se declaran en el formato siguiente:

function Name (Parameter, Parameter,...)  { Statements }

Se puede hacer referencia a una función en cualquier lugar de un programa de mandatos de awk y su uso puede preceder a su definición. El ámbito de la función es global.

Los parámetros de función pueden ser escalares o matrices. Los nombres de parámetros son locales para la función; todos los demás nombres de variables son globales. No se debe utilizar el mismo nombre para distintas entidades; por ejemplo, no se debe duplicar un nombre de parámetro como nombre de función o variable especial. Las variables con ámbito global no deben compartir el nombre de una función. Los escalares y las matrices no deben tener el mismo nombre en el mismo ámbito.

El número de parámetros de la definición de función no tiene que coincidir con el número de parámetros utilizados cuando se llama a la función. Los parámetros formales sobrantes se pueden utilizar como variables locales. Los parámetros escalares adicionales se inicializan con un valor de serie equivalente a la serie vacía y un valor numérico de 0 (cero); los parámetros de matriz adicionales se inicializan como matrices vacías.

Al invocar una función, no se coloca ningún espacio en blanco entre el nombre de función y el paréntesis de apertura. Las llamadas de función pueden ser anidadas y recursivas. Al volver de cualquier llamada de función anidada o recursiva, los valores de todos los parámetros de la función de llamada no se modificarán, excepto para los parámetros de matriz pasados por referencia. La sentencia return se puede utilizar para devolver un valor.

En una definición de función, los caracteres de nueva línea son opcionales antes de la apertura { (brace) and after the closing } (brace).

Un ejemplo de una definición de función es:

function average ( g,n) 
  {
        for (i in g)
           sum=sum+g[i]
        avg=sum/n
        return avg
  } 

El promedio de función se pasa una matriz,g, y una variable,n, con el número de elementos de la matriz. La función obtiene entonces un promedio y lo devuelve.

Conditional Statements

La mayoría de las sentencias condicionales del lenguaje de programación de mandatos de awk tienen la misma sintaxis y funcionan como sentencias condicionales en el lenguaje de programación C. Todas las sentencias condicionales permiten el uso de { } (llaves) para agrupar sentencias. Se puede utilizar una nueva línea opcional entre la parte de expresión y la parte de sentencia de la sentencia condicional, y las nuevas líneas o; (punto y coma) se utilizan para separar varias sentencias en { } (llaves). Seis sentencias condicionales en lenguaje C son:

Cinco sentencias condicionales en el lenguaje de programación de mandatos de awk que no siguen las reglas de lenguaje C son:

for (i in g)
   delete g[i];

Sentencias de salida

Dos sentencias de salida en el lenguaje de programación de mandatos de awk son:

Nota: Si el parámetro Expresión especifica un nombre de vía de acceso para el parámetro Redirección , el parámetro Expresión debe especificarse entre comillas dobles para asegurarse de que se trata como una serie.

Variables

Las variables pueden ser escalares, variables de campo, matrices o variables especiales. Los nombres de variable no pueden empezar por un dígito.

Las variables se pueden utilizar sólo haciendo referencia a ellas. Con la excepción de los parámetros de función, no se declaran explícitamente. Las variables escalares no inicializadas y los elementos de matriz tienen un valor numérico de 0 (cero) y un valor de serie de la serie nula ("").

Las variables toman valores numéricos o de cadena según el contexto. Cada variable puede tener un valor numérico, un valor de serie o ambos. Por ejemplo:

x = "4" + "8"

asigna el valor de12a la variablex. Para las constantes de cadena, las expresiones se deben encerrar en "" (comillas dobles).

No hay conversiones explícitas entre números y series. Para forzar que una expresión se trate como un número, añada 0 (cero) a la misma. Para forzar que una expresión se trate como una serie, añada una serie nula ("").

Variables de campo

Las variables de campo se designan mediante un $ (signo de dólar) seguido de una expresión numérica o numérica. Al primer campo de un registro se le asigna la variable $1 , el segundo campo se asigna a la variable $2 , y así sucesivamente. La variable de campo $0 se asigna a todo el registro. Se pueden crear nuevas variables de campo asignándoles un valor. La asignación de un valor a un campo no existente, es decir, cualquier campo mayor que el valor actual de la variable de campo $NF , fuerza la creación de cualquier campo que intervenga (establecido en la serie nula), aumenta el valor de la variable especial NF y fuerza el valor de la variable de registro $0 a volver a calcular. Los nuevos campos están separados por el separador de campo actual (que es el valor de la variable especial FS ). Los espacios en blanco y los separadores son los separadores de campo predeterminados. Para cambiar el separador de campos, utilice el distintivo -F o asigne a la variable especial FS un valor distinto en el programa de mandatos de awk .

Arrays

Las matrices están inicialmente vacías y sus tamaños cambian dinámicamente. Las matrices se representan mediante una variable con subíndices en [] (corchetes). Los subíndices, o identificadores de elemento, pueden ser números de series, que proporcionan un tipo de capacidad de matriz asociativa. Por ejemplo, el programa:

/red/  { x["red"]++ }
/green/ { y["green"]++ }

los incrementos de recuentos para ambosredcontador y elgreencontador.

Las matrices se pueden indexar con más de un subíndice, similar a las matrices multidimensionales en algunos lenguajes de programación. Dado que las matrices de programación para el mandato awk son realmente unidimensionales, los subíndices separados por comas se convierten a una sola serie concatenando los valores de serie de las expresiones separadas, con cada expresión separada por el valor de la variable de entorno SUBSEP . Por lo tanto, las dos operaciones de índice siguientes son equivalentes:

x[expr1, expr2,...exprn]

Y

x[expr1SUBSEPexpr2SUBSEP...SUBSEPexprn]

Cuando se utiliza el operador En , se debe contener un valor de Índice multidimensional entre paréntesis. Excepto para el operador En , cualquier referencia a un elemento de matriz no existente crea automáticamente ese elemento.

Variables especiales

Las siguientes variables tienen un significado especial para el mandato awk :

Distintivos

Estado de salida

Este mandato devuelve los siguientes valores de salida:

Puede alterar el estado de salida dentro del programa utilizando la sentencia condicional Salida [ Expresión ] .

Ejemplos

1. Para visualizar las líneas de un archivo que tienen más de 72 caracteres, entre:

   awk  'length  >72'  chapter1

   Esto selecciona cada línea de lachapter1que tiene más de 72 caracteres y escribe estas líneas en la salida estándar, porque no se ha especificado ningún Acción . Un carácter de tabulación se cuenta como 1 byte.
2. Para mostrar todas las líneas entre las palabras startystop,inclusión "start"y "stop",Intro:

   awk  '/start/,/stop/'  chapter1

3. Para ejecutar un programa de mandatos de awk ,sum2.awk,que procesa el archivo,chapter1, especifique:

   awk  -f  sum2.awk  chapter1

   El siguiente programa,sum2.awk, calcula la suma y el promedio de los números en la segunda columna del archivo de entrada,chapter1:

       {
          sum += $2
       }
   END {
          print "Sum: ", sum;
          print "Average:", sum/NR;
       }

   La primera acción añade el valor del segundo campo de cada línea a la variablesum. Todas las variables se inicializan en el valor numérico de 0 (cero) al referenciarse por primera vez. El patrón FIN antes de la segunda acción hace que esas acciones se realicen después de que se haya leído todo el archivo de entrada. La variable especial NR , que se utiliza para calcular el promedio, es una variable especial que especifica el número de registros que se han leído.
4. Para imprimir los dos primeros campos en orden opuesto, especifique:

   awk '{ print $2, $1 }' chapter1

5. El siguiente programa de awk

   awk -f sum3.awk chapter2

   imprime los dos primeros campos del archivochapter2con campos de entrada separados por comas y/o blancos y tabuladores, y luego añade la primera columna, e imprime la suma y el promedio:

   BEGIN  {FS = ",|[ \t]+"}
          {print $1, $2}
          {s += $1}
   END    {print "sum is",s,"average is", s/NR }