commande awk

Objectif

Recherche les lignes dans les fichiers qui correspondent à un modèle et exécute des actions spécifiées sur ces lignes.

Syntaxe

awk [ -u ] [ -F Ere ] [ -v Affectation ] ... { -f ProgramFile | 'Programme' } [ [ Fichier ... | Affectation ... ] ] ...

Descriptif

La commande Awk utilise un ensemble d'instructions fournies par l'utilisateur pour comparer un ensemble de fichiers, une ligne à la fois, à des expressions régulières étendues fournies par l'utilisateur. Les actions sont ensuite effectuées sur n'importe quelle ligne qui correspond aux expressions régulières étendues.

La recherche de modèle de la commande Awk est plus générale que celle de la commande Grep , et elle permet à l'utilisateur d'effectuer plusieurs actions sur des lignes de texte d'entrée. Le langage de programmation de commande Awk ne nécessite aucune compilation et permet à l'utilisateur d'utiliser des variables, des fonctions numériques, des fonctions de chaîne et des opérateurs logiques.

La commande Awk est affectée par les variables d'environnement LANG, LC_ALL, LC_COLLATE, TYPE_LOGIQUE, LC_MESSAGES, LC_NUMÉRIQUE, CHEMIN D'ACCÈS NLSPATHet CHEMIN .

Les sujets suivants sont abordés dans cet article:

• Entrée pour la commande awk
• Sortie de la commande awk
• Traitement des fichiers avec les enregistrements et les zones
• Le langage de programmation de commandes awk
  • Schémas
  • Actions
  • Variables
  • Variables spéciales
• Flags
• Exemples

Entrée pour la commande awk

La commande Awk prend deux types d'entrée: les fichiers texte d'entrée et les instructions de programme.

Fichiers texte en entrée

La recherche et les actions sont effectuées sur les fichiers texte en entrée. Les fichiers sont spécifiés par:

• Spécification de la variable Fichier sur la ligne de commande.
• Modification des variables spéciales ARGV et ARGC.
• Fourniture d'une entrée standard en l'absence de la variable Fichier .

Si plusieurs fichiers sont spécifiés avec la variable Fichier , les fichiers sont traités dans l'ordre spécifié.

Instructions de programme

Les instructions fournies par l'utilisateur contrôlent les actions de la commande Awk . Ces instructions proviennent de la variable ` Program'sur la ligne de commande ou d'un fichier spécifié par l'indicateur -f avec la variable ProgramFile . Si plusieurs fichiers programme sont spécifiés, les fichiers sont concaténés dans l'ordre spécifié et l'ordre des instructions qui en résulte est utilisé.

Sortie de la commande awk

La commande Awk génère trois types de sortie à partir des données du fichier texte en entrée:

• Les données sélectionnées peuvent être imprimées dans une sortie standard, sans modification du fichier d'entrée.
• Certaines parties du fichier d'entrée peuvent être modifiées.
• Les données sélectionnées peuvent être modifiées et imprimées en sortie standard, avec ou sans modification du contenu du fichier en entrée.

Tous ces types de sortie peuvent être exécutés sur le même fichier. Le langage de programmation reconnu par la commande Awk permet à l'utilisateur de rediriger la sortie.

Traitement des fichiers avec les enregistrements et les zones

Les fichiers sont traités de la manière suivante:

1. La commande Awk analyse ses instructions et exécute les actions spécifiées pour se produire avant la lecture du fichier d'entrée.

   L'instruction DÉBUT dans le langage de programmation Awk permet à l'utilisateur de spécifier un ensemble d'instructions à effectuer avant la lecture du premier enregistrement. Ceci est particulièrement utile pour l'initialisation des variables spéciales.

2. Un enregistrement est lu à partir du fichier d'entrée.

   Un enregistrement est un ensemble de données séparées par un séparateur d'enregistrement. La valeur par défaut du séparateur d'enregistrement est le caractère de nouvelle ligne, ce qui fait que chaque ligne du fichier est un enregistrement distinct. Le séparateur d'enregistrements peut être modifié en définissant la variable spéciale R .

3. L'enregistrement est comparé à chaque modèle spécifié par les instructions de la commande Awk .

   Les instructions de commande peuvent indiquer qu'un champ spécifique de l'enregistrement doit être comparé. Par défaut, les zones sont séparées par un espace blanc (blancs ou tabulations). Chaque zone est désignée par une variable de zone. La première zone d'un enregistrement est affectée à la variable $1 , la deuxième zone est affectée à la variable $2 , et ainsi de suite. L'enregistrement complet est affecté à la variable $0 . Le séparateur de zone peut être modifié à l'aide de l'indicateur -F sur la ligne de commande ou en définissant Variable spéciale F. La variable spéciale F peut être définie sur les valeurs suivantes: blanc, caractère unique ou Expression régulière étendue.

4. Si l'enregistrement correspond à un modèle, les actions associées à ce modèle sont exécutées dans l'enregistrement.
5. Une fois que l'enregistrement est comparé à chaque modèle et que toutes les actions spécifiées sont exécutées, l'enregistrement suivant est lu à partir de l'entrée ; le processus est répété jusqu'à ce que tous les enregistrements soient lus à partir du fichier d'entrée.
6. Si plusieurs fichiers d'entrée ont été spécifiés, le fichier suivant est alors ouvert et le processus se répète jusqu'à ce que tous les fichiers d'entrée aient été lus.
7. Une fois que le dernier enregistrement du dernier fichier est lu, la commande Awk exécute les instructions spécifiées après le traitement de l'entrée.

   L'instruction FIN dans le langage de programmation Awk permet à l'utilisateur de spécifier les actions à effectuer après la lecture du dernier enregistrement. Ceci est particulièrement utile pour l'envoi de messages sur le travail effectué par la commande Awk .

Le langage de programmation de commandes awk

Le langage de programmation de commande Awk est constitué d'instructions sous la forme:

Modèle { Action }

Si un enregistrement correspond au modèle spécifié ou contient une zone qui correspond au modèle, l'action associée est alors effectuée. Un modèle peut être spécifié sans action, auquel cas la totalité de la ligne contenant le modèle est écrite dans la sortie standard. Une action spécifiée sans modèle est effectuée pour chaque enregistrement d'entrée.

Schémas

Il existe quatre types de canevas utilisés dans la syntaxe de langage de commande Awk :

• expressions régulières
• Expressions relationnelles
• Combinaisons de modèles
• Modèles BEGIN et END.

expressions régulières

Les expressions régulières étendues utilisées par la commande Awk sont similaires à celles utilisées par la commande Grep ou Egrep . La forme la plus simple d'une expression régulière étendue est une chaîne de caractères entre des barres obliques. Par exemple, supposons qu'un fichier nommétestfileA le contenu suivant:

smawley, andy
smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

Saisie de la ligne de commande suivante:

awk '/smi/' testfile

Imprimer dans la sortie standard de tous les enregistrements contenant une occurrence de la chaînesmi. Dans cet exemple, le programme'/smi/'Pour la commande Awk est un modèle sans action. La sortie est la suivante:

smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

Les caractères spéciaux suivants sont utilisés pour former des expressions régulières étendues:

awk '/smith+ern/' testfile

smithern, harry
smithhern, anne

awk '/smith?/' testfile

smith, alan
smithern, harry
smithhern, anne
smitters, alexis

awk '/allen 
| 
alan /' testfile

smiley, allen
smith, alan

awk '/a(ll)?(nn)?e/' testfile

smiley, allen
smithhern, anne

awk '/l{2}/' testfile

smiley, allen

awk '/t{2,}/' testfile

smitters, alexis

awk '/er{1, 2}/' testfile

smithern, harry
smithern, anne
smitters, alexis

awk '/sm[a-h]/' testfile

smawley, andy

awk '/sm[^a-h]/' testfile

smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

awk '$1 ~ /n/' testfile

smithern, harry
smithhern, anne

awk '$2 ~ /^h/' testfile

smithern, harry

awk '$2 ~ /y$/' testfile

smawley, andy
smithern, harry

awk '/a..e/' testfile

smawley, andy
smiley, allen
smithhern, anne

awk '/a.*e/' testfile

smawley, andy
smiley, allen
smithhern, anne
smitters, alexis

/a\/\//

Séquences d'échappement reconnues

La commande Awk reconnaît la plupart des séquences d'échappement utilisées dans les conventions de langage C, ainsi que plusieurs autres qui sont utilisées en tant que caractères spéciaux par la commande Awk elle-même. Les séquences d'échappement sont les suivantes:

Remarque: Sauf dans les fonctions intégrées Gsub, Correspondance, Fractionneret Sous- , la correspondance des expressions régulières étendues est basée sur les enregistrements d'entrée. Les caractères de séparation d'enregistrements (le caractère de nouvelle ligne par défaut) ne peuvent pas être imbriqués dans l'expression et aucune expression ne correspond au caractère de séparation d'enregistrement. Si le séparateur d'enregistrement n'est pas le caractère de nouvelle ligne, le caractère de nouvelle ligne peut être mis en correspondance. Dans les quatre fonctions intégrées spécifiées, la correspondance est basée sur des chaînes de texte, et tout caractère (y compris le séparateur d'enregistrements) peut être imbriqué dans le canevas de sorte que le modèle corresponde au caractère approprié. Toutefois, dans toutes les expressions régulières correspondant à la commande Awk , l'utilisation d'un ou de plusieurs caractères NULL dans le canevas génère des résultats non définis.

Expressions relationnelles

Les opérateurs relationnels < (inférieur à), > (supérieur à), < = (inférieur ou égal à), > = (supérieur ou égal à), = = (égal à), et ! = (pas égal à) peut être utilisé pour former des modèles. Par exemple, le modèle:

$1 < $4

Correspond aux enregistrements où le premier champ est inférieur à la quatrième zone. Les opérateurs relationnels fonctionnent également avec des valeurs de chaîne. Par exemple :

$1 =! "q"

Correspond à tous les enregistrements dont la première zone n'est pas uneq. Les valeurs de chaîne peuvent également être associées aux valeurs de classement. Par exemple :

$1 >= "d"

Correspond à tous les enregistrements dont la première zone commence par un caractèrea,b,coud. Si aucune autre information n'est donnée, les variables de champ sont comparées en tant que valeurs de chaîne.

Combinaisons de modèles

Les modèles peuvent être combinés à l'aide de trois options:

• Les plages sont spécifiées par deux modèles séparés par une, (virgule). Les actions sont exécutées sur chaque enregistrement en commençant par l'enregistrement correspondant au premier modèle, et en continu et en incluant l'enregistrement correspondant au second modèle. Par exemple :

  /begin/,/end/

  Correspond à l'enregistrement contenant la chaînebegin, et chaque enregistrement entre celui-ci et l'enregistrement contenant la chaîneend, y compris l'enregistrement contenant la chaîneend.
• Parenthèses () Les modèles de groupe.
• Les opérateurs booléens | | (ou), & & (et), et ! (non) combine des modèles dans des expressions qui correspondent si elles évaluent la valeur true, sinon elles ne correspondent pas. Par exemple, le modèle:

  $1 == "al" && $2 == "123"

  Correspond aux enregistrements dans lesquels la première zone estalEt la deuxième zone est123.

Modèles BEGIN et END

Les actions spécifiées avec le modèle DÉBUT sont exécutées avant que n'importe quelle entrée soit lue. Les actions spécifiées avec le modèle FIN sont exécutées une fois que toutes les entrées ont été lues. Plusieurs modèles DÉBUT et FIN sont autorisés et traités dans l'ordre indiqué. Un modèle FIN peut précéder un modèle DÉBUT dans les instructions du programme. Si un programme ne contient que des instructions DÉBUT , les actions sont exécutées et aucune entrée n'est lue. Si un programme ne contient que des instructions FIN , toutes les entrées sont lues avant toute action entreprise.

Actions

Il existe plusieurs types d'instructions d'action:

• Instructions d'action
• Built-in Functions
• fonctions définies par l'utilisateur
• Conditional Statements
• Actions de sortie

Instructions d'action

Les instructions d'action sont incluses dans { } (accolades). Si les instructions sont spécifiées sans motif, elles sont exécutées sur chaque enregistrement. Plusieurs actions peuvent être spécifiées dans les accolades, mais doivent être séparées par des caractères de nouvelle ligne ou (points-virgules), et les instructions sont traitées dans l'ordre dans lequel elles apparaissent. Les énoncés d'action comprennent:

Built-in Functions

La langue de commande Awk utilise des fonctions arithmétiques, des fonctions de chaîne et des fonctions générales. L'instruction de fermeture de sous-programme est nécessaire si vous avez l'intention d'écrire un fichier, puis de le lire plus tard dans le même programme.

Fonctions arithmétiques

Les fonctions arithmétiques suivantes exécutent les mêmes actions que les sous-routines de langage C sous le même nom:

Fonctions de chaîne

Les fonctions de chaîne sont les suivantes:

Fonctions générales

Les fonctions générales sont les suivantes:

Note : Toutes les formes de la fonction getline renvoient 1 en cas d'entrée réussie, zéro en cas de fin de fichier et -1 en cas d'erreur.

fonctions définies par l'utilisateur

Les fonctions définies par l'utilisateur sont déclarées sous la forme suivante:

function Name (Parameter, Parameter,...)  { Statements }

Une fonction peut être appelée n'importe où dans un programme de commande Awk et son utilisation peut précéder sa définition. La portée de la fonction est globale.

Les paramètres de fonction peuvent être des scalaires ou des tableaux. Les noms de paramètre sont locaux à la fonction ; tous les autres noms de variable sont globaux. Le même nom ne doit pas être utilisé pour différentes entités ; par exemple, un nom de paramètre ne doit pas être dupliquée en tant que nom de fonction ou variable spéciale. Les variables ayant une portée globale ne doivent pas partager le nom d'une fonction. Les scalaires et les tableaux ne doivent pas avoir le même nom dans la même portée.

Le nombre de paramètres dans la définition de fonction ne doit pas correspondre au nombre de paramètres utilisés lors de l'appel de la fonction. Les paramètres formels en excès peuvent être utilisés comme variables locales. Les paramètres scalaires supplémentaires sont initialisés avec une valeur de chaîne équivalente à la chaîne vide et une valeur numérique de 0 (zéro) ; les paramètres de tableau supplémentaires sont initialisés en tant que tableaux vides.

Lors de l'appel d'une fonction, aucun espace blanc n'est placé entre le nom de la fonction et la parenthèse ouvraire. Les appels de fonction peuvent être imbriqués et récursifs. En retour d'un appel de fonction imbriqué ou récursif, les valeurs de tous les paramètres de la fonction d'appel sont inchangée, à l'exception des paramètres de tableau transmis par référence. L'instruction Retour peut être utilisée pour renvoyer une valeur.

Dans une définition de fonction, les caractères de nouvelle ligne sont facultatifs avant l'ouverture { (brace) and after the closing } (accolade).

Voici un exemple de définition de fonction:

function average ( g,n) 
  {
        for (i in g)
           sum=sum+g[i]
        avg=sum/n
        return avg
  } 

La moyenne de la fonction est transmise à un tableau,gEt une variable,n, avec le nombre d'éléments dans le tableau. La fonction obtient alors une moyenne et la retourne.

Conditional Statements

La plupart des instructions conditionnelles du langage de programmation de commandes Awk ont la même syntaxe et la même fonction que les instructions conditionnelles dans le langage de programmation C. Toutes les instructions conditionnelles permettent l'utilisation de { } (accolades) pour regrouper des instructions. Une nouvelle ligne facultative peut être utilisée entre la portion d'expression et la partie d'instruction de l'instruction conditionnelle, et les nouvelles lignes ou ; (point-virgule) sont utilisées pour séparer plusieurs instructions dans { } (accolades). Six énoncés conditionnels en langage C sont:

Cinq instructions conditionnelles dans le langage de programmation de commandes Awk qui ne suivent pas les règles de langage C sont les suivantes:

for (i in g)
   delete g[i];

Instructions de sortie

Deux instructions de sortie dans le langage de programmation de commande Awk sont les suivantes:

Remarque: Si le paramètre Expression indique un nom de chemin pour le paramètre Redirection , le paramètre Expression doit être placé entre guillemets pour garantir qu'il est traité comme une chaîne.

Variables

Les variables peuvent être des scalaires, des variables de zone, des tableaux ou des variables spéciales. Les noms de variable ne peuvent pas commencer par un chiffre.

Les variables peuvent être utilisées uniquement en les référençant. A l'exception des paramètres de fonction, ils ne sont pas explicitement déclarés. Les variables scalaires et les éléments de tableau non initialisés ont une valeur numérique de 0 (zéro) et une valeur de chaîne de la chaîne null ("").

Les variables prennent des valeurs numériques ou de chaîne en fonction du contexte. Chaque variable peut avoir une valeur numérique, une valeur de chaîne ou les deux. Par exemple :

x = "4" + "8"

Affecte la valeur de12à la variablex. Pour les constantes de chaîne, les expressions doivent être incluses dans "" (guillemets).

Il n'existe aucune conversion explicite entre les nombres et les chaînes. Pour forcer une expression à être traitée comme un nombre, ajoutez 0 (zéro) à cette expression. Pour forcer une expression à être traitée comme une chaîne, ajoutez une chaîne nulle ("").

Variables de zone

Les variables de zone sont désignées par un $ (signe dollar) suivi d'un nombre ou d'une expression numérique. La première zone d'un enregistrement est affectée à la variable $1 , la deuxième zone est affectée à la variable $2 , et ainsi de suite. La variable de zone $0 est affectée à l'enregistrement complet. De nouvelles variables de zone peuvent être créées en leur affectant une valeur. L'affectation d'une valeur à une zone inexistante, c'est-à-dire toute zone supérieure à la valeur actuelle de la variable de zone $NF , force la création de toutes les zones intermédiaires (définie sur la chaîne null), augmente la valeur de la variable spéciale NF et force la valeur de la variable d'enregistrement $0 à être recalculée. Les nouvelles zones sont séparées par le séparateur de zone en cours (qui correspond à la valeur de la variable spéciale F ). Les blancs et les tabulations sont les séparateurs de zone par défaut. Pour modifier le séparateur de zone, utilisez l'indicateur -F ou affectez à la variable spéciale F une valeur différente dans le programme de commande Awk .

Arrays

Les tableaux sont initialement vides et leur taille change dynamiquement. Les tableaux sont représentés par une variable avec des indices en [ ] (crochets). Les sous-scripts, ou identificateurs d'élément, peuvent être des nombres de chaînes, qui fournissent un type de fonction de tableau associatif. Par exemple, le programme:

/red/  { x["red"]++ }
/green/ { y["green"]++ }

Incréments d'incréments pour les deuxredCompteur et legreenCompteur.

Les tableaux peuvent être indexés avec plusieurs sous-scripts, similaires à des tableaux multidimensionnels dans certaines langages de programmation. Etant donné que les tableaux de programmation de la commande Awk sont vraiment unidimensionnels, les sous-scripts séparés par des virgules sont convertis en une seule chaîne en concaténant les valeurs de chaîne des expressions distinctes, chaque expression étant séparée par la valeur de la variable d'environnement SOUS-SEP . Par conséquent, les deux opérations d'indexation suivantes sont équivalentes:

x[expr1, expr2,...exprn]

ET

x[expr1SUBSEPexpr2SUBSEP...SUBSEPexprn]

Lors de l'utilisation de l'opérateur Dans , une valeur Index multidimensionnelle doit être contenue entre parenthèses. A l'exception de l'opérateur Dans , toute référence à un élément de tableau inexistant crée automatiquement cet élément.

Variables spéciales

Les variables suivantes ont une signification particulière pour la commande Awk :

Indicateurs

Statut de sortie

Cette commande renvoie les valeurs de sortie suivantes :

Vous pouvez modifier l'état de sortie dans le programme à l'aide de l'instruction conditionnelle Sortie [ Expression ] .

Exemples

1. Pour afficher les lignes d'un fichier de plus de 72 caractères, entrez:

   awk  'length  >72'  chapter1

   Cette option sélectionne chaque ligne de lachapter1Qui contient plus de 72 caractères et qui écrit ces lignes dans la sortie standard, car aucun Action n'est spécifié. Un caractère de tabulation est compté comme un octet.
2. Pour afficher toutes les lignes entre les mots startetstop,including "start"et "stop",Entrez :

   awk  '/start/,/stop/'  chapter1

3. Pour exécuter un programme de commande Awk ,sum2.awk,Qui traite le fichier,chapter1, entrez:

   awk  -f  sum2.awk  chapter1

   Le programme suivant:sum2.awk, calcule la somme et la moyenne des nombres dans la deuxième colonne du fichier d'entrée,chapter1:

       {
          sum += $2
       }
   END {
          print "Sum: ", sum;
          print "Average:", sum/NR;
       }

   La première action ajoute la valeur du second champ de chaque ligne à la variablesum. Toutes les variables sont initialisées à la valeur numérique 0 (zéro) lors de la première référence. Le modèle FIN avant la seconde action entraîne l'exécution de ces actions une fois que le fichier d'entrée a été lu. La variable spéciale NR , utilisée pour calculer la moyenne, est une variable spéciale spécifiant le nombre d'enregistrements lus.
4. Pour imprimer les deux premiers champs dans l'ordre inverse, entrez:

   awk '{ print $2, $1 }' chapter1

5. Le programme Awk suivant

   awk -f sum3.awk chapter2

   Imprime les deux premières zones du fichierchapter2Avec des zones d'entrée séparées par des virgules et / ou des blancs et des tabulations, puis additionné la première colonne et imprime la somme et la moyenne:

   BEGIN  {FS = ",|[ \t]+"}
          {print $1, $2}
          {s += $1}
   END    {print "sum is",s,"average is", s/NR }