Le langage de programmation awk

Présentation

Le langage de programmation awk est un outil adapté au traitement de fichiers textes. Il permet d’effectuer des actions sur des enregistrements de données éventuellement structurés en champs. Le nom "awk" a pour origine les initiales du nom de chacun de ses auteurs : Aho, Weinberger et Kernighan. Ce chapitre présente les principales fonctionnalités des versions récentes du langage awk, appelées nawk (new awk) sur certaines plates-formes Unix. Sous Linux, la commande awk est un lien symbolique vers l’interpréteur gawk (GNU awk).

awk [-F] '{action-awk}' [ fic1 ... ficn ] 
awk [-F] -f script-awk [ fic1 ... ficn ] 

$ gawk --version 
GNU Awk 4.1.3, API: 1.1 

Opérateurs

Le tableau suivant regroupe les opérateurs disponibles dans le langage.

Exemple de concaténation

Concaténation (opérateur espace) de la variable nom et de la variable prenom dans la variable nomPrenom :

$ awk 'BEGIN { nom="Durand" ; prenom="Michel" ; nomPrenom=nom prenom ;
print nomPrenom}' 
DurandMichel 

Même chose en concaténant le caractère espace entre le nom et le prénom :

$ awk 'BEGIN { nom="Durand" ; prenom="Michel"...

Redirections

Il est possible de rediriger les sorties du script vers un fichier ou vers une commande du système d’exploitation.

Syntaxe

instruction > "fichier" 

instruction >> "fichier" 

print[f] "..." | "commande" 

Premier exemple

Ouverture en mode écrasement :

$ nl redirect1.awk  
1 BEGIN { 
2     nomfic = "/tmp/fic.txt" 
3     print "Ligne 1" > nomfic 
4     print "Ligne 2" > nomfic 
5     print "Ligne 3" > nomfic 
6     close(nomfic) 
7 } 

Exécution :

$ date > /tmp/fic.txt # création d'un fichier non vide  
$ cat /tmp/fic.txt 
mer. jan 26 14:14:32 CET 2022 
$ awk -f redirect1.awk # Exécution du script awk 
$ cat /tmp/fic.txt # Le contenu précédent a été écrasé 
Ligne 1 
Ligne 2 
Ligne 3 
$ 

Deuxième exemple

Ouverture en mode ajout :

$ nl redirect2.awk 
1 BEGIN { ...

Lecture de la ligne suivante : next

L’instruction next interrompt le traitement de la ligne courante et déclenche la lecture de la ligne suivante, sur laquelle le traitement intégral sera appliqué.

Exemple

Le script region1.awk réaffiche le fichier tel3.txt en ajoutant un champ avant le téléphone contenant la valeur RP pour les clients localisés en région parisienne et REGION pour les clients localisés en province.

$ nl region1.awk  
    1  BEGIN {  
    2    FS="|"  
    3  }  
 
    4  $3 ~ /^(7[578]|9[1-5])/ {  
    5    printf ("%s|%s|%s|%s|RP|%s\n",$1,$2,$3,$4,$5)  
    6    # Saut à l'enregistrement suivant  
    7    next  
    8  }  
 
    9  {  
    10    printf ("%s|%s|%s|%s|REGION|%s\n",$1,$2,$3,$4,$5)  
    11  } 

Exécution :

$ awk -f region1.awk tel3.txt 
Joyeux Giselle|12. rue de la Source|89290|Vaux|REGION|03.45.26.28.47 
Dehaut Olivier|3 rue de Pussenval|75020|Paris|RP|01.78.25.96.78 
Karama Josette|256 rue de la tempete|56100|Lorient|REGION|02.85.26.45.58 
Zanouri Joel|45/48 boulevard du Gard|56100|lorient|REGION|02/85/56/45/58 
Gron Pierre|89-90 rue du chateau|38350|La Mure|REGION|04.78.21.23.69 
Grival Zoe|3, rue du chateau|38350|La Mure|REGION|04.78.21.78.69 
$ 

Lignes 4 à 8 : la première section intermédiaire traite les codes postaux d’Ile de France. Dès que le traitement est terminé, l’instruction next redémarre...

Structures de contrôle

awk propose des structures de contrôle que l’on retrouve classiquement dans les langages de programmation. La syntaxe est héritée du langage C.

if (condition) { 
    instruction 
    ... 
}  
else { 
    instruction 
    ... 
} 

if (condition)  
    instruction 
else  
    instruction 

switch (expression) {  
  case valeur|expression-reguliere :   
      instruction  
      instruction  
        ...  
      break   
  case valeur|expression-reguliere :   
      instruction  
      instruction  
        ...  
      break   
  [ default :   
      instruction  
      instruction  
      break ]  
} 

Tableaux

Les éléments d’un tableau peuvent être indicés par un nombre ou par une chaîne de caractères. Cet indice est toujours vu comme une chaîne de caractères car dans le langage awk, tous les tableaux sont associatifs. Nous distinguerons néanmoins les deux cas de figure.

$ nl tab.awk 
    1 # Section BEGIN 
    2 BEGIN { 
    3 FS="|"  
    4 }  
  
    5 # Tableau stockant les noms des clients 
    6 { 
    7 client[NR]=$1 
    8 } 
 
    9 # Section END 
    10 END { 
    11    # Affichage du tableau 
    12    for (indice=1 ; indice <= NR ; indice++) { 
    13      printf("Client no %4d => %-20s\n",indice, client[indice]); 
    14    } 
    15  } 
$ 

$ awk -f tab.awk tel3.txt 
Client no    1 => Joyeux Giselle 
Client no    2 => Dehaut Olivier 
Client no    3 => Karama Josette  
Client no    4 => Zanouri Joel 
Client no    5 => Gron Pierre ...

Tableaux multidimensionnels

$ nl tab2d.awk  
    1  BEGIN {  
    2    # Clé unique  
    3    tab[0,"nom"] = "Petit"  
    4    tab[0,"cp"] = "75001"  
    5    tab[1,"nom"] = "Dupont"  
    6    tab[1,"cp"] = "89000"  
 
    7 
    8    for (i=0; i<=1; i++) {  
    9      print "Indice " i " : "  
   10      print "Nom : " tab[i,"nom"]  
   11      print "CP  : " tab[i,"cp"]  
   12      print "------------"   
   13    }  
   14        
 
   15    for (cle in tab) {  
   16      print "Clé : --" cle "-- Valeur => " tab[cle]  
   17    }  
   18  } 

Les arguments de la ligne de commande

Les variables ARGV et ARGC

awk fournit un mécanisme qui permet de passer des arguments à un script au moment de son appel. Les variables ARGC et ARGV sont initialisées par awk et permettent de traiter les valeurs passées sur la ligne de commande. ARGV est un tableau qui contient les arguments reçus, hors options awk de la ligne de commande (ci-dessous -f arg.awk). ARGV[0] représente le nom de la commande (donc awk). Les valeurs contenues dans les postes suivants du tableau ARGV seront considérés comme les noms de fichier à traiter par les sections intermédiaires. ARGC contient le nombre d’arguments reçus. ARGV et ARGC sont disponibles dans toutes les sections du script.

Exemple

$ nl arg.awk 
     1  #! /bin/awk  
 
     2  BEGIN{ 
     3    print "ARGC = " , ARGC  
     4    for (i=0;i<ARGC;i++) { 
     5        printf("ARGV[%d] = %s\n",i, ARGV[i]) 
     6    } 
     7  } 
$ 
$ awk -f arg.awk agenda.txt tel3.txt 
ARGC = 3 
ARGV[0] = awk 
ARGV[1] = agenda.txt 
ARGV[2] = tel3.txt 

Transmettre des variables au script AWK à partir de la ligne de commande (versions actuelles de awk)

Sur les versions actuelles de awk (nawk,gawk), l’option -v est prévue pour initialiser des variables à partir de la ligne de commande. Ces variables seront disponibles dans toutes les sections du script (BEGIN, END et sections intermédiaires).

Syntaxe

$ awk -f script.awk -v var1=valeur1 [ -v var2=valeur2 ... ] 
[fichier_a_traiter] 

Exemple

Le script agenda1.awk permet de rechercher des informations dans le fichier agenda.txt. L’utilisateur...

Fonctions intégrées

Le langage awk dispose de fonctions intégrées.

Fonctions utilisateur

Syntaxe

Une fonction peut recevoir de 0 à n arguments et retourner une valeur explicite. Les fonctions peuvent être définies au-dessus ou au-dessous de leur appel.

Définition d’une fonction :

function nom_fonction (param1, param2 ... paramn) { 
 
return valeur 
} 

Appel d’une fonction :

valeur_retournee=nom_fonction(val1, val2, ..., valn) 

Exemple

Le script region2.awk réaffiche le fichier tel3.txt en ajoutant un champ avant le téléphone ; ajout de la valeur " RP " pour les clients localisés en région parisienne et " REGION " pour les clients localisés en province.

La fonction getRegion() reçoit en argument le code postal et retourne la chaine représentant la région.

$ nl region2.awk 
    1  # fonction qui retourne la valeur de la région 
    2  function getRegion (cp) { 
    3    # Region parisienne 
    4    if ( cp ~ /^7[578]|9[1-5])/ ) { 
    5      return "RP" 
    6    } 
    7    return "REGION" 
    8  } 
 
    9  # Section BEGIN 
    10  BEGIN { 
    11    FS="|" 
    12  } 
 
    13  # Section...

Exercices

Les fichiers fournis pour les exercices sont disponibles dans le répertoire dédié au chapitre sous l’arborescence Exercices/fichiers.

adjtime 
aliases 
asound.conf 
auto.master 
auto.misc 
. . . 

drwxr-xr-x. 24 christie christie  4096  3 févr. 12:26 . 
drwxr-xr-x. 11 root     root      4096 27 janv. 14:06 .. 
-rw-------.  1 christie ociensa  14752 22 janv. 12:40 .bash_history 

.bash_history 
.bash_logout 
.bash_profile 
.bashrc 

engine = On 
short_open_tag = Off 
asp_tags = Off 
zlib.output_compression = Off 
implicit_flush = Off 

engine                                   On  
short_open_tag                           Off  
asp_tags  ...