tMap et les fonctions Java dans Talend

Introduction

Le composant tMap est le composant le plus important et le plus complet dans Talend.

Grâce à ce composant, il est possible d’effectuer plusieurs transformations et jointures diverses entre différentes sources de données tout en récupérant leurs schémas, de récupérer les lignes en rejet, de créer des variables, de désigner des clés étrangères, de supprimer une ligne en sortie, d’effectuer des conditions avec plusieurs lignes en entrée, etc.

Le composant tMap permet également de faire appel à des fonctions Java afin d’effectuer des transformations diverses et variées, mais aussi de faire appel aux routines système et à celles que nous allons créer dans ce chapitre.

Dans ce chapitre, nous allons créer des routines personnalisées et nous verrons les notions Java les plus importantes pour pouvoir résoudre des problèmes d’implémentation que nous n’aurions pas pu résoudre avec les routines système de Talend.

Quelques notions sur Java dans Talend

Dans cette section du chapitre, nous allons voir quelques-unes des notions indispensables sur l’utilisation de Java dans Talend, avec pour chaque expression sa signification en français :

Numeric.sequence 
("Parameter name", 
start value, increment value) 

Numeric.resetSequence 
(Sequence Identifier, 
startvalue) 

Numeric.RemoveSequence 
(Sequence Identifier) 

Numeric.random(minimum 
start value, maximum end 
value) 

Numeric.convertImplied
DecimalFormat ("Target 
Format", value to be  
converted) 

Talend et les tests ternaires

Dans cette section du chapitre, nous allons voir les trois tests ternaires les plus utilisés lors du développement de jobs Talend.

[(‘'USA'').equals(row1.pays)] 

Job 25 : les fonctions Java dans tMap

Le job JAVA_FUNCTIONs permet d’utiliser plusieurs fonctions Java contenues dans Talend afin de réaliser diverses opérations en vue de transformer les données en sortie.

Job et paramètres du composant tFileInputDelimited

Paramétrage du composant tMap

Les fonctions Java

row1.FIRSTname+"-"+row1.LASTname 

StringHandling.UPCASE(row1.COUNTRY) 

("France").equals(row1.COUNTRY)? "NOT ENTITLED:"ENTITLED" 

(row1.SALARY <900)? row1.SALARY*120/100 : row1.SALARY*1 

StringHandling.LEFT(row1.DATE,6) 

Paramétrage du composant tFileInputDelimited

Contextes du composant tFileInputDelimited

Schéma du fichier dans tFileInputDelimited

Job 28 : jointure Inner Join (deuxième job)

Le job Talend InnerJoin permet d’effectuer une jointure Inner Join avec le composant tMap entre deux fichiers qui contiennent une liste de clients d’une part et les commandes effectuées par ces clients d’autre part. Le but est d’extraire les commandes effectuées par des clients aux États-Unis, au Royaume-Uni, en Espagne et dans les autres pays, puis de mettre toutes ces données dans des fichiers différents.

Job InnerJoin

Paramétrages du composant tMap

Il est à noter que pour chaque sortie, il a été spécifié que row1.Country doit être égal à, respectivement, USA pour le fichier de sortie qui contient les commandes des clients des USA,

("USA").equals(row1.Country) 

UK pour le fichier de sortie qui contient les commandes des clients du Royaume -Uni,

("UK").equals(row1.Country) 

Spain pour le fichier de sortie qui contient les commandes des clients d’Espagne. 

("Spain").equals(row1.Country) 

Le modèle de jointure (Join Model) a également été spécifié, de même que le modèle de correspondance (Match Model).

Résultats du job InnerJoin

Job 29 : jointure Inner Join avec tJoin

Dans ce job Talend JobtJoin il s’agit d’effectuer une jointure entre deux fichiers, Orders et Clients. La jointure en question est de type Inner Join, et va permettre de retourner en sortie, dans des fichiers distincts, les personnes qui ont effectué des commandes et les personnes qui n’en ont pas effectué.

Job_tJoin

Paramétrage du composant tJoin

Tout d’abord, les colonnes à retourner en sortie ont été spécifiées dans Mapping de la colonne, tout en spécifiant au composant d’inclure la colonne Lookup dans la sortie. En effet, sans cela, aucune colonne du Lookup (dans ce job il s’agit de celles du fichier Orders) ne pourrait être retournée en sortie. Puis, la clé sur laquelle la jointure Inner Join doit être effectuée a été définie..

Il est à noter que la clé définie est la colonne CustomerID, qui figure dans les deux fichiers, et que la case Jointure Inner Join (avec rejets en sortie) a été cochée afin de retourner les colonnes qui ne satisfont pas la condition de la clé, à savoir CustomerID=row2.CustomerID.

Résultats du job

Job 30 : jointure Full Outer Join

Dans ce job Talend FULL_JOIN, il s’agit d’effectuer une jointure entre deux fichiers. La jointure en question se nomme Full Outer Join et permet de retourner en sortie, dans un fichier commun, les numéros et dates de commandes des clients ainsi que leurs noms et prénoms.

Job FULL_JOIN

Pour effectuer une jointure Full Outer Join, il est nécessaire d’effectuer d’abord une jointure à gauche en mettant le fichier des clients avec le lien Main vers le tMap_1 et Orders en lien Lookup, puis d’effectuer une autre jointure mais cette fois avec le fichier des clients en lien Lookup et Orders en lien Main vers le tMap_2.

Jointure à gauche Clients et Orders

Jointure à droite Clients et Orders

Pour joindre les données en sortie des deux tMap, le composant tUnite, spécifiquement conçu pour cela, est utilisé.

Résultat du Job FULL_JOIN

Job 31 : job avec routines

Paramétrage de routine dans tMap

Le nom de la routine créée est gestion_stock. Elle est ensuite appelée dans tMap afin de générer un rapport ou un fichier contenant toutes les lignes satisfaisant la condition précédemment écrite dans la routine. Voici le code de la routine gestion_stock :

Code de la routine

Explication du code

Résultat du JOB_ROUTINES

package routines; 
import java.io.BufferedReader; 
import java.io.FileReader; 
 
public class Main { 
  public static void main(String[] args) throws Exception { 
    // Ouvre un BufferedReader pour lire le fichier CSV 
    BufferedReader reader = new BufferedReader(new FileReader("fichier.csv")); 
 
    // Compte le nombre de lignes 
    int lineCount = 0; 
    while (reader.readLine() != null) { 
      lineCount++; 
    } 
 
    // Ferme le BufferedReader 
    reader.close(); 
 
    // Affiche le nombre de lignes 
    System.out.println(lineCount); 
  } 
} 

package routines; 
import java.nio.file.Files; 
import java.nio.file.Paths; 
import java.util.regex.Matcher; 
import java.util.regex.Pattern; 
 
public class Main { 
  public static void main(String[] args) throws Exception { 
    // Lit le contenu du fichier CSV dans une chaîne de caractères 
    String csvContent = 
new String(Files.readAllBytes(Paths.get("fichier.csv"))); ...