Préface de Emilie Beau, Cloud Solution Architect Data & AI chez Microsoft

Ce livre sur Azure Data Factory (dans sa version V2 de 2018) s'adresse principalement aux développeurs qui souhaitent mettre en œuvre dans leurs applications des solutions d'intégration de données industrialisées et normées, en respectant les bonnes pratiques de l'outil.

L'auteur commence par présenter les grands concepts d'Azure Data Factory avant de détailler les différentes activités liées aux données (activité de flux de données, activité de traitement, activité de flux de contrôle…). L'auteur met également l'accent sur les Data Flow, véritable révolution au sein des outils d'intégration dans le Cloud, permettant de réaliser des transformations de données graphiquement ou via Power Query.

Dans la suite du livre, il donne les explications nécessaires sur les premiers pipelines, sur l'utilisation du portail Azure, du SDK C# ou encore des templates ARM pour développer efficacement avec Azure Data Factory. Des notions plus avancées sur le développement sont également décrites au travers de différentes approches de l'architecture Data Warehouse. Puis, un chapitre est consacré à l'administration et à la supervision d'Azure Data Factory.

Pour finir, l'auteur présente la notion d'intégration continue permettant au lecteur de capitaliser au maximum sur l'approche DevOps au cœur de l'utilisation d'Azure Data Factory, tout en ayant conscience des subtilités liées à la fois aux architectures cloud et à la modernisation des architectures de données.

Pour illustrer les notions étudiées, l'auteur s'appuie sur un exemple détaillé d'alimentation d'entrepôt et de lac de données, ainsi que sur de nombreux cas d'usages courants tels que l'envoi d'e-mails ou l'actualisation de modèles Analysis Services. Les sources des exemples sont disponibles en téléchargement sur le site www.editions-eni.fr.



Quizinclus dans
la version en ligne !

• Testez vos connaissances à l'issue de chaque chapitre
• Validez vos acquis

Découvrez nos formations Microsoft Azure éligibles au CPF en cliquant ici. Formation 100% financée, selon vos droits !

Téléchargements

• Des fichiers complémentaires (41,5 Mo)

Introduction

1. Préface
2. Avant-propos

Introduction à ADF

1. Cloud et ETL
2. Architectures
   1. 1. Architecture SSIS PaaS
   2. 2. Architecture Data Warehouse
      1. a. Approche ELT
      2. b. Approche ETL
   3. 3. Architecture Data Lake
   4. 4. Autres architectures
3. Positionner ADF et SSIS

Concepts ADF

1. Présentation générale
2. Correspondance SSIS - ADF
3. Outils de développement
   1. 1. Portail Azure Data Factory
   2. 2. SDK .NET
   3. 3. Azure PowerShell
   4. 4. Modèle Azure Resource Manager
   5. 5. API REST
4. Azure Data Factory
   1. 1. Création du service
   2. 2. Gestion des droits
5. Services liés
6. Integration Runtimes
   1. 1. Azure Integration Runtimes
   2. 2. Integration Runtimes Auto-Hébergé
      1. a. Installation d’un IR Auto-Hébergé
      2. b. Partage d’un IR Auto-Hébergé
      3. c. Haute disponibilité et Scalabilité
      4. d. Diagnostics
   3. 3. SSIS Integration Runtimes
7. Jeu de données
8. Activité
9. Pipeline
10. Déclencheur
    1. 1. Déclencheur sur planification
    2. 2. Déclencheur sur intervalle
    3. 3. Déclencheur sur évènement
11. Support des connecteurs
    1. 1. Connecteurs Azure
    2. 2. Connecteurs Base de données
    3. 3. Connecteurs NoSQL
    4. 4. Connecteurs Fichiers
    5. 5. Connecteurs génériques
    6. 6. Connecteurs Services et Applications
    7. 7. Connecteurs de service de traitement

Activités et Data Flows en détail

1. Introduction
2. Activité de flux de données
   1. 1. Copy Data
   2. 2. Mapping Data Flow
   3. 3. Delete
3. Activité de traitement
   1. 1. Batch Service
   2. 2. Databricks
      1. a. Notebook
      2. b. Jar
      3. c. Python
   3. 3. Data Lake Analytics
   4. 4. HDInsight
      1. a. Hive
      2. b. Map Reduce
      3. c. Pig
      4. d. Spark
   5. 5. Machine Learning
      1. a. ML Batch Execution
      2. b. ML Update Resource
4. Activité de flux de contrôle
   1. 1. Général
      1. a. Append Variable
      2. b. Set Variable
      3. c. Validation
      4. d. Azure Function
      5. e. Execute Pipeline
      6. f. Execute SSIS Package
      7. g. Get Metadata
      8. h. Lookup
      9. i. Stored Procedure
      10. j. Web
      11. k. WebHook
      12. l. Wait
   2. 2. Iterations & Conditionals
      1. a. Filter
      2. b. ForEach
      3. c. If Condition
      4. d. Until

Data Flow

1. Introduction aux Data Flow
2. Mapping Data Flow
   1. 1. Source et destination
      1. a. Source
      2. b. Sink
   2. 2. Multiples inputs/outputs
      1. a. New Branch
      2. b. Join
      3. c. Conditional Split
      4. d. Union
      5. e. Lookup
      6. f. Exists
   3. 3. Schema modifier
      1. a. Derived Column
      2. b. Aggregate
      3. c. Surrogate Key
      4. d. Select
      5. e. Pivot
      6. f. Window
   4. 4. Row modifier
      1. a. Filter
      2. b. Sort
      3. c. Alter Row
   5. 5. Expression
      1. a. Mathématique
      2. b. Agrégations
      3. c. Texte
      4. d. Date/Temps
      5. e. Type
      6. f. Opérateur logique
      7. g. Opérateur de comparaison
      8. h. Hachage
      9. i. Politique de mise à jour
      10. j. Sélection de colonnes
      11. k. Autre
   6. 6. Configuration avancée
      1. a. Optimize
      2. b. Inspect
      3. c. Data Preview
3. Wrangling Data Flow
   1. 1. Initialisation
   2. 2. Interface Power Query
      1. a. Liste des requêtes
      2. b. Menu des transformations
      3. c. Étapes
      4. d. Formule
      5. e. Prévisualisation

Développement ADF

1. Les bases
   1. 1. Convention de nommage
      1. a. Azure Data Factory
      2. b. Pipeline
      3. c. Service lié et jeu de données
      4. d. Activité
      5. e. Mapping Data Flow
2. Premiers pipelines
   1. 1. Integration Runtimes Auto-Hébergé
   2. 2. Utilisation du portail Azure
      1. a. Création d’un IR Auto-Hébergé
      2. b. Copie de données
      3. c. Débogage
      4. d. Planification
   3. 3. Utilisation du SDK C#
      1. a. Prérequis
      2. b. Le client Data Factory Management
      3. c. Création d’une Azure Data Factory
      4. d. Création d’un IR Auto-Hébergé
      5. e. Création des services liés
      6. f. Création des jeux de données
      7. g. Création du pipeline de copie
      8. h. Déclenchement et planification
   4. 4. Utilisation de Template ARM
      1. a. Prérequis
      2. b. Création d’une Azure Data Factory
      3. c. Création d’un IR Auto-Hébergé
      4. d. Création des services liés
      5. e. Création des jeux de données
      6. f. Création du pipeline de copie
      7. g. Déclenchement et planification
   5. 5. Utilisation de PowerShell
      1. a. Prérequis
      2. b. Création d’une Azure Data Factory
      3. c. Création d’un IR Auto-Hébergé
      4. d. Création des services liés
      5. e. Création des jeux de données
      6. f. Création du pipeline de copie
      7. g. Déclenchement et planification
   6. 6. Quel outil choisir??

Administration et supervision

1. Administration d’Azure Data Factory
   1. 1. Droits
   2. 2. Identité managée
   3. 3. Gestion des environnements
      1. a. Services liés
      2. b. Déclencheur
   4. 4. Integration Runtimes
2. Supervision Azure Data Factory
   1. 1. Portail Azure
      1. a. Tableau de bord
      2. b. Exécution de pipeline
   2. 2. Azure Monitor
      1. a. Les métriques
      2. b. Journaux
      3. c. Alertes
   3. 3. Azure Data Factory Analytics
   4. 4. Integration Runtimes
      1. a. Azure
      2. b. Auto-Hébergé
      3. c. SSIS
3. Gestion des coûts
   1. 1. Orchestration
   2. 2. Exécution
   3. 3. Data Flow
   4. 4. Opérations
   5. 5. Pipelines inactifs

Développement avancé

1. Présentation du chapitre
2. Les Templates
3. Architecture Data Warehouse
   1. 1. Cas d’étude
      1. a. Contexte
      2. b. Architecture
      3. c. Mise en place de l’environnement
      4. d. Accès aux données On-Premise
   2. 2. Approche ELT
      1. a. Chargement SQL
      2. b. Chargement CSV
      3. c. Chargement Excel
      4. d. Chargement API HTTP
      5. e. Traitements des données
      6. f. Gestion des erreurs
   3. 3. Approche ETL avec Mapping Data Flow
      1. a. Integration Runtimes partagé
      2. b. Collecte des données
      3. c. Dimension géographie
      4. d. Dimension client (SCD 2)
   4. 4. Approche ETL avec Wrangling Data Flow
      1. a. Introduction
      2. b. Collecte des données
      3. c. Dimension géographie
   5. 5. Planification
   6. 6. ETL ou ELT, quelle approche choisir??
4. Cas d'utilisation divers
   1. 1. Gestion de ressource Azure
      1. a. Authentification AAD
      2. b. Actualisation SSAS
      3. c. Démarrage et pause de SQLDW
      4. d. Authentification MSI
   2. 2. Envoyer des e-mails depuis Azure Data Factory
      1. a. Logic App d’envoi de mail
      2. b. Envoi d’e-mails depuis ADF

Intégration continue

1. Présentation CI/CD et Azure DevOps
2. Configuration d'un dépôt de code
3. Développement dans un contexte GIT
4. Déploiement continu

Conclusion

1. Développement Azure Data Factory
2. État de la solution
3. Perspective d'avenir