Analyse de données et Business Intelligence

1. Introduction

De plus, Athena est souvent utilisé conjointement avec Amazon QuickSight pour créer des tableaux de bord.

Les objectifs principaux d’Athena sont :

Ce service est idéal pour les analyses de données et l’exécution de requêtes SQL classiques sur des fichiers de différents formats stockés dans S3, comme CSV, JSON, Avro, Parquet, ou ORC.

Athena est utile dans beaucoup de cas tels que :

1. Introduction

Lorsqu’un ensemble de données est importé dans QuickSight, les calculs sont exécutés en mémoire grâce au moteur SPICE (Super-fast, Parallel, In-memory Calculation Engine), garantissant des performances élevées même sur de grands volumes de données. La version entreprise de QuickSight offre également des fonctionnalités avancées, telles que la possibilité de configurer la sécurité au niveau des colonnes (Column-Level Security - CLS), permettant de restreindre l’accès aux données selon les rôles des utilisateurs.

De plus, le service offre une tarification flexible par session, ce qui en fait une bonne solution pour les entreprises souhaitant fournir un accès BI ponctuel à un grand nombre d’utilisateurs sans générer de coûts fixes élevés.

Enfin, Amazon QuickSight intègre une fonctionnalité appelée ML Insights, qui utilise des algorithmes de machine learning pour détecter automatiquement des tendances, des anomalies et des prévisions dans les données, sans nécessiter de compétences avancées en data science. Cette fonctionnalité permet aux utilisateurs...

1. Introduction

OpenSearch peut être déployé de deux manières : en mode cluster managé ou en mode serverless, offrant ainsi une solution adaptée aux différents besoins de scalabilité et de gestion. OpenSearch est également livré avec OpenSearch Dashboards, une interface de visualisation intuitive permettant de créer des tableaux de bord interactifs pour explorer les données en temps réel.

Ce tableau de bord, intitulé Flight Dashboard, offre une visualisation des données liées aux vols, comprenant des informations sur le nombre total de vols, les retards et les annulations, ainsi que le prix moyen des billets. Il intègre différents graphiques, comme un diagramme circulaire pour la répartition des compagnies aériennes, un graphique de tendance pour le suivi du prix moyen des billets en fonction du temps, et plusieurs indicateurs clés comme le total des vols et le nombre de retards. Ce type de tableau de bord est conçu pour analyser les performances des vols, identifier des tendances et améliorer la gestion des opérations aériennes.

2. Fonctionnement d’Amazon OpenSearch

1. Introduction

L’un des principaux atouts d’AWS Glue réside dans son approche automatisée. Grâce à des crawlers intelligents, Glue peut explorer les datasets dans des sources telles qu’Amazon S3, Redshift, RDS ou DynamoDB, détecter automatiquement les schémas des données et créer un catalogue centralisé de métadonnées. Ce catalogue sert de référentiel pour les outils analytiques d’AWS comme Athena, Redshift Spectrum ou EMR, facilitant ainsi l’exploration et l’interrogation des données.

De plus, AWS Glue offre une interface intuitive via Glue Studio, permettant aux utilisateurs de créer des pipelines ETL complexes sans avoir besoin d’écrire de code, ou en utilisant des scripts Python ou Scala pour des transformations plus avancées. Il prend en charge une large gamme de formats de données comme JSON, CSV, Parquet, et ORC, le rendant adapté à de nombreux cas d’usage, qu’il s’agisse de la création de Data Lakes, de la migration de données entre systèmes, ou de la préparation des données pour le machine learning.

Grâce à sa gestion automatique des infrastructures, Glue élimine le besoin de configurer et d’administrer des serveurs...

1. Introduction

EMR prend en charge plusieurs frameworks open source populaires tels que Apache Spark, Hadoop, Presto, Hive, Flink et HBase, offrant ainsi une solution flexible pour divers cas d’usage, comme :

Amazon EMR offre une grande flexibilité en permettant d’utiliser différents types d’instances EC2 (On-Demand, Réservées ou Spot), ce qui aide à optimiser les coûts selon les besoins de chaque tâche. Les clusters peuvent être dimensionnés à grande échelle, allant de quelques instances à des centaines, selon la charge de travail.

2. Fonctionnement d’Amazon EMR

1. Rappel sur Amazon Redshift

Nous avons déjà présenté Amazon Redshift et ses principales caractéristiques (cf. chapitre Gestion des bases de données - Amazon Redshift). Pour rappel, Amazon Redshift est un service d’entrepôt de données entièrement managé par AWS, conçu pour exécuter des requêtes analytiques complexes sur de grands volumes de données. Redshift est particulièrement adapté aux charges de travail OLAP (Online Analytical Processing), qui consistent à analyser des données agrégées pour des besoins de Business Intelligence, de reporting et d’analyse de tendances.

Contrairement aux bases de données transactionnelles (OLTP), qui sont optimisées pour les opérations fréquentes et les petites requêtes, Redshift est optimisé pour traiter des requêtes lourdes et complexes sur des datasets de plusieurs téraoctets ou pétaoctets. Il permet d’interroger efficacement des données centralisées provenant de plusieurs sources, notamment via des intégrations avec AWS Glue, RDS, S3. L’import de données depuis DynamoDB est également possible, bien qu’il nécessite une étape intermédiaire. 

Grâce à son modèle de stockage en colonnes et son moteur...

1. Introduction

La création d’un Data Lake traditionnel nécessite des étapes complexes, notamment la collecte de données depuis différentes sources, la gestion des métadonnées et l’application de règles de sécurité. AWS Lake Formation simplifie ce processus en automatisant :

En centralisant toutes ces fonctionnalités, Lake Formation permet aux entreprises de créer rapidement un Data Lake opérationnel et sécurisé, tout en assurant la gouvernance des données.

2. Fonctionnalités principales d’Amazon Lake Formation

1. Analyse de logs S3 avec Athena

L’objectif de ce TP est d’utiliser Amazon Athena pour interroger les logs AWS CloudTrail stockés dans un bucket S3. Cette approche permet d’analyser en profondeur les activités des utilisateurs et services AWS, facilitant ainsi la détection d’éventuelles anomalies et l’identification d’actions suspectes. Elle est également utile pour le troubleshooting, en permettant de retracer précisément les événements et interactions au sein de l’infrastructure AWS.

Dans ce contexte, le gérant de FrenchBakery souhaite mettre en place un contrôle centralisé sur l’ensemble de ses comptes AWS afin de superviser toutes les actions effectuées sur son infrastructure. Grâce à CloudTrail, les logs de toutes les opérations réalisées au sein de ses environnements AWS sont enregistrés et centralisés dans Amazon S3, et avec AWS Glue, ces données deviennent interrogeables via Athena. Cette solution lui permet ainsi d’avoir une traçabilité complète des accès et des modifications effectuées, lui offrant une visibilité totale sur la gestion de ses ressources.