Adoption d’Hadoop

Introduction

Le succès et l’adoption à grande échelle d’Hadoop ne dépendent pas des développeurs, mais des utilisateurs métier.

Hadoop n’est pas un outil, ni une solution, mais un ensemble de technologies qui permettent de faire du traitement massivement parallèle de façon tolérante sur un cluster d’ordinateurs. Deux éléments forment ses fondations : le MapReduce, un modèle de calcul basé sur une approche « divide and conquer » (diviser et conquérir), et le HDFS, un système de fichiers distribué. Au départ, Hadoop était utilisé pour l’indexation de pages web. Mais, avec l’explosion des données qui a caractérisé l’essor de l’économie numérique, Hadoop s’est diversifié pour s’adapter à la résolution d’autres problématiques métier et c’est ainsi qu’est né l’écosystème technologique d’Hadoop tel que nous le connaissons aujourd’hui (voir le chapitre SQL dans Hadoop). Cependant, deux problèmes subsistent quant à l’adoption d’Hadoop en entreprise :

Distributions Hadoop

Nous allons désigner les stratégies d’adoption d’Hadoop par le terme "positionnement" car il ne s’agit pas de nouvelles fonctionnalités, mais des différentes formes d’emballage que les éditeurs donnent à Hadoop pour qu’il soit facilement adopté. La première forme de positionnement utilisée pour étendre l’adoption d’Hadoop en entreprise est la distribution, communément appelée distribution Hadoop. Dans ce type de positionnement, une entreprise (un éditeur logiciel) sélectionne une version open source d’Hadoop, concentre ses efforts de développement sur cette version de sorte à l’améliorer, développe des outils autour de cette version, la commercialise et en offre le support. Ainsi, une distribution Hadoop est une version commerciale d’Hadoop. L’avantage de la distribution est que l’évolution d’Hadoop est plus maîtrisée, intentionnelle et suit une feuille de route développée par l’éditeur. De plus, l’entreprise se porte garante de la sécurité de sa distribution et fournit le support nécessaire pour son exploitation. Actuellement, trois distributions Hadoop sont offertes sur le marché : la distribution Cloudera, la distribution Hortonworks, et la distribution MapR. Nous...

Distribution Cloudera d’Hadoop

Cloudera est une entreprise américaine fondée en 2008 par d’anciens ingénieurs de Google, Yahoo! et Facebook. Doug Cuting, l’auteur d’Hadoop et du HDFS, a rejoint Cloudera en 2009. À la différence d’Hortonworks, Cloudera se positionne comme un éditeur indépendant du monde open source et d’Apache. Cloudera développe ses propres technologies et met l’accent sur la formation. Sa distribution Cloudera Distribution including Apache Hadoop (en abrégé, CDH), est composée en partie des technologies open source d’Apache et de ses propres technologies. Tout comme la distribution Hortonworks, CDH inclut des technologies Apache qui restent la propriété intellectuelle de la fondation Apache. À ce jour, la dernière version de CDH est composée de : Apache Avro, Apache Flume, Apache Fuse-DFS, Apache Hadoop, Apache HBase, Apache HDFS, Apache Hive, Hue, Cloudera Impala, Apache Kudu, Apache Mahout, Apache MapReduce, Apache Oozie, Apache Pig, Cloudera Search, Apache Sentry, Apache Spark, Apache Sqoop, Apache Whirr, Apache ZooKeeper, Apache DataFu, Apache Kite, Apache YARN, Apache Kafka, Apache Flume et Cloudera Manager. La figure suivante illustre l’écosystème de la distribution CDH.

Figure 63 : Écosystème de CDH.

Cloudera est également connu pour avoir développé...

Distribution Hortonworks d’Hadoop

Hortonworks est une entreprise américaine fondée en 2011 et financée entre autres par Yahoo!. Elle offre une distribution qu’elle a baptisée Hortonworks Data Platform (HDP). Hortonworks est plus proche du monde open source d’Hadoop que les autres éditeurs. Elle intègre dans HDP pratiquement tous les outils qui sont développés par les communautés open source, ce qui permet aux entreprises de bénéficier des nouvelles versions d’Hadoop. Hortonworks ne concentre pas ses efforts sur le développement de ses propres outils, elle enrichit HDP que les outils développés par les communautés open source et construit des solutions métier autour de ces outils.

Bien qu’Hortonworks s’appuie sur les outils Hadoop développés par l’open source, ceux-ci restent la propriété intellectuelle de la fondation Apache. À titre de rappel, la fondation Apache est l’organisation open source qui fédère les communautés de personnes qui travaillent sur Hadoop et son écosystème.

À ce jour, la distribution HDP est constituée de quasiment la majorité des outils développés par Apache, c’est-à-dire d’Apache Accumulo, Apache Ambari, Apache Atlas, Apache Falcon, Apache Flume, Apache Hadoop, Apache Hadoop...

Distribution MapR d’Hadoop

MapR est une entreprise américaine fondée en 2009 pour la commercialisation d’Apache Hadoop. La particularité de MapR est qu’elle combine l’innovation technologique au travail de la communauté Apache Hadoop. Sa distribution, baptisée depuis 2016 Converged Data Platform (CDP), se compose de trois composants essentiels : MapR FS, MapR Streams, MapR DB, et de quelques composants d’Apache Hadoop.

Tableau récapitulatif des outils proposés

Le tableau suivant récapitule les outils proposés par les différentes distributions selon la catégorisation faite au chapitre SQL dans Hadoop concernant la composition d’un écosystème Hadoop.

Tableau 4 : Composition de l’écosystème des trois distributions.

Comme vous pouvez le constater, ce qui différencie les éditeurs en dehors des innovations technologiques, ce sont les choix des outils qu’ils décident d’intégrer dans leur distribution. Le choix des outils open source Hadoop à intégrer dans une distribution est la décision la plus...

Guide de sélection d’une distribution Hadoop

Hadoop est un ensemble de briques logicielles qui s’assemblent pour résoudre un problème métier. Et la première étape avant de choisir une distribution est d’écrire la problématique métier à résoudre avec Hadoop et de chercher les briques (open source dans un premier temps) qui permettent de résoudre cette problématique. À ce stade, vous avez le choix entre deux options : soit vous adoptez ces outils purement open source tels qu’ils sont, soit vous vous orientez vers les éditeurs de distributions. Si vous choisissez d’utiliser les briques dans leur version purement open source, alors gardez à l’esprit ce que nous avons dit concernant l’open source dans l’introduction de ce chapitre. Si vous choisissez la deuxième option, c’est-à-dire les distributions des éditeurs, nous vous proposons une liste de sept critères. Sur la base de ces critères, vous pourrez conduire un benchmark et sélectionner objectivement la distribution qui vous convient ou convient à votre client. Ces critères sont les suivants : la disponibilité des briques ou leurs substituts dans la distribution de l’éditeur, la sécurité, la performance, le support, le TCO, l’alignement de la distribution sur les besoins de l’entreprise et la convivialité dans l’utilisation.

Conclusion

Le succès et l’adoption d’Hadoop dépendent à long terme des utilisateurs métier. Les communautés de développeurs de la fondation Apache font un travail remarquable en développant des versions de plus en plus avancées d’Hadoop et en mettant à disposition des outils qui permettent de l’utiliser de façon efficace. Cependant, comme le remarquait Facebook dans l’un de ses billets de recherche (vous trouverez le lien vers le billet dans Liens et références utiles), le premier facteur qui affecte la performance d’un système, ce n’est pas le système lui-même, mais c’est l’expérience de l’utilisateur avec le système. Plus le système est simple à utiliser, plus il est utilisé. Par conséquent, la décision de faciliter l’usage d’Hadoop n’est pas une option, elle est même tellement importante que son adoption à long terme par les entreprises en dépend. La fondation Apache a compris cela, mais elle est avant tout un fédérateur de développeurs, et en tant que tel, son rôle n’est pas de forcer le développement d’Hadoop vers ce sens-là. Heureusement, les éditeurs commerciaux ont compris cela et ont décidé de fournir des distributions Hadoop, des versions...

À retenir