Analyse en composantes principales

Objectif du chapitre

Les algorithmes du Machine Learning permettent principalement de réaliser des regroupements, des classifications et des régressions dans l’objectif d’analyser les données et/ou de construire des modèles prédictifs sur ces données. Le plus souvent, ces données sont définies dans des espaces de très grande dimension. Cela cause deux problèmes majeurs, à savoir :

À partir de ce constat, le besoin de réduire la dimension des données devient important. L’objectif de ce chapitre est d’introduire l’ACP (Analyse en Composantes Principales) qui est l’une des méthodes les plus utilisées pour la réduction de dimensions.

À la fin de ce chapitre, le lecteur aura appris :

Pourquoi l’ACP ?

Les données de grande dimension posent des problèmes liés à la pertinence des modèles prédictifs. Mais avant tout, cette grande dimension pose des problèmes de visualisation. En effet, l’œil humain est un outil très puissant qui, à partir d’un simple graphique et en quelques fractions de seconde, peut détecter des regroupements d’individus et des liaisons entre les variables. Ces informations sur les individus et les variables peuvent naturellement être exploitées et utilisées pour la construction de modèles prédictifs performants. Le problème est que si les données sont exprimées dans un espace de dimension supérieur à trois, l’œil humain devient inutile. Dans la pratique, le plus souvent, les données appartiennent à des espaces nettement supérieurs à cette limite humaine. Pour en être convaincu, il suffirait par exemple de faire un tour sur le site www.kaggle.com où plusieurs compétitions sont proposées aux Data Scientists et aux amateurs de l’intelligence artificielle. Ces compétitions portent sur des problèmes réels issus du monde des entreprises et des laboratoires de recherche.

Il existe plusieurs méthodes qui permettent de synthétiser les informations d’un nuage de points...

L’ACP du point de vue géométrique

Figure 12-1 : projection d’un nuage de points sur différents axes

Afin de donner une vision géométrique et intuitive de l’ACP, considérons le nuage de 15 points défini dans un espace à deux dimensions et représenté dans les quatre graphiques de la figure 12-1. Pour passer de cet espace à deux dimensions à un espace plus petit à une dimension, il faudrait procéder à la projection sur un seul axe de tous les points du nuage. Comme il existe une infinité d’axes de projection possibles, la question qui se pose immédiatement est la suivante : comment choisir cet axe pour qu’à la fin de la projection l’information totale présente dans le nuage de points initial soit déformée le moins possible sur ce nouvel axe ?

Dans chacun des graphiques ci-dessous, le nuage de points est projeté sur un axe A différent. Vous remarquerez que la différence entre les quatre projections se situe essentiellement au niveau de la taille du segment S contenant toute la projection du nuage sur l’axe A.  

La projection d’un nuage de points défini dans un espace à plusieurs dimensions dans un autre espace de dimension inférieure ne peut que déformer l’information présente dans ce nuage projeté. Cependant...

L’ACP du point de vue analytique

Le premier objectif de l’ACP est de trouver le premier axe le plus proche du nuage de points étudié (voir la figure 12-2 ci-dessus). En d’autres termes, nous recherchons un axe tel que la quantité : est maximale avec

la distance entre le point P_i et sa projection orthogonale sur l’axe et n le nombre de points dans le nuage.

En appliquant le théorème de Pythagore, cela revient à maximiser la quantité :

(1)

car :

Pour maximiser la formule (1), il suffit de trouver un vecteur qui a la même direction que l’axe et qui maximise la formule suivante :

(2)

Avec le produit scalaire entre le vecteur associé au point P_i et le vecteur . Pour simplifier la formulation, nous allons noter OP_i par simplement P_i.

Sachant que : (3)

En remplaçant (3) dans (2), on obtient : (4)

Le produit scalaire est symétrique, donc la formule (4) devient :

(5)

Le terme n’est rien d’autre que la matrice de variance/covariance S du nuage de points initial, ou la matrice des corrélations si le nuage de points est centré et réduit. Donc la formule (5) devient : (6).

Le problème modélisé avec la formule (6) est un problème d’optimisation quadratique avec les inconnues du problème. Ce problème admet une infinité de solutions puisque, pour tout...

Indicateurs de la qualité de la représentation des données

Les sections précédentes ont montré qu’une ACP est une projection d’un nuage de points qui permet d’avoir une vue simple, représentable en deux ou trois dimensions, et synthétique puisqu’elle résume les données étudiées. Cependant, l’ACP n’est pas une fin en soi, il faudrait donner un sens métier à ces résultats. Par exemple, à partir des résultats, nous pouvons constater des regroupements d’individus, ou encore de fortes liaisons, corrélations entre certaines variables. Il existe des indicateurs qui peuvent nous aider à l’interprétation des résultats d’une ACP. Comme nous allons le voir par la suite, ces indicateurs sont liés soit aux individus, soit aux variables.

Exemple d’ACP avec Python

Afin de mieux comprendre les aspects théoriques abordés dans ce chapitre, nous allons réaliser une ACP sur un exemple illustratif. Nous avons volontairement choisi un jeu de données pour lequel nous avons une bonne idée des résultats que nous devrions obtenir avec l’ACP.

Ce jeu de données est défini dans le fichier notes_étudiants.csv du dossier Data de ce chapitre et il est composé de 33 observations. Chaque observation correspond aux résultats d’un étudiant dans 10 matières différentes. Les individus qui composent notre nuage de points sont donc des étudiants, et les variables sont les matières suivantes : Mathématiques, Physique, Sciences naturelles, Histoire, Géographie, Philosophie, Français, Anglais, Allemand et Sport. Également, chaque étudiant est identifié de façon unique avec la variable id.

En réalité, nous avons construit manuellement les données de cet exemple afin de dissimuler intentionnellement un certain nombre d’informations et de voir si l’ACP permettrait de retrouver toutes ces informations à l’aide de graphiques tracés sur des plans à deux dimensions.

Ainsi, les données de cet exemple ont été construites de la manière suivante :