Le traitement du langage naturel

Le nettoyage préalable d’un modèle

Avant de construire un modèle de traitement automatique du langage naturel, il est essentiel d’effectuer un nettoyage préalable des données textuelles. Ce processus vise à éliminer le bruit, à normaliser le texte et à préparer les données pour une analyse plus précise et efficace.

La notion d’hyperparamètre

Lorsque l’on travaille avec un modèle d’intelligence artificielle, on a ce que l’on appelle les features, les colonnes de notre modèle, les données qui participent fonctionnellement à l’apprentissage et donc à la prédiction future. Et il y a d’autres données qui sont, elles, dédiées spécifiquement au réglage de l’apprentissage. C’est ce que l’on appelle des hyperparamètres.

Lorsqu’il s’agit de modèles TALN, tels que les modèles de classification de texte, les modèles de génération de texte ou les modèles de traduction automatique, plusieurs hyperparamètres sont particulièrement importants. Par exemple, le choix du nombre de couches et de neurones dans un réseau neuronal est un hyperparamètre important à considérer. Il peut affecter la capacité du modèle à capturer des structures complexes et à généraliser efficacement. Un autre hyperparamètre essentiel est le taux d’apprentissage, qui contrôle la vitesse à laquelle un modèle est ajusté aux données. Un taux d’apprentissage trop élevé peut entraîner une convergence rapide mais instable, tandis qu’un taux d’apprentissage trop faible peut ralentir...

La vectorisation et le bag of words

La vectorisation fait référence au processus de conversion du texte en une représentation vectorielle, où chaque mot ou terme est associé à un vecteur numérique. Cette transformation permet de capturer des informations sémantiques et syntaxiques du texte, ce qui facilite son traitement et son analyse par les modèles d’apprentissage automatique.

Le bag of words (ou sac de mots en français) est une méthode couramment utilisée pour la vectorisation du texte. Elle consiste à considérer chaque document comme une collection non ordonnée de mots, en ignorant donc l’ordre et la structure grammaticale du texte. Le sac de mots représente le texte sous forme d’un vecteur de comptage, où chaque dimension correspond à un mot unique et la valeur associée à chaque dimension indique le nombre d’occurrences de ce mot dans le document.

Par exemple, supposons que nous ayons deux phrases : « J’aime les pommes » et « Les pommes sont délicieuses ». En utilisant le sac de mots, nous pouvons construire un vecteur pour chaque phrase en comptant le nombre d’occurrences de chaque mot unique : [1, 1, 1, 0, 0] pour la première phrase et [0, 1, 1, 1, 1] pour la deuxième phrase. Chaque dimension du vecteur correspond...

Le word embedding

Le word embedding est une technique qui consiste à représenter les mots sous forme de vecteurs numériques dans un espace vectoriel. Cette technique est en général traduite en français par plongement lexical. Elle repose sur le fait que les mots qui apparaissent dans des contextes similaires ont tendance à avoir des significations équivalentes. C’est donc une approche distributionnelle et statistique qui transpose une éventuelle similarité sémantique de deux mots dans leurs contextes de phrases ou de textes, en une similarité vectorielle dans un espace vectoriel. Exprimé autrement : un mot se définit aussi par son contexte d’utilisation et donc par les mots qui l’entourent dans le texte.

L’algorithme central en matière de word embedding, massivement utilisé en TALN, est l’algorithme d’entraînement de modèles Word2Vec. Cet algorithme, qui utilise des réseaux de neurones, se décline selon deux architectures différentes :

Nous aurons l’occasion...

La fréquence d’apparition d’un mot

Cette question est centrale, notamment lors de la fouille de textes, c’est-à-dire lors de l’exploration d’un corpus de plusieurs dizaines ou centaines de documents par exemple.

Pour un mot donné, on va se poser plusieurs questions concernant :

Exprimé autrement, on s’intéresse ici à la fréquence d’apparition d’un mot, non seulement par sa fréquence au sein d’un document, mais aussi et surtout par sa fréquence au sein de l’ensemble du corpus de documents.

Pour procéder à ce type d’analyse, on utilise en général la méthode TF-IDF (Term Frequency - Inverse Document Frequency). Pour ce faire, concrètement...

Les réseaux de neurones récurrents (RNN)

Les RNN (pour Recurrent Neural Network) représentent une architecture de réseau neuronal couramment utilisée dans le TALN. Ils sont conçus pour traiter des données séquentielles, telles que du texte, en conservant une mémoire interne des états précédents. Les RNN sont souvent utilisés pour des tâches telles que la classification de texte, la traduction automatique et la génération de texte.

Le fonctionnement des RNN repose sur l’utilisation de boucles récurrentes qui permettent aux informations d’être propagées d’une étape à l’autre dans la séquence. À chaque étape, le RNN prend en compte l’entrée courante et la sortie de l’étape précédente, ce qui lui permet de conserver une mémoire à court terme et de capturer les dépendances séquentielles.

Les RNN peuvent être utilisés dans différentes configurations. On peut notamment citer ces configurations :

Les réseaux de neurones convolutionnels (CNN)

Les CNN (pour Convolutional Neural Network) sont généralement utilisés en vision par ordinateur, mais ils sont également utilisés en traitement automatique du langage naturel. Ils peuvent être appliqués à des objectifs tels que la classification de texte, l’extraction d’informations et l’analyse de sentiments.

Le fonctionnement des CNN repose sur l’utilisation de filtres de convolution qui sont appliqués sur des fenêtres de mots adjacentes dans le texte. Ces filtres permettent de capturer les relations locales entre les mots et de détecter des motifs significatifs. Les caractéristiques extraites par les filtres sont ensuite réduites en utilisant des opérations telles que le pooling, qui agrège les informations les plus importantes.

Les CNN peuvent être entraînés à reconnaître automatiquement des motifs linguistiques et à apprendre des représentations sémantiques des mots et des phrases à partir des données d’entraînement.

Plusieurs frameworks fournissent une approche CNN : c’est le cas de PyTorch et de Tensorflow, pour les plus connus. En revanche, spaCy et NLTK n’incluent pas, à ce jour, de modèles linguistiques pré-entraînés avec CNN, ce qui n’empêche...

Les réseaux de neurones Transformers... et ChatGPT

Le fonctionnement de GPT-3.5 repose sur l’idée de modélisation de langage Transformer. Il utilise un ensemble de couches d’attention et de transformations linéaires pour capturer les relations entre les mots dans un texte. Contrairement aux modèles RNN qui traitent le texte séquentiellement, les Transformers sont conçus pour capturer les dépendances à longue distance et le contexte global en parallèle.

L’architecture Transformer de GPT-3.5 se compose de plusieurs blocs de Transformers empilés. Chaque bloc comprend une couche d’attention suivie d’une transformation linéaire et d’une couche de normalisation. L’attention multitête permet au modèle de se concentrer simultanément sur différentes parties du texte pour capturer les relations entre les mots à différentes échelles.

Lorsqu’un texte est donné en entrée à GPT-3.5, il est découpé en séquences de tokens (mots ou sous-mots) et représenté sous forme de vecteurs. Ces vecteurs d’entrée sont ensuite passés à travers les blocs de Transformers pour obtenir une représentation contextuelle des mots. GPT-3.5 est capable d’apprendre à partir de grandes quantités de textes préalablement...

BERT

BERT (Bidirectional Encoder Representations from Transformers) est un modèle de langage basé sur des transformateurs pré-entraînés. Il permet de capturer des informations contextuelles dans le texte.

BERT adopte une approche bidirectionnelle qui lui permet de capturer le contexte des mots dans un texte de manière plus précise. Il repose sur l’utilisation de transformateurs et sur une architecture de réseau neuronal. L’entraînement de BERT se fait en deux étapes : le pre-training et le fine-tuning.

Lors du pre-training, BERT est exposé à des quantités de textes non étiquetés provenant de sources diverses. Une partie aléatoire des mots dans le texte est masquée et le modèle est entraîné à prédire ces mots manquants en se basant sur le contexte environnant. De plus, BERT apprend également à prédire si deux phrases sont consécutives dans le texte ou non.

Lors du fine-tuning, BERT est entraîné à des tâches spécifiques, telles que la classification de texte, la compréhension des questions-réponses ou la traduction automatique. Pendant cette phase, BERT est entraîné sur des ensembles de données étiquetées spécifiques à la tâche, ce qui lui permet d’ajuster ses paramètres et...

L’évaluation de modèle TALN

L’évaluation d’un modèle entraîné de traitement automatique du langage naturel est essentielle pour mesurer ses performances et sa capacité à résoudre la tâche spécifique pour laquelle il a été entraîné. En clair : le modèle est-il à même de prédire correctement quelque chose qu’il est supposé savoir prédire ?

L’évaluation peut être réalisée en utilisant plusieurs indicateurs de qualité qui évaluent différents aspects du modèle. Voici quelques indicateurs de qualité de modèles :