Analyse de sentiments avec PyTorch

Ce repository contient des tutoriels sur comment faire de l'analyse de sentiments en utilisant Pytorch 1.4 sur Python 3.7.

Installation

• Pour installer PyTorch, les instructions sont sur ce site.

• TorchText : pip install torchtext

• spaCy en anglais : python -m spacy download en

• transformers : pip install transformers

Données

On utilise les données IMBD.

Tutoriels

• 0 - MachineLearning

Dans ce premier notebook, on utilise les librairies sklearn et nltk pour faire de l'analyse de sentiments à l'aide de méthode statistique de Bag-of-words, TF-IDF et d'algorithmes de machine learning : SVM et Régression Logistique.

• 1 - RNN

On utilise ici un modèle de réseaux de neurones récurrents RNN très simple.

• 2a - LSTM

Le modèle précédent se complexifie dans ce notebook, on utilise un modèle LSTM, bidirectionnel, multi-couches.

• 2b - GRU

Le modèle précédent se complexifie dans ce notebook, on utilise un modèle GRU, bidirectionnel, multi-couches.

• 3 - FastText

Le modèle FastText issu de l'article Bag of Tricks for Efficient Text Classification est implémenté ici.

• 4 - CNN

On utilise le modèle CNN pour l'analyse de sentiments.

• 5a - AttentionGRU

On utilise un modèle GRU combiné avec de l'attention.

• 5b - AttentionLSTM

On utilise un modèle LSTM combiné avec de l'attention. Ce modèle est décrit dans l'article Text Classification Research with Attention-based Recurrent Neural Networks.

• 6a - TransformersGRU

On utilise la libraire transformers pour importer un modèle transformer pré-entraîné pour obtenir les embedding du texte, et les utiliser dans un modèle GRU pour prédire le sentiment.

• 6b - TransformersLSTM

On utilise la libraire transformers pour importer un modèle transformer pré-entraîné pour obtenir les embedding du texte, et les utiliser dans un modèle LSTM pour prédire le sentiment.

• 7 - Transformers

Dans ce notebook est implémenté le modèle transformer en PyTorch décrit dans l'article Attention Is All You Need

• 8 - BERT

Enfin, on implémente le modèle BERT décrit ici en utilisant Hugging Face.

Résultats

Modèle	Accuracy sur le test
SVM - BOW	86.95
LR - BOW	87.08
SVM - TF-IDF	87.80
LR - TF-IDF	87.82
RNN	68.21
LSTM	88.67
GRU	91.01
FastText	87.22
CNN	84.97
AttentionLSTM	83.27
AttentionGRU	80.28
TransformersLSTM	90.31
TransformersGRU	91.36
Transformers	73.31
BERT	91.77

Référence :

• pytorch-sentiment-analysis