Le projet consiste à extraire les données du site web https://huggingface.co/models, stocker ces données dans une base de données MongoDB, et fournir une interface utilisateur interactive pour explorer ces données à l'aide de Dash.
Le projet est organisé en trois dossiers principaux, ayant chacun son DockerFile correspondant au service qu'il peut délivrer, déployés dans des conteneurs Docker distincts :
- MongoDB : Contient les fichiers nécessaires pour construire l'image Docker de MongoDB, notre base de données.
- Scrapy : Contient les fichiers nécessaires pour construire l'image Docker de Scrapy, notre service de scraping.
- Application : Contient les fichiers nécessaires pour construire l'image Docker de l'application, notre application web.
-
Clonez le dépôt sur votre machine locale :
git clone https://github.com/Projet-ESIEE/Scraping_HuggingFace cd .\Scraping_HuggingFace
-
Lancez le projet avec la commande suivante :
docker-compose up
-
Ouvrez votre navigateur et accédez à l'adresse suivante donnant sur l'application : http://localhost:8050