« EliteBot » : différence entre les versions
Aucun résumé des modifications |
|||
| Ligne 1 : | Ligne 1 : | ||
Ce bot a comme but d'extraire les données présents (pour les individus seulement) de la base de donnée des Elites suisses et de les mettre sur | Ce bot a comme but d'extraire les données présents (pour les individus seulement) de la base de donnée des Elites suisses et de les mettre sur wikipast. | ||
== Résumé des fonctionnalités == | == Résumé des fonctionnalités == | ||
EliteBot va venir récupérer l'ensemble des Elites suisses disponibles sur le site [https://www2.unil.ch/elitessuisses/index.php?page=accueil]. Le robot va ensuite récupérer les informations liées aux données biographiques, à la formation et au parcours professionnel de l'élite. Ces fonctions sont développées dans le module de scrapping. Pour chacune de ces élites, les données brutes sont traitées et mises en forme au format Wikipast dans le module Formattage. Enfin, le module ?? permet d'identifier les pages à créer sur Wikipast (élites encore non renseignées) et les informations à rajouter dans les élites déjà existantes. | |||
== Description technique == | == Description technique == | ||
=== Scrapping === | === Scrapping === | ||
Le module de scrapping permet de répondre à deux besoins : récupérer la liste des élites suisses disponibles sur le site et récupérer les données liées à la biographie, la formation et le parcours professionnel de l'élite. | |||
Nous utilisons le module BeautifulSoup4 pour scrapper le code HTML de chaque page d'intérêt. | |||
=== Formattage === | === Formattage === | ||
Les données sont scrappées passée à un classe appellée PastaMaker qui se charge de les mettre au format wikipasta. Les données passées sont sous forme de dictionnaire. La clé de ce dictionaire dit de quelle type de valeurs il s'agit, et formatte les données selon la catégorie auquel elle appartient. | Les données sont scrappées passée à un classe appellée PastaMaker qui se charge de les mettre au format wikipasta. Les données passées sont sous forme de dictionnaire. La clé de ce dictionaire dit de quelle type de valeurs il s'agit, et formatte les données selon la catégorie auquel elle appartient. | ||
Version du 23 mai 2021 à 20:01
Ce bot a comme but d'extraire les données présents (pour les individus seulement) de la base de donnée des Elites suisses et de les mettre sur wikipast.
Résumé des fonctionnalités
EliteBot va venir récupérer l'ensemble des Elites suisses disponibles sur le site [1]. Le robot va ensuite récupérer les informations liées aux données biographiques, à la formation et au parcours professionnel de l'élite. Ces fonctions sont développées dans le module de scrapping. Pour chacune de ces élites, les données brutes sont traitées et mises en forme au format Wikipast dans le module Formattage. Enfin, le module ?? permet d'identifier les pages à créer sur Wikipast (élites encore non renseignées) et les informations à rajouter dans les élites déjà existantes.
Description technique
Scrapping
Le module de scrapping permet de répondre à deux besoins : récupérer la liste des élites suisses disponibles sur le site et récupérer les données liées à la biographie, la formation et le parcours professionnel de l'élite.
Nous utilisons le module BeautifulSoup4 pour scrapper le code HTML de chaque page d'intérêt.
Formattage
Les données sont scrappées passée à un classe appellée PastaMaker qui se charge de les mettre au format wikipasta. Les données passées sont sous forme de dictionnaire. La clé de ce dictionaire dit de quelle type de valeurs il s'agit, et formatte les données selon la catégorie auquel elle appartient.
Mise sur Wikipast
Evaluation des perfs
Exemple de résultats
Améliorations possible
Code
Le code est entierement disponible sur GitHub [2]