Chronobot

Chronobot est un bot programmé en langage Python et qui agit sur des pages Wikipast. Il permet de regrouper tous les événements qui se sont passés en une année dans une même page

Fonctionnement

Chronobot va d'abord effectuer un scan sur l'ensemble des pages biographiques crées par les élèves du cours "Humanités Digitales" (2017). Il effectue ensuite un scan sur tous les événements relevés dans la page et en stocke la date (sous forme AAAA.MM.JJ) et la description dans une liste. Une fois cette liste en main, il crée une page pour chaque jour différent. Pour des raisons pratiques, il est plus logique de n'avoir qu'une seule page par année avec tous les événements relevés durant cette année classé chronologiquement. Pour ce faire, au lieu d'agir directement sur l'url de la page, Chronobot redirige chaque lien d'un jour vers l'url de l'année correspondante. Enfin, il y écrit l'événement dans l'ordre chronologique.La gestion des doublons est résolue ultérieurement.

Généralités

• Concepteurs : Arnau Albà Jacas, Sonia Bouchiba, Jonathan Charrière, Sébastien Morel, Aurélien Verdier.
• UserName : ChronoBOT

Liste des fonctions

Fonctions principales

• select_page.py parcourt les différentes pages sur une séléection précise de Users (ceux du cours SHS) et en retourne les pages crées sous formes de chaînes brutes (String). Les images (.png) sont ôtées ainsi que
• recherchedates.py prend en argument une page donnée (string) et en sort une liste année/événement
• modify_links.py modifie toutes les pages des dates pour qu'elles soient redirigées vers la page de l'année.
• create_new_site.py crée une page Wikipast avec le contenu donné
• place_evenement.py reçoit les pages dans lesquelles elle doit écrire ainsi que les événements sous forme de chaîne. Elle a deux rôles majeures. D'une part, elle écrit (tout en s'adpatant aux différents formats de date) la date et l'événement dans la page. Simultanément, elle trie les événements dans l'ordre chronologique.
• event_not_in_page.py gère les doublons en comparant deux strings-évenements caractère par caractère. Il considère ainsi deux évenements identiques s'ils contiennent les mêmes suites de caractères. Il ne tient pas compte des virgules (,), points (.) et espaces ( ) s'ils sont différents dans les deux strings.

Fonctions secondaires

• retrieve_content.py prend en input le nom d'une page et retourne tout le texte contenu en syntaxe wiki.
• split_date.py est utilisée par place_evenement.py.

Algorithme

L'algo général se trouve dans la fonction main_one_page.py si on veut gérer une seule page et main.py si on veut gérer toutes les pages retournées par select_page.py. On analyse ci-dessous le cas général :

page_list=selectpage()
for page in page_list:
    main_one_page(page)

now = datetime.datetime.now()
year=str(now.year)
month=str(now.month)
day=str(now.day)
hour=str(now.hour)
minute=str(now.minute)
if len(month)==1:
    month='0'+month
if len(day)==1:
    day='0'+day
if len(hour)==1:
    hour='0'+hour
if len(minute)==1:
    minute='0'+minute

#fichier=open('lastdate.txt','w')
fichier.write(year+'-'+month+'-'+day+'T'+hour+':'+minute+':00z')
fichier.close()

Critiques et faiblesses du bot

• Optimisation du code (plusieurs minutes pour s'exéctuer sur toutes les pages.)
• Dates mal-écrites (par exemple inversion mois-jour pas prise en compte)
• Si une année a déjà été crée avant notre bot et une phrase a été ajoutée, par exemeple "Grande année" redigirigée vers "1995" comportait une phrase commançant par "Grande année". Pour résoudre ce problème, deux solutions sont enbisageables : la première, assez radicale, est d'effacer la ligne en question dans la page Wikpast. La seconde (celle choisie, plus douce) est
• Gestion des doublons : pourrait être amélioré dans la comparaison de deux événements similaires. Actuellement, seules deux événements écrits exactement pareils ne sont pas dédoublés (par la fonction event_not_in_page.py), mais on pourrait imaginer qu'un événement du type Mariage qui serait écrit comme "A se marie avec B" dans la page de A et "B ser marie avec B" dans la page de B, et qui serait donc relevé deux fois.