SourceBot
Description
Le bot récupère toutes les données des Datafications Biographiques ainsi que toutes les pages créer par des Bots et détecte pour chaque page, l'absence éventuelle d'une source dans une ligne biographique et la signale. Il met à jour une page FactChecking qui liste les entrées non sourcées (correction(s): sources ) en associant une référence particulière à cet inconnue: cette référence est la date associée à l'entrée non sourcée (correction(s): source ). Il scanne régulièrement (toutes les heures) toutes les datafications (correction(s): ) biographiques ainsi que les autres pages de wikipast (correction(s): ) et met à jour la page FactChecking.
Pour chaque datification (correction(s): ratification ) biographique ainsi que pour toutes pages créées depuis le début du cours, notre bot check (correction(s): cheik ) si toutes les entrées de ces pages sont sourcées (correction(s): sources ), si c'est le cas alors on passe à la suivante datafication (correction(s): ), sinon le nom de la datafication (correction(s): ) ainsi que les différentes dates des entrées non sourcées (correction(s): sources ) sont ajoutées au contenu de la page FactChecking. Si une entrée non sourcée (correction(s): source ) est mis à jour et devient sourcée (correction(s): source ), alors la date de cette entrée disparaitra (correction(s): disparaîtra ) de la page FactChecking. Les entrées non sourcées (correction(s): sources ) comprennent aussi les entrées qui ont une source qui n'est pas letemps (correction(s): ).ch (correction(s): chu, co, h, ce, ah, eh, c, ph, oh, ci, cm, chi ).
Exemples
- 1975 / Lausanne Diplôme en mathématiques à l'EPFL. [https://fr.wikipedia (correction(s):
).org/wiki/Daniel_Br%C3%A9laz]
- 1978 / Lausanne Election de Daniel Brélaz à l'Assemblée fédérale.
Notre bot recupère (correction(s): récupère ) la page de Daniel Brélaz et elle retourne les dates de toute les entrées non-sourcées (correction(s): sources ) ou avec une autre source que letemps (correction(s): ).ch (correction(s): chu, co, h, ce, ah, eh, c, ph, oh, ci, cm, chi ) . La première entrée possède un lien vers wikipedia (correction(s): ) qui n'est pas valide, et la deuxième n'a pas de source. Ce bot écrit sur FactChecking :
Daniel Brélaz
The wrong (correction(s):
) entries (correction(s): entrées, entres, entriez ) in this (correction(s): tris, tais, thés ) page are the (correction(s): tee, te, tue, thé ) sources with (correction(s): witz ) the (correction(s): tee, te, tue, thé ) following (correction(s): ) dates: [ 1975 , 1978 ]
- 1911/Suisse Deuxième Election de Paul Maillefer dans le Conseil National et succession en 1912 au Grand Conseil Nationnal. [[https://de.wikipedia (correction(s):
).org/wiki/Paul_Maillefer]] Ici le lien est un lien wikipedia (correction(s): ) qui n'est pas une source valide. Dans le cas de cette entrée il écrit sur la page FactChecking :
Paul Maillefer
The wrong (correction(s):
) entries (correction(s): entrées, entres, entriez ) in this (correction(s): tris, tais, thés ) page are the (correction(s): tee, te, tue, thé ) sources with (correction(s): witz ) the (correction(s): tee, te, tue, thé ) following (correction(s): ) dates: [ 1911 ]
Performances
Notre bot repère toutes les entrées des pages des Datafications Biographiques qui ne sont pas ou mal sourcée (correction(s): source ): Ensuite celui-ci met à jour la page FactChecking en écrivant les dates où les sources sont manquantes.
Nous avons commencé par afficher le numéro de la ligne où il n'y avait pas de source, puis nous nous sommes rendu comptes que quelques unes des entrées qui étaient sourcées (correction(s): sources ) l'étaient mal, nous avons donc décidé de rajouter à FactChecking toutes les entrées qui n'avaient pas une source provenant du site letemps (correction(s): ).ch (correction(s): chu, co, h, ce, ah, eh, c, ph, oh, ci, cm, chi ). Une fois que nous avions récupérer tous les numéro des lignes mal sourcées (correction(s): sources )/non sourcées (correction(s): sources ), nous avons fait en sorte d'afficher la date associée à l'entrée non sourcée (correction(s): source ), car les indices ne permettaient pas de savoir directement quelles entrées étaient mal sourcées (correction(s): sources ) .
Ensuite nous avons repéré plusieurs types de formats de date existant. Notre bot permet de repérer les dates sous les formats suivant :
*1999.02.01/ , *1998.03.01: , *1998.03.02 / le format standard * 1998.05.08 /
Si la date ne correspond a aucun de ces modèles alors l'affichage des sources mal sourcées (correction(s): sources ) sur FactChecking sera moins performant: il n'affichera pas la date, mais la ligne où l'entrée est mal soourcée (correction(s): ). Pour réaliser tout cela nous avons utilisé des regular (correction(s): ) expressions afin de repérer la date et le lien dans chaque entrée. Cependant, si le format d'une entrée n'est pas respecté: si la date n'est pas le premier Hypermot alors il y aura des baisses de perfomances (correction(s): performances ) puisque l'affichage ne sera plus celui de la date:
ex (correction(s): exo, en, eu, eux, es, eh, et, x, e, rex, tex
): *Johny/Lausanne Election de Daniel Brélaz à l'Assemblée fédérale.
Ceci écrira pour Daniel Brélaz : The wrong (correction(s):
) entries (correction(s): entrées, entres, entriez ) are the (correction(s): tee, te, tue, thé ) sources with (correction(s): witz ) the (correction(s): tee, te, tue, thé ) following (correction(s): ) dates: [ Johny ]. Cela peut-être assez problématique mais si le format officiel a été respecté alors cela ne posera pas problème.
Finalement nous avons aussi ajouté toutes les pages qui ont été créées par des bots, afin que notre Bot ai accès à toutes les pages de wikipast (correction(s): ).
Code
Pour le coté serveur, devrait être lancé à peu près toutes les heures.
import urllib
import requests
from bs4 import BeautifulSoup
import re
user='Vlaedr'
passw='Alextall007'
baseurl='http://<span style="color:red">wikipast</span> (correction(s): <span style="color:green">
</span>).epfl.<span style="color:red">ch</span> (correction(s): <span style="color:green">chu, co, h, ce, ah, eh, c, ph, oh, ci, cm, chi
</span>)/<span style="color:red">wikipast</span> (correction(s): <span style="color:green">
</span>)/'
summary='Wikipastbot update'
# Login request
payload={'action':'query','format':'json','utf8':'','meta':'tokens','type':'login'}
r1=requests.post(baseurl + 'api.php', data=payload)
#login confirm
login_token=r1.json()['query']['tokens']['logintoken']
payload={'action':'login','format':'json','utf8':'','lgname':user,'lgpassword':passw,'lgtoken':login_token}
r2=requests.post(baseurl + 'api.php', data=payload, cookies=r1.cookies)
#get edit token2
params3='?format=json&action=query&meta=tokens&continue='
r3=requests.get(baseurl + 'api.php' + params3, cookies=r2.cookies)
edit_token=r3.json()['query']['tokens']['csrftoken']
edit_cookie=r2.cookies.copy()
edit_cookie.update(r3.cookies)
fullbios = ''
name = 'Biographies'
result=requests.post(baseurl+'api.php?action=query&titles='+name+'&export&exportnowrap')
soup=BeautifulSoup(result.text, "lxml")
code=''
for primitive in soup.findAll("text"):
code+=primitive.string
fullbios = code
protected_logins=["Frederickaplan","Maud","Vbuntinx","Testbot","SparqlBot","IB","SourceBot","PageUpdaterBot","Orthobot","BioPathBot","ChronoBOT","Amonbaro","AntoineL","AntoniasBanderos","Arnau","Arnaudpannatier","Aureliver","Brunowicht","Burgerpop","Cedricviaccoz","Christophe","Claudioloureiro","Ghislain","Gregoire3245","Hirtg","Houssm","Icebaker","JenniCin","JiggyQ","JulienB","Kl","Kperrard","Leandro Kieliger","Marcus","Martin","MatteoGiorla","Mireille","Mj2905","Musluoglucem","Nacho","Nameless","Nawel","O'showa","PA","Qantik","QuentinB","Raphael.barman","Roblan11","Romain Fournier","Sbaaa","Snus","Sonia","Tboyer","Thierry","Titi","Vlaedr","Wanda"]
depuis_date='2017-05-02T16:00:00Z'
#pages created by Bots or people in <span style="color:red">the</span> (correction(s): <span style="color:green">tee, te, tue, thé
</span>) class but not <span style="color:red">the</span> (correction(s): <span style="color:green">tee, te, tue, thé
</span>) ones like Fichier:Annonce biopath.png
liste_pages=[]
for user in protected_logins:
result=requests.post(baseurl+'api.php?action=query&list=usercontribs&ucuser='+user+'&format=xml&ucend='+depuis_date)
soup=BeautifulSoup(result.content,'lxml')
for primitive in soup.usercontribs.findAll('item'):
if primitive['title'][:7] != 'Fichier':
liste_pages.append(primitive['title'])
#pages not to be considered.
bad_pages_list = ['Accueil', 'Bots','HypermotBot', 'OrthoBot', 'SourceBot','VandalBot','PageUpdaterBot', 'BioPathBot', 'SPARQLBot','InferenceBot/CheckerBot','LinkBot','CheckerBot', 'InferenceBot', 'MiningBot','Chronobot', 'ChronoBot', 'ImageBot','FormatBot', 'TangoBot']
liste_pages_correct = list(set(liste_pages) - set(bad_pages_list))
for p in liste_pages_correct:
print(p)
allnames = []
for p in liste_pages_correct :
allnames.append(p)
pattern = '\* ?\[\[([^\]]*)\]\].*'
p = re.compile(pattern)
bioNames = fullbios.split('\n')
for c in bioNames:
tk = c.split('\n')
for t in tk:
if t:
match = p.match(t)
if match:
allnames.append(match.group(1))
fullCode = []
for name in allnames:
result=requests.post(baseurl+'api.php?action=query&titles='+name+'&export&exportnowrap')
soup=BeautifulSoup(result.text, "lxml")
code=''
for primitive in soup.findAll("text"):
if primitive.string :
code += primitive.string
if code :
print(name)
fullCode.append((code, name))
# <span style="color:red">the</span> (correction(s): <span style="color:green">tee, te, tue, thé
</span>) argument is <span style="color:red">the</span> (correction(s): <span style="color:green">tee, te, tue, thé
</span>) plain text of <span style="color:red">the</span> (correction(s): <span style="color:green">tee, te, tue, thé
</span>) page
# <span style="color:red">this</span> (correction(s): <span style="color:green">tris, tais, thés
</span>) fonction returns a tuple:
# first element is a boolean: true if all <span style="color:red">entries</span> (correction(s): <span style="color:green">entrées, entres, entriez
</span>) are sourced
# false if sources are missing
# second element is a list of : (modification) all dates where <span style="color:red">the</span> (correction(s): <span style="color:green">tee, te, tue, thé
</span>) source is <span style="color:red">wrong</span> (correction(s): <span style="color:green">
</span>).
#int: all <span style="color:red">the</span> (correction(s): <span style="color:green">tee, te, tue, thé
</span>) bad lines indexes
def findBadPage(pageText):
# get all <span style="color:red">the</span> (correction(s): <span style="color:green">tee, te, tue, thé
</span>) lines
tokens = []
tk = pageText.split('\n')
for t in tk:
if t:
if t[0] == '*':
tokens.append(t)
#<span style="color:red">check</span> (correction(s): <span style="color:green">cheik
</span>) if line is sourced
r = '\*.*\[https?:\/\/w?w?w?\.?<span style="color:red">letemps</span> (correction(s): <span style="color:green">
</span>)[^\]]*\].*'
p = re.compile(r)
dates_isolator_expr = ['\* \[\[(.*)\]\] \/', '\*\[\[(.*)\]\]\:', '\*\[\[(.*)\]\]\/', '\*\[\[(.*)\]\] \/']
index = 0
allSourced = True
wrongDatesSources = []
for t in tokens:
match = p.match(t)
if not match:
allSourced = False
count = 0;
didmatch = False
for i in dates_isolator_expr :
count +=1
d = re.compile(i)
match = d.match(t)
if match:
didmatch = True
wrongDatesSources.append(match.group(1))
if not didmatch :
wrongDatesSources.append('false source at line: ' + str(index))
otherSource = '\*.*\[(https?:\/\/.*)\].*'
pOth = re.compile(otherSource)
match = pOth.match(t)
index +=1
return (allSourced, wrongDatesSources)
content = '\n'
content += 'Cette page liste toutes les biographies ayant des entrées non <span style="color:red">sourcées</span> (correction(s): <span style="color:green">sources
</span>).'
content += '\n==Bad page==\n'
badpage = []
wrongDatesSources = []
ok =True
for (c, name) in fullCode:
(ok, wrongDatesSources) = findBadPage(c)
if not ok:
badpage.append(name)
content += name
content += '\n The <span style="color:red">wrong</span> (correction(s): <span style="color:green">
</span>) <span style="color:red">entries</span> (correction(s): <span style="color:green">entrées, entres, entriez
</span>) in <span style="color:red">this</span> (correction(s): <span style="color:green">tris, tais, thés
</span>) page are <span style="color:red">the</span> (correction(s): <span style="color:green">tee, te, tue, thé
</span>) sources <span style="color:red">with</span> (correction(s): <span style="color:green">witz
</span>) <span style="color:red">the</span> (correction(s): <span style="color:green">tee, te, tue, thé
</span>) <span style="color:red">following</span> (correction(s): <span style="color:green">
</span>) dates: '
content += str(wrongDatesSources)
content += '\n\n'
'''content = '\n'
content += 'Cette page liste toutes les biographies ayant des entrées non <span style="color:red">sourcées</span> (correction(s): <span style="color:green">sources
</span>).'
content += '\n==Bad page=='
content += '\n[[' + badpage[0] + ']]' '''
payload = {'action':'edit','assert':'user','format':'json','utf8':'','text':content,
'summary':summary,'title':'FactChecking','token':edit_token}
r4=requests.post(baseurl+'api.php',data=payload,cookies=edit_cookie)