Méthode
Du son du débat au verdict
vachecker.info enchaîne quatre étapes automatiques. Cette page décrit chacune d'elles, la signification des verdicts, la fiche rédigée à la fin de chaque débat et les limites du prototype.
1. Transcription et intervenants
Une extension du navigateur capte le son de l'onglet où le débat est diffusé, par tranches de dix secondes qui se chevauchent légèrement pour ne couper aucun mot. Le son est transcrit sur l'ordinateur de l'utilisateur par le modèle de reconnaissance vocale Whisper ; il n'est jamais envoyé ailleurs.
Chaque phrase est rattachée à une voix. Les voix sont distinguées par leur empreinte acoustique, puis associées à un nom de deux façons : par comparaison avec des empreintes déjà enregistrées, ou par recoupement du contenu (un intervenant interpellé par son nom, un sujet qu'il défend). Tant qu'aucun nom n'est confirmé, l'intervenant reste « non identifié ».
2. Repérage des affirmations
Environ toutes les vingt secondes de parole, le texte transcrit est soumis à un modèle de langue (Mistral). Il relève les points du passage et les classe :
- affirmation : un fait précis, vérifiable et important pour le débat — chiffre, date, vote, bilan, accusation factuelle ;
- secondaire : un fait vérifiable mais sans enjeu (l'agenda de l'orateur, l'existence d'une institution, une anecdote) ;
- trop vague : une affirmation qui ne contient rien de vérifiable (« il existe des fractures en France ») ;
- opinion, argument, question, remarque.
Seules les affirmations sont vérifiées ; le reste figure au récapitulatif. Seuls les débatteurs et les invités politiques sont vérifiés, pas le présentateur ni les témoignages diffusés en reportage. Un fait déjà relevé n'est pas vérifié une seconde fois, même reformulé ou repris par l'autre débatteur.
Pour chaque affirmation, le modèle relève aussi les mots exacts prononcés et la période visée (« l'an prochain », dit en octobre 2026, désigne 2027) : l'affirmation est reformulée pour être lisible, mais c'est le propos réel qui est vérifié.
3. Vérification
Chaque affirmation est comparée aux sources suivantes, interrogées en parallèle :
- les vérifications déjà publiées par les rédactions spécialisées (Les Décodeurs, CheckNews, Vrai ou fake, Fake off, Les Surligneurs) ;
- les statistiques officielles : séries d'Eurostat (chômage, dette, déficit, inflation, immigration…) et jeux de données publics de data.gouv.fr ;
- les scrutins publics de l'Assemblée nationale, pour savoir qui a voté quoi ;
- la recherche web — presse, sites officiels, Wikipédia — sans passer par Google ni Bing ;
- la recherche académique (HAL, OpenAlex), pour les affirmations sur des causes ou des effets.
Le modèle de langue rédige ensuite le verdict à partir de ces seuls documents, annotés selon leur fiabilité (voir la politique des sources). Plusieurs règles sont contrôlées par le programme lui-même, et non laissées au modèle :
- le lien cité doit figurer parmi les documents fournis — jamais un lien inventé ;
- un verdict « faux » doit s'appuyer sur un fait précis tiré d'une source, pour la même période que l'affirmation ; à défaut, il devient « non vérifiable » ;
- un article qui se contente de rapporter la déclaration de l'orateur ne prouve pas qu'elle est vraie : le verdict est alors « non recoupé », visible au récapitulatif mais sans carte sur la vidéo ;
- un verdict sans source affiche une confiance d'au plus 50 % ;
- un verdict déjà rendu est réutilisé pendant trente jours pour la même affirmation.
Le modèle reçoit aussi les verdicts déjà rendus dans le débat sur le même sujet, pour rester cohérent d'une affirmation à l'autre. La carte de l'affirmation apparaît sur la vidéo une quinzaine de secondes après la phrase, et le verdict quelques secondes plus tard.
4. Verdicts et confiance
| Verdict | Signification |
|---|---|
| Vrai | Les sources confirment l'affirmation. |
| Partiellement vrai | Le fait principal est exact, mais un détail ne l'est pas : un chiffre approché, une date, un superlatif. |
| Trompeur | Exact à la lettre, mais présenté de façon à donner une impression fausse. |
| Faux | Une source contredit le fait principal pour la même période (autre chiffre, autre date, autre fait). |
| Non recoupé | La seule source est l'orateur lui-même, son ministère ou son parti : rien d'indépendant ne confirme ni ne dément le fait. Au récapitulatif seulement, sans carte sur la vidéo. |
| Non vérifiable | Aucune source consultée ne traite du sujet de l'affirmation pour la période visée. |
La confiance (de 0 à 100 %) mesure la solidité du verdict : autour de 90 % lorsque des sources officielles concordent, autour de 70 % avec une seule source fiable, 50 % au plus sans source.
5. La fiche du débat
À la fin de chaque débat, vachecker.info rédige une fiche lisible sans la vidéo : ce que chaque débatteur a affirmé, ce qui était exact, les thèmes abordés et le temps passé sur chacun.
Les chiffres sont calculés par le programme, pas par l'IA. Pour chaque débatteur, l'indice d'exactitude est la moyenne de ses verdicts tranchés : vrai compte 1, partiellement vrai ½, trompeur et faux 0 ; les affirmations non vérifiables ou non recoupées n'y entrent pas. Il est accompagné de sa marge d'erreur statistique (à 95 %), et n'est affiché qu'à partir de 15 verdicts tranchés. Quand deux débatteurs sont comparés, la fiche dit si l'écart dépasse la marge ou non. Les débatteurs apparaissent dans l'ordre de leur temps de parole, jamais classés par leur indice.
L'IA rédige, sous contrôle. Le modèle de langue écrit le résumé, choisit les moments forts, relève les chiffres contestés, les contradictions et les propositions. Il ne peut désigner que des affirmations déjà vérifiées, et chaque choix est contrôlé par le programme : un moment fort est une erreur ou un chiffre exact déjà jugé comme tel, au plus deux erreurs et un chiffre exact par débatteur ; un chiffre « annoncé » doit figurer dans le propos et le chiffre « selon la source » dans l'explication du verdict ; une contradiction oppose deux débatteurs que les verdicts départagent.
L'indice mesure l'exactitude de ce qui a pu être vérifié, pas l'honnêteté d'une personne : un débatteur qui avance beaucoup de chiffres précis s'expose davantage qu'un autre qui reste général. Il hérite aussi des erreurs des verdicts et de l'attribution des voix, que la marge statistique ne couvre pas.
6. Limites connues
- Transcription : certains mots rares ou noms propres sont mal entendus (« abaya » transcrit « la baille »). Quand la vérification conclut qu'une phrase a été mal transcrite, aucune carte n'est affichée ; une erreur qui passe inaperçue peut en revanche fausser un verdict.
- Attribution : quand plusieurs personnes parlent en même temps, ou quand deux voix se ressemblent, une phrase peut être attribuée au mauvais intervenant ; le présentateur est parfois confondu avec un invité.
- Verdicts : le modèle de langue peut mal lire une source ou juger trop strictement une affirmation formulée de façon approximative. Chaque verdict cite sa source pour pouvoir être contrôlé, et peut être signalé depuis l'extension.
- Couverture : un fait très récent, ou absent des sources consultées, reste « non vérifiable ».
7. Données et confidentialité
Le son du débat est traité sur l'ordinateur de l'utilisateur et n'en sort pas. Le texte transcrit est envoyé à l'API de Mistral AI (entreprise française) pour le repérage et la rédaction des verdicts ; les mots-clés de recherche sont envoyés à l'API de Brave Search et à Wikipédia. Aucune donnée ne concerne la personne qui regarde le débat.
Le détail technique (seuils, formats de données, tests) est documenté dans le dépôt du projet.