Ce que la sociologie peut apprendre des essais cliniques
ALCOA+, historique des modifications, contrôles de saisie, requêtes, double saisie et gel de la base : de quoi s’agit-il, et en quoi cela concerne aussi bien les qualitativistes que les quantitativistes ?
Dans un essai clinique, une erreur dans les données peut coûter la santé de quelqu’un : si la mauvaise tension artérielle ou la mauvaise dose se glisse dans le tableau, c’est la conclusion sur le médicament qui devient fausse. En quelques décennies, toute une culture du traitement des données s’y est donc construite, avec ses règles, ses rôles et ses contrôles. Vue de l’extérieur, elle ressemble à de la bureaucratie. Vue de l’intérieur, c’est un ensemble d’habitudes qui permettent, des années plus tard, de répondre à la question « d’où vient ce chiffre ? » à partir des documents, et non de mémoire.
Les données sociologiques portent elles aussi sur des personnes. Une erreur y tue rarement qui que ce soit, mais elle déplace les conclusions en silence, sans que personne ne s’en aperçoive. Voici six pratiques cliniques qui, à mon sens, méritent d’être transposées en sociologie. Pas telles quelles : dans leur logique.
ALCOA+ : neuf questions à poser à chaque donnée
L’acronyme est né à la FDA, l’autorité sanitaire américaine, et s’est enrichi depuis d’un « + ». Chaque lettre renvoie, en anglais, à une qualité attendue d’une donnée fiable. Ensemble, elles se lisent comme une liste de questions à poser à n’importe quelle donnée d’une enquête :
| Lettre | Exigence | La question du sociologue |
|---|---|---|
| A | Attributable (attribuable) | Qui l’a saisie, codée, corrigée ? |
| L | Legible (lisible) | Pourrai-je la relire sans le logiciel qui a servi à la produire ? |
| C | Contemporaneous (contemporaine) | A-t-elle été notée sur le moment, ou reconstituée après coup ? |
| O | Original (originale) | Où est la source : l’enregistrement audio, le questionnaire papier, le premier fichier ? |
| A | Accurate (exacte) | Si elle a été corrigée, voit-on quoi et pourquoi ? |
| C | Complete (complète) | Quelque chose a-t-il disparu sans bruit ? |
| C | Consistent (cohérente) | Les mêmes choses sont-elles notées de la même façon ? |
| E | Enduring (durable) | Les données seront-elles encore exploitables pour une réanalyse dans dix ans ? |
| A | Available (disponible) | Peut-on retrouver rapidement ce qu’il faut quand on nous le demande ? |
Aucun de ces points n’exige une technique sophistiquée. Il faut seulement que la réponse à chaque question existe ailleurs que dans une tête : à côté des données.
L’historique des modifications : une mémoire qui ne ment pas
Dans un essai clinique, toute modification d’une donnée laisse une trace : qui, quand, l’ancienne valeur, la nouvelle, le motif. C’est ce qu’on appelle l’audit trail. La trace ne peut pas être effacée ; on peut seulement ajouter une nouvelle modification par-dessus.
Comparez avec le travail ordinaire dans un tableur. Vous remplacez « Seine-St-Denis » par « Seine-Saint-Denis » dans deux cents cellules, et c’est tout : le tableau est propre, mais on a perdu l’information qu’il ne l’était pas. Pour un seul remplacement, ce n’est pas grave. Pour quarante remplacements faits par trois personnes en six mois, c’est déjà un autre tableau, dont personne ne pourra reconstituer l’origine.
La bonne nouvelle, c’est que cet historique peut être tenu automatiquement. Et si chaque entrée contient en plus l’empreinte de la précédente (une chaîne de hachage), même une modification faite directement dans la base devient visible.
Les contrôles de saisie : attraper l’erreur tant que tout le monde s’en souvient
Les edit checks sont des règles qui se déclenchent au moment de la saisie : un âge de 214 ans, une date d’entretien dans le futur, une ancienneté professionnelle supérieure à l’âge. En recherche clinique, on les rédige avant le début de l’étude, en même temps que les formulaires.
L’idée centrale, c’est le temps. Une erreur repérée le jour de la saisie est corrigée par la personne qui a eu le questionnaire entre les mains. Une erreur découverte un an plus tard, pendant l’analyse, il faut la deviner.
Les requêtes : une question plutôt qu’une correction
Quand le data manager d’un essai clinique tombe sur une valeur étrange, il ne la corrige pas lui-même. Il ouvre une query, une question adressée à la personne qui a saisi la donnée : « Âge 214 : faute de frappe ? Merci de vérifier sur le document source. » La réponse et la correction sont conservées avec la question.
En sociologie, la transposition est presque littérale. Le codeur lit dans un verbatim « je suis arrivé en 2009 », alors que, d’après le questionnaire, l’enquêté avait neuf ans à l’époque : on pose la question à l’enquêtrice, on ne corrige pas en douce. La personne qui a fait la transcription a noté « [inaudible 00:14:32] » : on interroge celle ou celui qui a mené l’entretien et qui s’en souvient peut-être. La différence est mince, mais elle est de principe : c’est la personne qui a un motif de corriger qui corrige, et ce motif reste consigné.
La double saisie : deux personnes valent mieux qu’une
En recherche clinique, les formulaires papier sont souvent saisis deux fois, par deux personnes indépendantes, puis les écarts sont confrontés au papier. C’est coûteux, mais le nombre d’erreurs de saisie chute radicalement.
Pour trois cents questionnaires papier, cela représente deux jours de travail supplémentaires. En analyse qualitative, cette pratique a depuis longtemps une cousine : le double codage et le coefficient d’accord inter-codeurs (le kappa de Cohen, par exemple). La logique est la même : une seule paire d’yeux se trompe sans que cela se voie, deux paires se trompent de façon visible.
Le gel de la base : le moment après lequel on n’ajuste plus
Avant l’analyse, la base d’un essai clinique est « gelée » : une fois le gel prononcé, toute modification passe par un dégel documenté. Cela protège contre la plus humaine des tentations : retoucher les données après avoir vu le résultat.
En sociologie, le gel n’est pas une interdiction de changer d’avis. Une grille de codes qualitative vit et évolue, et c’est normal. Le gel, c’est la fixation d’un moment : « le chapitre 3 a été écrit à partir de ces données et de cette version des règles ». Si quelque chose change ensuite, le chapitre sait au moins sur quoi il s’appuyait.
Ce qu’il vaut mieux ne pas importer
La culture clinique des données s’est développée dans un univers de régulateurs, d’assurances et de budgets considérables. Des procédures opératoires standardisées pour chaque geste, une signature sur chaque page, une validation des logiciels à prix d’or : la sociologie n’en a pas besoin, et n’en a pas les moyens. Ce dont elle a besoin, c’est de la logique : la source reste intacte, les modifications sont visibles, les décisions sont justifiées, les données sont vérifiées tôt.
Comment c’est fait dans corpus
Dans corpus, ces pratiques sont intégrées de façon à ce qu’on n’ait pas à y penser : le journal des actions, avec sa chaîne de hachage, se tient tout seul ; corriger un texte, c’est en créer une nouvelle version ; le nettoyage des questionnaires passe par des règles motivées, appliquées par-dessus les réponses brutes. Les contrôles de saisie, les requêtes, la double saisie des questionnaires papier, la vérification par rapport à la source et le gel des données avant l’analyse sont réunis dans le module « contrôles et requêtes ».