Чему социологу поучиться у клинических исследований
ALCOA+, журнал изменений, проверки при вводе, запросы, двойной ввод и блокировка базы — что это такое и зачем всё это качественникам и количественникам.
В клиническом исследовании ошибка в данных может стоить здоровья: если в таблицу попало не то давление или не та доза, неверным окажется вывод о лекарстве. Поэтому за десятилетия там выросла целая культура обращения с данными — с правилами, ролями и проверками. Со стороны она выглядит как бюрократия. Изнутри — как набор привычек, которые позволяют через несколько лет ответить на вопрос «откуда эта цифра?» не по памяти, а по документам.
Социологические данные тоже про людей. Ошибка в них редко кого-то убивает, но тихо меняет выводы — и этого никто не замечает. Ниже — шесть клинических практик, которые стоит перенести в социологию: не процедуры целиком, а их логику.
ALCOA+: девять вопросов к любой записи
Аббревиатура появилась в американском регуляторе FDA и с тех пор обросла плюсом. Её удобно читать как чек-лист вопросов к любой записи в исследовании:
| Буква | Требование | Вопрос социолога |
|---|---|---|
| A | Attributable | Кто это записал, закодировал, исправил? |
| L | Legible | Прочитаю ли я это без программы, в которой делала? |
| C | Contemporaneous | Записано тогда же, когда произошло, или восстановлено потом? |
| O | Original | Где исходник — аудио, бумажная анкета, первый файл? |
| A | Accurate | Если исправляли — видно ли, что и почему? |
| C | Complete | Не пропало ли что-то молча? |
| C | Consistent | Одинаковые вещи записаны одинаково? |
| E | Enduring | Доживут ли данные до повторного анализа через десять лет? |
| A | Available | Можно ли быстро достать нужное, когда спросят? |
Ни один пункт не требует сложной техники. Требуется только, чтобы ответ на каждый вопрос существовал не в голове, а рядом с данными.
Журнал изменений: память, которая не врёт
В клиническом исследовании любое изменение записи оставляет след: кто, когда, старое значение, новое значение, причина. Это называется audit trail. Удалить след нельзя, можно только добавить новое изменение поверх.
Сравните с обычной работой в электронной таблице. Вы заменили «Мск» на «Москва» в двухстах ячейках — и всё: таблица чистая, а знания о том, что она была грязной, больше нет. Для одной замены это не страшно. Для сорока замен, сделанных тремя людьми за полгода, — это уже другая таблица, происхождение которой никто не восстановит.
Хорошая новость: журнал можно вести автоматически. Если каждая запись ещё и содержит отпечаток предыдущей (хэш-цепочка), то даже правка напрямую в базе станет заметной.
Проверки при вводе: поймать ошибку, пока все помнят
Edit checks — правила, которые срабатывают в момент ввода: возраст 214, дата интервью в будущем, стаж работы больше возраста. В клинике их пишут до начала исследования, вместе с формами.
Главная идея — время. Ошибку, найденную в день ввода, исправляет человек, который держал анкету в руках. Ошибку, найденную через год при анализе, приходится угадывать.
Запросы: вопрос вместо исправления
Когда менеджер данных в клинике видит странное значение, он не исправляет его сам. Он открывает query — вопрос к тому, кто вносил данные: «Возраст 214 — опечатка? Уточните по первичному документу». Ответ и исправление сохраняются вместе с вопросом.
В социологии это переносится почти буквально. Кодировщик видит в транскрипте «приехал в 2009-м», а по анкете участнику тогда было девять лет — вопрос интервьюеру, а не тихая правка. Расшифровщик пометил «[неразборчиво 00:14:32]» — вопрос тому, кто был на интервью и может помнить. Разница маленькая, но принципиальная: исправляет тот, у кого есть основание, и основание остаётся записанным.
Двойной ввод: два человека лучше одного
Бумажные формы в клинике часто вводят дважды, двумя людьми независимо, а потом сверяют расхождения с бумагой. Это дорого, но число ошибок ввода падает радикально.
Для трёхсот бумажных анкет это пара дополнительных дней. Для качественного анализа у этой практики давно есть родственник — двойное кодирование и коэффициент согласия кодировщиков (например, каппа Коэна). Логика та же: одна пара глаз ошибается незаметно, две — заметно.
Блокировка базы: момент, после которого не подгоняют
Перед анализом клиническую базу «замораживают»: после блокировки изменения возможны только через документированную разблокировку. Это защищает от самого человеческого соблазна — поправить данные, увидев результат.
Для социолога блокировка — это не запрет передумать. Качественный кодбук живёт и меняется, и это нормально. Блокировка — это фиксация момента: «на этих данных и этой версии правил написана глава 3». Если потом что-то изменилось, глава хотя бы знает, на что она опиралась.
Чего переносить не стоит
Клиническая культура данных выросла в среде регуляторов, страховок и огромных бюджетов. Стандартные операционные процедуры на каждое действие, подпись на каждой странице, валидация программ за большие деньги — социологии это не нужно и не по карману. Нужна логика: исходник цел, изменения видны, решения объяснены, данные проверяются рано.
Как это устроено в corpus
В corpus эти практики встроены так, чтобы их не приходилось помнить: журнал действий с хэш-цепочкой ведётся сам, исправление текста — это новая версия, очистка анкет — правила с причинами поверх сырых ответов. Проверки при вводе, запросы, двойной ввод бумажных анкет, сверка с источником и заморозка данных перед анализом собраны в модуле «проверки и запросы».