Разбор данных о вакцине ChAdOx1 (Оксфорд/АстраЗенека)
Мы дважды прочли промежуточный анализ КИ вакцины Чедокс1 (Оксфорд/АстраЗенека) от 8 декабря, и нашли в нем некоторые серьезные расхождения с данными, тиражируемыми в пресс-релизах.
Начнем с кратких результатов, дальше которых обычно мало кто читает:
В промежуточный первичный анализ включены данные 11 636 участников (7548 в Великобритании, 4088 в Бразилии) из 23 848, включённых в период с 23.04 по 4.11.2020.
Общая эффективность вакцины в обеих группах составила 70,4% (95,8% ДИ 54,8–80,6; 30 [0,5%] из 5807 против 101 [1,7%] из 5829).
Через 21 день после первой дозы было госпитализировано 10 пациентов с COVID-19, все в контрольной группе; в том числе 2 — с тяжёлым ковидом (1 умер). 175 тяжелых побочных эффектов было зарегистрировано 168 участников, 84 события в группе ChAdOx1 и 91 в группе контроля (физраствор или менингококковая вакцина MenACWY). Три события были классифицированы как возможно связанные с вакциной: одно в группе ChAdOx1, одно в контрольной группе и одно у участника, который пока не расслеплен.
Выводы организаторов: ChAdOx1 имеет приемлемый профиль безопасности и, как было установлено, эффективен против симптоматического COVID-19 в этом промежуточном анализе продолжающихся клинических испытаний.
Обратим внимание на «симптоматический ковид» и перейдем к деталям (Методы->Процедуры) — дьявол кроется именно в них.
Задача 3 фазы — определить эффективность вакцины путем сравнения числа заболевших в контрольной группе и в группе вакцины. Но каково определение «заболевания» в данном исследовании?
Участников просили (и регулярно напоминали) связываться с организаторами, если они заметят у себя определенные симптомы, связанные с COVID-19. Те, кто соответствовал симптоматическим критериям, направлялись на клиническую оценку, в том числе на взятие мазка для амплификации нуклеиновых кислот NAAT (обычно это метод ПЦР). В Великобритании и Бразилии для направления на тест было достаточно хотя бы одного из симптомов: температура 37,8° C и выше, кашель, одышка, аносмия (потеря обоняния), агевзия (потеря вкуса). Если участники проходили лабораторное тестирование вне исследования, результаты регистрировались и оценивались независимым комитетом по проверке конечных точек.
В Великобритании было организовано тестирование участников группы COV002 по почте: начиная со 2 недели после введения 1 дозы, раз в неделю они должны были самостоятельно брать у себя материал из носа и горла и направлять организаторам по почте. Любые результаты мазков, которые не могли быть сопоставлены с участником исследования хотя бы по двум полям персональных данных, не были добавлены в базу данных исследования.
В Бразилии аналогичное тестирование на бессимптомные инфекции не проводилось.
В Англии и Уэльсе (данных из Шотландии в анализе нет) было получено 129 529 еженедельных самостоятельно собранных мазков, из которых 126 324 (97,5%) были зарегистрированы как материал от участников. Было получено 435 положительных результатов, из которых 354 (81,4%) были зарегистрированы как материал от участников. Оценка симптомов в рамках тестирования по почте обычно не проводилась. По итогам тестирования по почте было зарегистрировано 69 случаев ковида, которые были классифицированы как бессимптомные/без информации о симптомах.
А дальше просто следите за руками:
Основная цель заключалась в оценке эффективности вакцины ChAdOx1 nCoV-19 против NAAT-подтверждённого COVID-19. Первичная конечная точка включала случаи лабораторно подтверждённого COVID-19 с хотя бы одним квалифицирующим симптомом (лихорадка ≥37 · 8 °C, кашель, одышка, аносмия или агевзия).
Смотрите, все случаи лабораторно подтверждённого ковида вдруг сузились до случаев с одним из 5 специфических симптомов. Сколько случаев оставили за бортом организаторы этим ловким ходом?
Если случай определен как NAAT(+) со специфическими симптомами, то эффективность Чедокс1 в предотвращении ковида - 70,4%.
Всего таких случаев (Англия, Уэльс, Шотландия, Бразилия, стандартная доза праймера SD/SD и низкая доза праймера LD/SD) 131 = 30 случаев в группе вакцины (5807 участников) + 101 случай в группе контроля (5829 участников)
Эта цифра вошла в пресс-релизы. Вот из чего она складывается:
- COV002 (Великобритания, SD/SD + LD/SD): всего 86 = 18 из 3744(в) + 68 из 3804(к), эффективность 73,5%
1.1. COV002 SD/SD (первоначальный дизайн): всего 53 = 15 из 2377(в) + 38 из 2430(к), эффективность 60,3%
1.2. COV002 LD/SD (добавленная когорта): всего 33 = 3 из 1367 (в) + 30 из 1374 (к), эффективность 90,0%
2. COV003 (Бразилия, все SD/SD): всего 45 = 12 из 2063(в) + 33 из 2025(к), эффективность 64,2%
Но если расширить критерии случая на лабораторно подтверждённый ковид NAAT(+) с неспецифическими симптомами, то эффективность Чедокс1 в предотвращении ковида падает до 67,1%:
Всего 149 случаев ков+ = 37/5807(в) + 112/5829(к)
Из них 18 случаев ков+ с неспецифическими симптомами = 7/5807(в) + 11/5829(к), эффективность 36,4%
Если ещё больше расширить критерии включения и добавить 69 ков(+) случаев, диагностированных по почте (организаторы не знают, были ли эти случаи симптомными или бессимптомными) и еще 3 случая (мы не нашли деталей по ним), то эффективность вакцины падает до 55,7%:
Всего 221 случай ков+ = 68/5807(в) + 153/5829(к)
55,7% - это уже худший показатель из всех, указанных для полного числа участников 11636, практически на грани минимума в 50%.
Но на самом деле дела у Чедокса1 могут быть ещё хуже.
Рассмотрим отдельно данные по 69 случаям ковида, выявленным в рамках тестирования по почте дополнительно к диагностированным очно:
Всего 69 случаев ков+ = 29/3288(в) + 40/3350(к), эффективность 27,3%
Дозировка SD/SD: 45 случаев ков+ = 22/2168(в) + 23/2223(к), эффективность 3,8%
Дозировка LD/SD: 24 случая ков+ = 7/1120 (в) + 17/1127(к), эффективность 58,9%
Это только Англия и Уэльс, без данных из Шотландии, SD/SD + LD/SD, наличие или отсутствие симптомов неизвестно.
В группе вакцины выявляемость ковида при почтовом тестировании почти в 2 раза выше (0,9% против 0,5%), чем среди тех, кто обращался к врачу и очно подтверждал диагноз. В группе контроля выявляемость ковида по почте в 1,5 раза ниже (1,2% против 1,88%), чем среди обследованных очно.
Дозировка SD/SD в этой узкой когорте показала нулевую эффективность вакцины.
Насколько плохо это выглядит по 10-балльной шкале?
Для адекватной оценки эффективности вакцины анализ результатов КИ должен учитывать все известные и подтверждённые случаи ковида у участников. Все ков(+) пациенты могут быть заразны и опасны для окружающих (вспомним нашего любимого бессимптомного суперспредера Маттиа из Ломбардии). Вакцины экстренно вводятся в оборот для того, чтобы прекратить эпидемию, а не для того, чтобы воодушевить деградирующее в локдауне население и немного обогатить фарму.
Манипуляция данными о выявленных случаях представляется нам неприемлемой.
К манипуляциям в данном анализе мы в первую очередь относим исключение из основного расчёта части лабораторно подтверждённых случаев ковида на основании того, что участники не сообщали о специфических симптомах или симптомы неизвестны организаторам.
В дизайне 3 фазы Чедокс1 предусмотрена только 1 когорта, в которой проводилось регулярное тестирование участников — британская — но данные по ней не полностью учтены в основном расчёте эффективности, якобы для целей объединения с хуже обследованной бразильской когортой. Мы считаем манипулятивным объединение двух когорт с разной глубиной тестирования.
Данные, на основании которых на данном этапе должна оцениваться эффективность Чедокс1 — это все лабораторно подтверждённые случаи ковида среди участников из Англии и Уэльса (3288 участников в группе вакцины и 3350 в группе контроля), вне зависимости от способа постановки диагноза (очно или через отправку биоматериала по почте), вне зависимости от наличия или отсутствия симптомов. Эта когорта обследована принципиально лучше других, выявляемость в ней гораздо ближе к истинной заболеваемости — и значит, именно она должна лечь в основу оценки эффективности.
Проблема только в том, что если эти данные будут обсчитаны отдельно, эффективность Чедокс1 может не дотянуть даже до 50%.
