Jak dobre zaplanowanie statystyki może pomóc w publikacji w prestiżowych czasopismach?

Projekt Epistop zmienił sposób zapobiegania padaczce u noworodków. Zobacz, jak go wsparliśmy dzięki naszemu naukowemu podejściu i doświadczeniu w nauce danych klinicznych.

Zaangażowanie analityków z Transition Technologies Science w projekt jest niezwykle ważne. To nie tylko terminowa i prawidłowa realizacja zadań wynikających z umowy konsorcjum, ale także stały, owocny i inspirujący udział w planowaniu i dyskusjach.

prof. Kotulska-Jóźwiak

Doktor Nauk Medycznych, Główny badacz

Projekt EPISTOP był dużym międzynarodowym badaniem klinicznym koordynowanym przez Instytut Pomnik – Centrum Zdrowia Dziecka (IPCZD). Oprócz IPCZD w projekcie uczestniczyło 10 ośrodków klinicznych z Europy i Australii, a także pięć laboratoriów badawczych z Europy i USA.

Projekt całkowicie zmienił sposób zapobiegania padaczce u noworodków ze stwardnieniem guzowatym. Wyniki stały się obecnie wytycznymi dotyczącymi leczenia na całym świecie. Zostały one opisane w czasopismach takich jak Annals of Neurology, Genetics in Medicine, czy  Epilepsia.

Jednak terapia została początkowo odrzucona przez jedno z najważniejszych czasopism w tej  dziedzinie – Neurology.

W tym studium przypadku pokażemy, jak dobrze zaplanowana analiza danych klinicznych pozwoliła badaczom na swobodę działania i przyczyniła się do sukcesu,a ostatecznie publikacji badania.

Tło Medyczne

Stwardnienie guzowate jest dość rzadką chorobą; rodzi się z nią jedno na sześć tysięcy dzieci. Powoduje łagodne guzy w różnych narządach: mózgu, sercu, płucach, nerkach, dnie oka i skórze.

W 90% przypadków chorobie towarzyszy padaczka. U 70 procent młodych pacjentów pojawia się przed ukończeniem drugiego roku życia, powodując znaczne zahamowanie rozwoju umysłowego.

Nasilenie choroby często koreluje z czasem wystąpienia pierwszych objawów. Wcześniejszy początek prowadzi do bardziej wrażliwych i delikatnych stanów mózgu, co skutkuje większymi uszkodzeniami. Padaczka pojawiająca się w pierwszym roku życia prowadzi do upośledzenia  w 82% przypadków.

%

W 90% przypadków stwardnieniu guzowatemu towarzyszy padaczka.

%

Padaczka pojawia się przed ukończeniem 2. roku życia u 70% młodych pacjentów ze stwardnieniem guzowatym.

%

Padaczka pojawiająca się w pierwszym roku życia prowadzi do niepełnosprawności intelektualnej w 82% przypadków.

Paradoks w (nie)leczeniu padaczki

Stwardnienie guzowate można zdiagnozować bardzo wcześnie – możliwe jest już wykrycie guzów u płodu w czasie ciąży.

Jednak nawet u dzieci, u których diagnozę postawiono tak wcześnie, leczenie padaczki jest zwykle opóźnione do momentu wystąpienia pierwszych napadów.

W końcu jak można leczyć chorobę, która jeszcze się nie ujawniła?

prof. Sergiusz Jóźwiak

Zwlekaliśmy z leczeniem, mimo że wiedzieliśmy, że u 70 procent dzieci, które urodziły się ze stwardnieniem guzowatym, w ciągu 24 miesięcy rozwiną się napady padaczkowe, które uszkodzą ich mózgi.

prof. Sergiusz Jóźwiak

Doktor Nauk Medycznych, Główny badacz

Doktor Jóźwiak zaczął leczyć inaczej

W 2007 roku dr Jóźwiak rozpoczął regularne badania EEG noworodków przed wystąpieniem drgawek. W ich wyniku zostały wykazane niewielkie zmiany w drugim i trzecim miesiącu życia u 70% pacjentów. Po kilku miesiącach jednak pojawiały się u nich drgawki.

W 2011 roku zespół kierowany przez dr Jóźwiaka rozpoczął inne leczenie u 14 młodych pacjentów ze stwierdzonym stwardnieniem guzowatym. Wykonywano u nich badania EEG w 4-tygodniowych odstępach od urodzenia aż do 24 miesiąca życia. 

W wyniku zastosowanej terapii zmiany w EEG nie pojawiły się u czworga dzieci (30%). U pozostałych dziesięciu pacjentów w wyniku zmian w badaniu EEG zostało wdrożone leczenie przeciwpadaczkowe.

U czworga z nich (40%) odczyty EEG znormalizowały się z czasem i nie wykazywały one klinicznych objawów padaczki. W przypadku pozostałej szóstki pacjentów napady wystąpiły, ale były one łatwiejsze do opanowania.

Najważniejsze czasopismo w tej dziedzinie, Epilepsia, odrzuciło artykuł na ten temat.

Dlaczego? Badanie nie zostało przeprowadzone zgodnie ze standardami badań naukowych – brakowało randomizacji i dwóch grup pacjentów.

Pierwsze pomysły w trakcie badania są często notowane w Excelu i to właśnie tam sprawdzana jest wstępna wykonalność. Ten pierwszy etap ma potwierdzić intuicję badacza i do tego celu to oprogramowanie jest wystarczające. Jednak na późniejszych etapach badania Excel staje się zbyt wszechstronnym narzędziem. Nie pozwala na odpowiednią kontrolę jakości danych. Kiedy sprawy zaczynają robić się poważne, warto skorzystać z profesjonalnych narzędzi.

Epistop był międzynarodowym projektem finansowanym przez Komisję Europejską, mającym na celu udowodnienie skuteczności leczenia zapobiegawczego i zbadanie przyczyn padaczki.

Wzięli w nim udział eksperci z 16 europejskich ośrodków badawczych i szpitali klinicznych, w tym Tor Vergata University Hospital, Necker Enfants Malades Hospital, Vrije Universiteit Brussel i Charité – Universitätsmedizin Berlin. Część genetyczną koordynował prof. Dawid Kwiatkowski z Brigham and Women’s Hospital, Harvard Medical School. Prof. Jóźwiak był liderem projektu.

Jak więc badanie przeszło od początkowego odrzucenia do ostatecznej publikacji na stronach Epilepsia i Annals of Neurology?

 

prof. Kotulska-Jóźwiak

prof. Kotulska-Jóźwiak

Doktor Nauk Medycznych, Główny Badacz

 

Umożliwiliśmy badaczom wykorzystanie ich danych.

Statystyczny plan działania:

Zapewnienie sukcesu w badaniach klinicznych

Rozpoczynasz badanie kliniczne? Jako pracownik naukowy zdajesz sobie sprawę z zawiłości tego procesu.

Zanim zagłębimy się w ryzyko i rozwiązania w zakresie analizy danych klinicznych, zbadajmy, w jaki sposób możemy współpracować przy następnym projekcie.

U

Etap 1: Wstępne badania (ocena potrzeb i planowanie budżetu)

Po pierwsze, będziemy współpracować z Tobą, aby zrozumieć Twój unikalny obraz badania.

Etap 2: Opracowanie protokołu (wybór metodologii)

Następnie współtworzymy solidny protokół, który jest zgodny z Twoją wizją.

m

Etap 3: Uruchomienie badania (gromadzenie i zarządzanie danymi)

Gdy badanie się rozpocznie, będziemy z Tobą, zapewniając płynny proces.

Etap 4: Analiza danych i raportowanie (analiza i interpretacja)

Kiedy nadejdzie czas, aby zagłębić się w dane, wniesiemy naszą wiedzę na pierwszy plan.

Etap 5: Wtórna analiza danych

Szukasz głębszych spostrzeżeń? Wspólnie zbadamy niezbadane terytoria.

j

Etap 6: Publikacja i wpływ

Wspólnie będziemy świętować udaną publikację i dalekosiężny wpływ Twojego projektu.

Omówmy teraz szczegółowo, jakie ryzyko wiąże się z każdym etapem procesu i jak je zminimalizować.

=
Etap 1: Wstępne badania (ocena potrzeb i planowanie budżetu)

Potencjalne zagrożenia: Błędne założenia dotyczące efektów, ograniczenia budżetowe, niezgodność z celami badawczymi i inne.

Nasze podejście: Wspólnie wykorzystamy różne strategie, aby ograniczyć to ryzyko:

  1. Dane ze świata rzeczywistego/dowody ze świata rzeczywistego (RWD/RWE): Analizując dane zebrane z rzeczywistych doświadczeń pacjentów i praktyk klinicznych (RWD) oraz dowody pochodzące z tych danych (RWE), możemy zweryfikować założenia dotyczące efektów, zapewniając, że badania są oparte na rzeczywistości.
  2. Metaanalizy: Agregacja wyników z wielu badań zapewnia szerszą perspektywę, zmniejszając ryzyko błędnych założeń i dostosowując badania do istniejących dowodów. Metoda ta łączy wyniki różnych niezależnych badań w celu zidentyfikowania wspólnych trendów i spostrzeżeń.
  3. Badania jakościowe: Zaangażowanie w badania jakościowe, takie jak wywiady i grupy fokusowe, pozwala na głębsze zrozumienie kontekstu, zapewniając, że cele badawcze są istotne i możliwe do osiągnięcia.
=

Etap 2: Opracowanie protokołu (wybór metodologii)

Potencjalne zagrożenia: Zły projekt badania, nieodpowiednia wielkość próby, niespójności metodologiczne, inne.

Nasze podejście: Wspólnie zastosujemy ukierunkowane usługi, aby sprostać tym wyzwaniom:

  1. Szacowanie wielkości próby (z symulacjami badań klinicznych): Starannie szacując liczbę pacjentów potrzebną do zrekrutowania w badaniu z wykorzystaniem symulacji, zapewnimy, że projekt jest statystycznie poprawny i ma wystarczającą moc do wykrywania znaczących efektów, zmniejszając ryzyko niewłaściwej wielkości próby badania.
  2. Opracowanie planu analizy statystycznej: Opracowanie kompleksowego planu analizy statystycznej ukierunkuje metodologię, minimalizując niespójności i dostosowując się do najlepszych praktyk.
  3. Optymalizacja projektu: W ścisłej współpracy z klientem dokonamy przeglądu i udoskonalenia projektu badania, upewniając się, że jest on zgodny z celami badawczymi i standardami akademickimi. Wykorzystując metody obliczeniowe, takie jak optymalizacja, możemy porównać różne opcje, w tym projekty adaptacyjne, które pozwalają na elastyczność i dostosowania w trakcie badania, aby znaleźć najlepsze dopasowanie do projektu.
=

Etap 3: Uruchomienie badania (gromadzenie i zarządzanie danymi)

Potencjalne zagrożenia: Błąd ludzki, niespójność danych, nieprzewidziane przeszkody i inne.

Nasze podejście: Nasze innowacyjne i adaptacyjne podejście obejmuje:

  1. Wykorzystanie klasyfikatorów uczenia maszynowego: Wykorzystując klasyfikatory uczenia maszynowego, tworzymy algorytmy, które mogą wykrywać i rozwiązywać wyzwania na wczesnym etapie procesu gromadzenia danych. Te klasyfikatory mogą identyfikować wzorce i anomalie, często zmniejszając ich dotkliwość, zapewniając jakość i integralność gromadzenia danych. Będziemy stale monitorować badanie, gotowi reagować na wszelkie pojawiające się wyzwania, zapewniając, że projekt pozostanie na dobrej drodze i będzie zgodny z celami.
  2. Wykorzystanie wcześniej stworzonych narzędzi (symulatorów, optymalizatorów): W przypadku wystąpienia nieoczekiwanych zdarzeń, będziemy korzystać z naszej kolekcji specjalistycznych narzędzi, w tym symulatorów i optymalizatorów, aby podejmować świadome decyzje dotyczące dalszego postępowania. Narzędzia te zostały opracowane w celu obsługi różnych scenariuszy w badaniach klinicznych, optymalizując postęp badania.
=
Etap 4: Analiza danych i raportowanie (analiza i interpretacja)

Potencjalne zagrożenia: Brak dokumentacji, błędy analityczne, błędna interpretacja i inne.

Nasze podejście: Nasze kompleksowe i przejrzyste podejście obejmuje:

  1. Tworzenie powtarzalnych raportów i udostępnianie kodu: Tworząc jasny i powtarzalny raport, zapewniamy, że analiza jest przejrzysta i weryfikowalna, zmniejszając ryzyko błędnej interpretacji i dostosowując się do standardów akademickich.
  2. Stosowanie zautomatyzowanych testów danych: Wykorzystując zautomatyzowane testy, zminimalizujemy błędy analityczne, zapewniając dokładność i spójność danych.
  3. Wspólna interpretacja: Ściśle współpracując z Tobą, zinterpretujemy wyniki, upewniając się, że są one zgodne z Twoimi celami badawczymi i spełniają najwyższe standardy rygoru akademickiego.
=
Etap 5: Wtórna analiza danych
Potencjalne zagrożenia: Niewykorzystane możliwości, przeoczone powiązania, niezbadane metodologie i inne.

Nasze podejście: Nasze innowacyjne i oparte na współpracy podejście obejmuje wykorzystanie Explainable AI (XAI):


Stosując XAI, gałąź sztucznej inteligencji, która zapewnia jasne i zrozumiałe wyjaśnienia złożonych ustaleń opartych na sztucznej inteligencji, demistyfikujemy złożone wzorce. Takie podejście pozwala nam odkryć spostrzeżenia, które w przeciwnym razie mogłyby zostać pominięte, zapewniając jasne wyjaśnienia zgodne z rygorem akademickim. Gwarantuje to, że proces podejmowania decyzji przez sztuczną inteligencję może być przejrzyście zrozumiany, zgodnie z zasadami badań naukowych.

    =

    Etap 6: Publikacja i wpływ

    Nasze podejście: Nasze kompleksowe i przejrzyste podejście obejmuje

    1. Zrozumienie wyników: Będziemy współpracować z Tobą w celu interpretacji i przedstawienia wyników, zapewniając, że wyniki zostaną przedstawione w sposób jasny i rygorystyczny.
    2. Przygotowanie artykułu: Ściśle współpracując, pomożemy w opracowaniu manuskryptu, dostosowaniu go do standardów publikacji i zwiększeniu jego potencjału do akceptacji w czasopismach o wysokiej randze.
    3. Pomoc w przypadku wątpliwości recenzentów: Jeśli pojawią się jakiekolwiek pytania lub wątpliwości ze strony recenzentów, będziemy po Twojej stronie, zapewniając fachowe wskazówki i wsparcie w ich rozwiązywaniu, zapewniając sprawny proces publikacji.

    Teraz, gdy już wiesz, jak planować statystyki kliniczne,
    zobacz, co zrobiliśmy w projekcie Epistop.

    Nasza rola w projekcie

    Umożliwiliśmy badaczom swobodną eksplorację poprzez zapewnienie elastycznej infrastruktury danych w R.

    Bez odpowiednich narzędzi trudno jest rozważać różne scenariusze i hipotezy, zwłaszcza przy ograniczonym czasie i budżecie.

    W projekcie Epistop stanęliśmy przed wyzwaniem analizy padaczki lekoopornej, dla której nie ma jednej definicji.

    Niektórzy naukowcy definiowali ją jako brak odpowiedzi na leki po 30 dniach; inni twierdzili, że 45 dni jest lepszą miarą. Zamiast po prostu „przeprowadzać obliczenia”, przygotowaliśmy infrastrukturę do generowania powtarzalnych raportów, w których zmiana jednego parametru powoduje ponowne obliczenie wszystkiego w ciągu kilku sekund i bez ryzyka błędu.

    Nawet najmądrzejsi ludzie są podatni na ludzkie błędy, a jeden niewykryty błąd może zakwestionować całe badanie. Uwiarygodniliśmy badanie za pomocą oprogramowania, które pomogło wskazać błędy i podejrzane wartości danych.

    Automatyczne testy 

    Pierwszą metodą były testy automatyczne, dobra praktyka w tworzeniu oprogramowania. Napisaliśmy kod, aby znaleźć błędy, takie jak data badania, która jest wcześniejsza niż data urodzenia lub wynik znacznie różniący się od poprzednich. Takie sytuacje mogą być spowodowane błędami ludzkimi podczas wprowadzania danych. Testy szybko wykrywają takie błędy.

    Wizulizacje

    Drugą kwestią były wizualizacje. Przygotowaliśmy wizualny obraz przebiegu leczenia dla każdego pacjenta, umożliwiając naukowcom łatwą weryfikację ścieżki każdego uczestnika i upewnienie się, że w danych nie ma błędów.

    Pomogliśmy naukowcom znaleźć anomalie i upewnić się, że wyniki badania są wiarygodne.

    Udokumentowaliśmy przepływ danych w taki sposób, aby rezultat był przejrzysty i łatwy do wyjaśnienia recenzentom.

    Aby zrozumieć dane i skutecznie odpowiedzieć na pytania pod koniec badania, co może zająć lata, wprowadziliśmy wersjonowanie wygenerowanych raportów w repozytorium Git. Tam też prowadziliśmy całą komunikację związaną z projektem. Naukowcy mogą łatwo śledzić wszystkie wersje raportów i dodawać swoje komentarze.

    Miesiące po wygenerowaniu raportu mogą być potrzebne ponowne obliczenia ze względu na pytania recenzentów lub kolejne projekty. Zmiany w zewnętrznych narzędziach i bibliotekach mogą prowadzić do różnic w wynikach.

    Użyliśmy Packrat – narzędzia do kodu R, które zapisuje ekosystem obliczeń na dany dzień, umożliwiając ponowne obliczenia w tym samym środowisku.

    $

    Opis techniczny zastosowanych metod statystycznych, np. usuwanie braków danych, transformacje zmiennych.

    $

    Rodzaj używanego oprogramowania, np. wersje: systemu operacyjnego, R, bibliotek systemowych.

    W ramach projektu Epistop zadbaliśmy o dane i zrobiliśmy wszystko, aby badacze mogli swobodnie przeprowadzać badanie kliniczne, mając pewność co do jego wyników.

    Efekty projektu: prawie 1 200 cytowań

    Zapraszamy do kontaktu