Jak medycyna może nauczyć AI niezawodności? Badacze z Bristolu proponują ramy testowania

Naukowcy z Uniwersytetu w Bristolu opracowali ramy, które mają umożliwić deweloperom systematyczne testowanie niezawodności sztucznej inteligencji w zastosowaniach medycznych. Ich propozycja czerpie inspirację ze standardów, które medycyna stosuje przy wprowadzaniu nowych leków na rynek, aby zapewnić ich bezpieczeństwo i skuteczność.

Wyzwania medycznej AI i inspiracja z farmacji

Systemy sztucznej inteligencji przeznaczone dla medycyny często wykazują obiecujące wyniki we wstępnych testach, jednak zawodzą w praktyce klinicznej. Dzieje się tak, ponieważ AI może opierać się na cechach danych treningowych, które nie mają związku z rzeczywistą diagnozą. Podobne wyzwania stoją przed medycyną w przypadku leków, których dokładny mechanizm działania w organizmie nie jest w pełni poznany. Mimo to, medycyna wypracowała sposoby na niezawodne stosowanie takich związków. Każdy lek jest dostarczany z ustrukturyzowanym pakietem informacji, który precyzuje warunki jego działania, w tym dawkę, czas podania i grupę pacjentów. To właśnie ten pakiet przekształca substancję chemiczną w wiarygodną terapię. Zainspirowani tym podejściem, badacze z Bristolu zaproponowali podobny pakiet informacyjny dla twórców medycznej sztucznej inteligencji.

Trzy kluczowe obszary weryfikacji

Proponowany przez naukowców „Learning Ensemble” obejmuje trzy obszary, które deweloperzy muszą udokumentować i sprawdzić, zanim system zostanie użyty u pacjentów:

• Granice systemu: Pierwszy obszar dotyczy ograniczeń systemu, w tym dla jakich lekarzy lub klinik jest przeznaczony, na jakim sprzęcie działa oraz jakie dane pacjentów posłużyły do jego trenowania. Badanie z 2021 roku pokazało, dlaczego jest to kluczowe: system AI miał wykrywać infekcję COVID na zdjęciach rentgenowskich, ale zamiast identyfikować oznaki choroby w płucach, skupiał się na przypadkowych szczegółach na obrazach, które korelowały z diagnozą. Gdy tylko system został wdrożony w innej klinice, zawiódł.
• Niezawodność w różnych grupach pacjentów: Drugi obszar to niezawodność w różnych grupach pacjentów. Sama średnia skuteczność nie wystarczy, ponieważ system może ogólnie wyglądać dobrze, jednocześnie regularnie popełniając błędy w przypadku niektórych grup. Inne badanie z 2021 roku wykazało, że systemy AI analizujące zdjęcia rentgenowskie znacznie rzadziej wykrywały choroby u populacji niedostatecznie obsługiwanych. Wdrożenie takich systemów zaszkodziłoby dokładnie tym pacjentom, którzy już otrzymują gorszą opiekę.
• Zgodność z przeznaczeniem klinicznym: Trzeci obszar, zdaniem badaczy najważniejszy, to pytanie, czy system w ogóle pasuje do zamierzonego celu klinicznego. System, który działa technicznie, może być bezużyteczny w klinice. Na przykład, jeden system AI oceniał pacjentów z astmą i zapaleniem płuc jako osoby o niskim ryzyku śmiertelności. W danych treningowych rzeczywiście przeżywali oni częściej, ale tylko dlatego, że oddziały ratunkowe leczyły ich szczególnie agresywnie. Dla triażu, który polega na ocenie ryzyka nowych pacjentów, wynik ten był bezwartościowy.

Perspektywy i znaczenie dla przyszłości medycznej AI

Autorzy postrzegają swoją pracę jako punkt wyjścia. Zbudowanie niezawodnego medycznego systemu AI w praktyce pozostaje wymagającym procesem prób i błędów, który wymaga ekspertyzy, zewnętrznej oceny i ciągłego dopracowywania. Ich ramy mają na celu zapewnienie deweloperom wspólnego języka i struktury, aby wcześniej wykrywać problemy. Wprowadzenie ustandaryzowanych metod weryfikacji może znacząco przyczynić się do zwiększenia zaufania do technologii AI w medycynie, co jest kluczowe dla jej szerszego i bezpiecznego zastosowania w opiece zdrowotnej. Takie podejście może pomóc w uniknięciu kosztownych błędów i zapewnić, że narzędzia AI będą wspierać, a nie szkodzić pacjentom, szczególnie w najbardziej wrażliwych grupach. To krok w stronę odpowiedzialnego rozwoju sztucznej inteligencji w sektorze zdrowia.

Źródło: the-decoder.com