NeuroVFM: Nowy model fundamentowy dla neuroobrazowania uczy się anatomii mózgu z nieoznakowanych danych klinicznych

Zespół badawczy z Uniwersytetu Michigan opublikował w „Nature Medicine” wyniki prac nad NeuroVFM – nowym modelem fundamentowym przeznaczonym do analizy neuroobrazowania. Model ten uczy się anatomii i patologii mózgu bezpośrednio z nieoznakowanych danych szpitalnych MRI i CT, eliminując potrzebę etykietowania przez radiologów. Jest to znaczący krok naprzód, ponieważ ogólne modele sztucznej inteligencji często niedostatecznie radzą sobie z zadaniami związanymi z obrazowaniem mózgu, głównie ze względu na rzadką dostępność klinicznych skanów w publicznych zbiorach danych internetowych, co wynika z obecności identyfikowalnych cech twarzy.

Innowacyjne podejście do uczenia maszynowego w medycynie

NeuroVFM, będący uogólnionym wizualnym modelem fundamentowym dla neuroobrazowania, został wytrenowany na imponującej liczbie 5,24 miliona wolumenów klinicznych MRI i CT. Dane te pochodziły z 566 915 badań zgromadzonych w zbiorze UM-NeuroImages, obejmującym ponad dwie dekady rutynowej opieki medycznej w Michigan Medicine. Badacze określają swoje podejście jako „uczenie się systemu opieki zdrowotnej” (health system learning), co oznacza, że model uczy się z nieuporządkowanych danych generowanych podczas normalnych operacji klinicznych. Takie podejście pozwala uniknąć wąskiego gardła, jakim jest konieczność parowania obrazów z raportami radiologicznymi, a także specjalistycznego kuratorstwa danych, typowego dla klasyfikatorów ukierunkowanych na konkretne choroby.

Sercem NeuroVFM jest model bazowy o nazwie Vol-JEPA, który rozszerza wcześniejsze metody I-JEPA i V-JEPA na wolumetryczne obrazy medyczne. Vol-JEPA to algorytm samonadzorowany, oparty wyłącznie na wizji. Zamiast rekonstruować piksele, przewiduje on reprezentacje w nauczonej przestrzeni latentnej, co eliminuje potrzebę etykiet, tekstów raportów czy dekodera wokseli.

Proces uczenia Vol-JEPA przebiega następująco:

• Każdy wolumen 3D jest tokenizowany na niepokrywające się patche wokseli o rozmiarze 4x16x16.
• Wolumen jest dzielony na mały widoczny kontekst i większy zamaskowany cel.
• Koder studenta przetwarza patche kontekstowe.
• Predyktor łączy latentne reprezentacje kontekstu z kodowaniem pozycji celu, przewidując latentne reprezentacje zamaskowanego regionu.
• Koder nauczyciela generuje prawdziwe latentne reprezentacje celu. Nauczyciel jest wykładniczą średnią ruchomą (EMA) studenta.
• Trening minimalizuje stratę L1 między przewidywanymi a nauczycielskimi latentnymi reprezentacjami.

Istotne jest, że maskowanie koncentruje się na pierwszym planie, wykorzystując wstępnie obliczone maski głowy. Stosunki kontekstu wynoszą 25% dla MRI i 20% dla CT, z 20% pominięciem patchy. Taka konstrukcja zachęca koder do modelowania wspólnej neuroanatomii, a nie skrótów tła.

Wyniki i zastosowania NeuroVFM

Aby ocenić skuteczność modelu, zespół badawczy zamroził każdy koder i wytrenował identyczne sondy uwagi na poziomie badania. Głównym punktem końcowym było makro-uśrednione AUROC (pole pod krzywą ROC) dla 156 zadań diagnostycznych, obejmujących 74 diagnozy MRI i 82 diagnozy CT. NeuroVFM osiągnął 92,68 AUROC na danych CT i 92,49 na MRI, przewyższając wszystkie modele bazowe pod względem zagregowanego wyniku. Porównanie z modelami takimi jak PRIMA, HLIP i NeuroMAE, które korzystają z tych samych danych treningowych, wykazało, że przewidywanie latentne jest skuteczniejsze niż nadzór raportów czy rekonstrukcja wokseli.

Model wykazał również wysoką efektywność treningu. Pełne uruchomienie Vol-JEPA wymagało mniej niż 1000 godzin GPU, trenując się ponad 7 razy szybciej niż model bazowy 3DINO i pozwalając na 16 razy większe partie przy tej samej pamięci. Podstawowy koder ma 85,8 miliona parametrów, a jego mniejsza wersja 21,7 miliona.

Poza diagnostyką, NeuroVFM wspiera kilka zadań niższego rzędu, wykorzystując te same zamrożone tokeny wizualne. W zadaniach generowania i triażu, wariant NeuroVFM-LLaVA przewyższył czołowe modele bazowe. W tygodniowym, cichym badaniu prospektywnym przeprowadzonym w systemie opieki zdrowotnej (n=1155), NeuroVFM osiągnął 92,6% zrównoważonej dokładności triażu, w porównaniu do 71,2% dla GPT-5. Należy jednak zaznaczyć, że jego czułość wynosiła 86,5%, co oznacza, że pominięto 21 ze 155 krytycznych odkryć. Autorzy podkreślają zatem, że NeuroVFM powinien być traktowany jako narzędzie wspierające decyzje, a nie autonomiczny system przesiewowy.

Dostępność i przyszłość

Zastosowanie udostępnionego stosu NeuroVFM jest proste, wymaga jedynie instalacji pakietu i wywołania pomocników potoku. Kod jest dostępny na licencji MIT, natomiast wagi modelu na licencji CC-BY-NC-SA-4.0, przy czym niektóre wymagają zgody na dostęp z użyciem instytucjonalnego adresu e-mail. Rozwiązanie to, choć obiecujące, ma swoje ograniczenia, które są otwarcie komunikowane przez twórców. Wskazuje to na dojrzałe podejście do wdrażania AI w tak krytycznej dziedzinie, jaką jest medycyna, gdzie precyzja i bezpieczeństwo są najważniejsze. NeuroVFM stanowi ważny krok w kierunku demokratyzacji zaawansowanej analizy obrazowania medycznego, potencjalnie przyspieszając diagnostykę i poprawiając opiekę nad pacjentami, jednocześnie podkreślając potrzebę ludzkiego nadzoru w procesach decyzyjnych.

Źródło: marktechpost.com