Zespół Katedry Systemów Multimedialnych Politechniki Gdańskiej pod kierunkiem prof. Andrzeja Czyżewskiego pracuje nad innowacyjnym rozwiązaniem do diagnostyki i terapii (stymulacji) pacjentów znajdujące się w śpiączce lub w stanie wegetatywnym – Cyber-Oko. Badacze mają w planach opracowanie jeszcze bardziej zaawansowanych rozwiązań umożliwiających m.in. komunikowanie się z osobami o obniżonej świadomości. – Mamy obowiązek dać tym ludziom szansę na wyrażanie swoich myśli, uczuć, potrzeb bez względu na sposób komunikacji – podkreślał prof. Andrzej Czyżewski podczas swojego wystąpienia na Kongresie „Zdrowie Polaków”.
Innowacyjne rozwiązanie integruje trzy technologie: śledzenia wzroku, komputerowej emisji zapachów raz analizy bioelektrycznej aktywności mózgu pacjenta. Dzięki śledzeniu wzroku, a przede wszystkim specjalnemu oprogramowaniu, którego zasada działania jest owocem kilkuletnich badań prowadzonych w sześciu ośrodkach opiekuńczo-leczniczych z udziałem pacjentów, opracowany został system umożliwiający nawiązywanie kontaktu z otoczeniem przez osoby unieruchomione i niezdolne do komunikacji werbalnej lub za pomocą gestów. Zastosowanie systemu śledzenia punktu fiksacji wzroku w określaniu stopnia świadomości stanowi innowacyjne podejście na tle badań prowadzonych w tej dziedzinie w różnych ośrodkach naukowo-badawczych.
Część zaproponowanej metodologii związana z rehabilitacją stanowi jej istotny element. Głównym celem rehabilitacji jest stymulowanie ośrodków odpowiedzialnych za procesy poznawcze z wykorzystaniem systemu śledzenia wzroku oraz stymulacja polisensoryczna, w szczególności wzrokowo-słuchowa z wykorzystaniem komputera multimedialnego. Dodatkowo stymulowany jest również zmysł powonienia z wykorzystaniem opracowanego w Katedrze Systemów Multimedialnych interfejsu aromatowego.
W terapii pacjentów zdiagnozowanych jako osoby w śpiączce lub w utrwalonym stanie wegetatywnym oprócz czynności rehabilitacyjnych istotną rolę odgrywa bodźcowanie zmysłów pacjenta za pomocą opracowanego komputerowego interfejsu aromatowego, umożliwiającego precyzyjne dozowanie substancji lotnych w ściśle określonych momentach. W przypadku niektórych pacjentów stosowana jest także analiza przebiegów elektroencefalograficznych z użyciem opracowanego oprogramowania kasku EEG. Już w fazie badań pilotażowych potwierdzono eksperymentalnie możliwość różnicowania stopnia świadomości pacjentów niekomunikujących się.
Celem badaczym było ponadto zbadanie umiejętności czytania ze zrozumieniem u pacjentów wybudzonych ze śpiączki, ale pozostających w stanie obniżonej świadomości. Do realizacji tego celu również została zastosowana technologia śledzenia wzroku. W toku opracowywania potrzebnego oprogramowania przygotowane zostały różne zadania sprawdzające umiejętność czytania ze zrozumieniem sylab, słów i zdań. Uzyskane wyniki wykazały, że w większości przypadków osoby wybudzone ze śpiączki, pozostające w stanie obniżonej świadomości, zachowały w dużym stopniu umiejętność czytania ze zrozumieniem, ale miały trudności z rozpoznawaniem błędów w tekście pisanym. Uzyskane wyniki pozwoliły na sformułowanie zaleceń dotyczących rozwoju interfejsów człowiek–komputer, opartych na śledzeniu wzroku, przeznaczonych dla osób z deficytami świadomości.
Część spośród zrealizowanych w projekcie prac badawczych miała na celu przebadanie sposobów parametryzacji i klasyfikacji sygnałów EEG pod kątem maksymalizacji skuteczności rozpoznawania intencji ruchu. Wykorzystano znane wcześniej z literatury obserwacje wykazujące zależność pomiędzy aktywnością elektryczną w różnych partiach mózgu a czynnością wykonywania rzeczywistego ruchu (np. uniesienia ręki). Ponadto analogiczna aktywność nerwowa pojawia się także w sytuacji wyłącznie wyobrażania sobie ruchu przez osobę badaną. W związku z powyższym jeden z celów badawczych w projekcie polegał na zaproponowaniu i przebadaniu nowych metod parametryzacji oraz klasyfikacji sygnałów EEG, które ostatecznie zaowocowały stworzeniem klasyfikatora o wysokiej skuteczności rozpoznawania ruchów rzeczywistych i wyobrażonych na podstawie rejestrowanej aktywności nerwowej. Rozpoznanie intencji ruchu jest szczególnie istotne w interfejsach człowiek–komputer dedykowanych osobom sparaliżowanym, które dzięki temu uzyskują możliwość m.in. sterowania położeniem kursora na ekranie i zatwierdzania wskazywanych opcji, analogicznie do sposobów obsługi aplikacji za pomocą ekranu dotykowego.
W celu potwierdzenia powyższej tezy o wysokiej skuteczności proponowanego podejścia przeprowadzono szereg eksperymentów, których celem było wykorzystanie i porównanie różnych metod uczenia maszynowego zastosowanych do klasyfikacji wyobrażonego ruchu. W efekcie badań udowodniono, że wyniki subiektywnej oceny stanu pacjentów stosowane w neurologii (GCS) korelują z wynikami uzyskiwanymi za pomocą opracowanych interfejsów człowiek–komputer (EGT i EEG), dzięki czemu możliwa jest obiektywizacja ocen pacjentów z porażeniami mózgowymi z użyciem nowoczesnych technologii informatycznych. Wykazano również, że sieci neuronowe (autoenkodery) mogą służyć do skutecznej analizy sygnałów EEG i EGT, prowadzonej w celu ustalenia stopnia świadomości osób po ciężkich urazach mózgu. Wyniki badań przedstawiono w monografii „Komputerowe oko świadomości” w 12 publikacjach w czasopismach naukowych.
Aktualne światowe trendy w badaniach nad świadomością dotyczą detekcji i analizy aktywności w wielu partiach mózgu w zakresie bardzo wysokich częstotliwości, tj. pasmach gamma (30–100 Hz), wysokim gamma (50–125 Hz), zafalowaniach (ang. ripple, 125–250 Hz) i szybkich zafalowaniach (250–500 Hz). Ponieważ nie istnieje możliwość przezczaszkowej rejestracji tych częstotliwości, to stosowana jest rejestracja wewnątrzczaszkowa z użyciem elektrod umieszczanych bezpośrednio w strukturach mózgu. Czołowe badania (Kucewicz 2014, Katedra Systemów Multimedialnych PG) wykazują, że świadome aktywności: percepcji, zapamiętywania i przywoływania z pamięci obrazów, związane są ze wzrostem wysokoczęstotliwościowych oscylacji w regionach wzrokowym (primary visual), limbicznym (limbic) oraz wyższych rzędach korowych (higher order cortical), w kolejności zgodnie z kierunkiem przetwarzania bodźców wzrokowych. Badania w tym zakresie są aktualnie prowadzone w celu przebadania obecności sygnałów związanych z procesami świadomości – zapamiętywania oraz przywoływania bodźców i informacji: wzrokowej, słuchowej, werbalnej (słownej), na podstawie współpracy z pacjentami z głęboko implantowanymi elektrodami w strukturach hipokampu, ciała migdałowatego oraz w pobliżu kory wzrokowej, słuchowej i ruchowej – średnio do 100 elektrod u osoby. Zakres badań obejmuje sprawdzenie reakcji partii mózgu i obecności charakterystycznych sygnałów w wysokich częstotliwościach gamma (do 500 Hz), w zależności od podawanych elektrycznie bodźców: sygnały o dostosowywanej amplitudzie (0,25–3,0 mA), czasie trwania stymulacji (500, 750, 1000 ms), częstotliwości (10, 25, 50, 100, 200 Hz) oraz odnosi się do sposobu pobudzania wybranych par elektrod sygnałem prostokątnym (przeciwsobnie dwubiegunowo, symetrycznie). Oczekuje się, że zweryfikowane zostanie, w jaki sposób mózg ludzki odpowiada na te stymulacje, szczególnie aktywności gamma (30–150 Hz) świadczące o procesach poznawczych.
Dane zarejestrowane przez pracowników Katedry Systemów Multimedialnych PG w Mayo Clinic (Rochester, USA) pochodzą z 30-minutowych eksperymentów przeprowadzonych u około 60 pacjentów, którzy mają elektrody implantowane na korze mózgu oraz głęboko w strukturach hipokampu, ciała migdałowatego i innych. Celem tych eksperymentów jest znalezienie parametrów stymulacji mózgu, które wywołają zmiany w aktywności iEEG (intracranial EEG/ECoG/LFP). Podczas tych 30 minut pacjent leży w łóżku, a co 3 s stymulowana jest wybrana para elektrod. W trakcie jednej sesji aplikowanych jest około 400 różnych parametrów stymulacji. Jednocześnie nagrywany jest sygnał ze wszystkich implantowanych elektrod w różnych częściach mózgu (daleko i blisko od elektrod stymulujących) – średnio 100 elektrod u każdego pacjenta. Niezbędne stało się opracowanie metod filtrowania artefaktów stymulacji w zarejestrowanych sygnałach, obecnych nawet przez pewien czas po stymulacji. W Politechnice Gdańskiej podjęto się usuwania wspomnianych wyżej artefaktów oraz poszukiwania ukrytych współzależności pomiędzy parametrami stymulacji mózgu a zmianami w aktywności iEEG oscylacjami mózgu. Filtracja i analiza sygnałów uzupełnia zatem ogólny schemat układu, w którym prowadzone są eksperymenty.
Metody analizy sygnałowej uzupełniane są także metodami statystycznymi. Ma to na celu wyeliminowanie z sygnałów z elektrod składników pochodzących z aktywności elektrycznej pobliskich mięśni i przepływu krwi w naczyniach. Między innymi stosowana jest analiza składowych głównych, analiza składowych niezależnych, analiza korelacyjna, projekcja sygnałowo-przestrzenna (ang. signal-space projection, SSP), polegająca na rozkładaniu sygnału na komponenty i określaniu, które z nich zawierają niepożądane artefakty. Podstawą działania tych metod jest spostrzeżenie, że sygnał aktywności mięśniowej pochodzi ze ściśle określonego miejsca, np. z żuchwy, powiek, i propaguje się do wielu pobliskich elektrod oraz jest rejestrowany z charakterystycznymi opóźnieniami i tłumieniami na tle właściwych sygnałów EEG. Wzorzec opóźnień i tłumień może zostać użyty do eliminacji niepożądanych artefaktów. Odpowiednio wyselekcjonowane cechy sygnałów wykorzystywane są następnie w procesie wykrywania i oceny zależności między bodźcami a reakcją kluczowych partii mózgu. W tym celu stosowane są eksperymentalnie metody inteligentne, np. klasyfikacja rozmyta, modelowanie za pomocą zbiorów przybliżonych, nadzorowany i nienadzorowany trening sztucznych sieci neuronowych, klasyfikacja za pomocą maszyny wektorów nośnych. W rezultacie możliwe staje się określenie, jakie bodźcowanie zastosować w celu uzyskania pożądanej, korzystnej aktywności nerwowej.
W perspektywie oczekuje się, że wyniki tego typu badań pozwolą dokładniej diagnozować poziom świadomości oraz opracować metody aktywnego, nieinwazyjnego, przezczaszkowego stymulowania osób z zaburzeniami świadomości w celu poprawy aktywności odpowiednich partii mózgu i poprawy możliwości i zdolności komunikowania się pacjentów po udarach mózgu lub cierpiących na różnego typu zaburzenia (nasilona epilepsja, afazja, depresje i in.).
Przedmiotem badań pozostaje, czy zaburzenia w komunikacji osób z obniżoną świadomością wynikają ze stanu sprawności układu językowego (dyzartia), czy może z zaburzeń sensorycznych lub motorycznych utrudniających budowę bądź odbiór wypowiedzi słownej (afazja). Zastanówmy się, co czuje osoba, która jest całkowicie sparaliżowana, ma afonię (bezgłos), wszyscy wokół traktują ją, jakby nic nie słyszała, nie rozumiała, a ona jest świadoma, słyszy, czuje, żyje! Chce przekazać, że coś ją boli, a nie może! Chce, posłuchać swojej ulubionej muzyki, ale jak ma o nią poprosić? Wszyscy za nią decydują, wszyscy wiedzą lepiej, co dla niej jest dobre, tylko czy na pewno?
W toku wieloletniej pracy z osobami z obniżoną świadomością, które otrzymały szansę na nawiązywanie interakcji z otoczeniem poprzez cyber-oko, zebraliśmy wiele dowodów na to, jak ważna jest możliwość komunikacji. Każdego dnia obserwujemy, jak osoby zmieniają się pod kątem emocjonalnym. Tutaj nowego znaczenia nabiera powiedzenie, że oczy są zwierciadłem duszy. Na podstawie najczęściej wskazywanych komunikatów stworzyliśmy listę tego, co chcą nam przekazać osoby w stanach minimalnej świadomości bądź zdiagnozowane (często błędnie) jako będące w stanie wegetatywnym. Każda z osób wybierała pytanie lub samodzielnie pisała na wirtualnej klawiaturze: „Czy będę jeszcze mówił/a?”. Trudne pytanie dla nas, ale zarazem istotna wskazówka, co jest dla tych osób najważniejsze. Mamy obowiązek dać tym ludziom szansę na wyrażanie swoich myśli, uczuć, potrzeb bez względu na sposób komunikacji.
zdj. Politechnika Gdańska