Naukowcy z Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC-CNS) i Universitat Politècnica de Catalunya (UPC) opracowali narzędzie do tworzenia automatycznych tłumaczeń języka migowego.
Technologia opracowana wspólnie przez BSC i UPC ma za zadanie wykorzystać sztuczną inteligencję do konwersji zdań w języku migowym nagranych na wideo na język mówiony w formacie tekstowym.
Obecnie, pomimo postępów technologii do rozpoznawania głosu, takich jak Alexa i Siri, języki migowe nadal nie są uwzględniane w aplikacjach użytkowanych w życiu codziennym. To niewątpliwa bariera dla osób, które bazują na języku migowym jako preferowanym sposobie komunikacji, a chcą korzystać z technologii i dostępu do usług cyfrowych przeznaczonych wyłącznie dla języków mówionych.
Naukowcy z BSC i UPC połączyli wizję komputerową, przetwarzanie języka naturalnego i techniki uczenia maszynowego, aby przyspieszyć badania nad automatycznym tłumaczeniem języka migowego, który dotychczas był problemem złożonym, po części ze względu na zmienność i dużą liczbę języków migowych na świecie.
System, wciąż w fazie eksperymentalnej, wykorzystuje model uczenia maszynowego o nazwie Transformers, który jest podstawą innych narzędzi sztucznej inteligencji, takich jak ChatGPT, które służą do konwersji całych zdań z języka migowego, zapisanego w formacie wideo, na język mówiony w formacie tekstowym. Obecnie model koncentruje się na amerykańskim języku migowym (ASL), ale może być też dostosowany do dowolnego innego języka, o ile dostępne są wszystkie niezbędne dane, tj. korpus z równoległymi danymi, w którym każde zdanie w języku migowym (w formacie wideo) ma odpowiednie tłumaczenie na język mówiony (w formacie tekstowym).
– Nowe narzędzie opracowane jest rozszerzeniem poprzedniej publikacji również BSC i UPC o nazwie How2Sign, w której opublikowano dane potrzebne do szkolenia modeli: ponad 80 godzin filmów, w których tłumacze amerykańskiego języka migowego tłumaczą samouczki wideo, takie jak przepisy kulinarne lub sztuczki DIY. Dzięki tym danym zespół opracował nowe oprogramowanie open source zdolne do nauki mapowania między wideo i tekstem – mówi Laia Tarrés, badaczka w BSC i UPC.
Krok w kierunku rzeczywistego zastosowania
Naukowcy twierdzą, że ta nowa praca jest krokiem we właściwym kierunku, ale podkreślają również, że wciąż jest jeszcze wiele do zrobienia. Są to pierwsze wyniki, które na razie nie pozwalają na stworzenie konkretnej aplikacji służącej użytkownikom. Celem jest kontynuowanie prac nad ulepszeniem tego narzędzia.
Projekt był już prezentowany w przestrzeni Fundación Telefónica w Madrycie w ramach wystawy „Kod i algorytmy. Sense in a calculated world”. Wkrótce będzie można go również zobaczyć w Centre de Cultura Contemporània de Barcelona (CCCB) w ramach dużej wystawy poświęconej sztucznej inteligencji, która zostanie otwarta już w październiku.
Źródło: arxiv.org; eurekalert.org
Foto: pixabay.com