Tekst: prof. W. Wiktor Jędrzejczak, prof. Krzysztof Kochanek
Narzędzia konwersacyjne oparte na sztucznej inteligencji, takie jak OpenAI ChatGPT, Microsoft Bing Chat i Google Bard, stanowią przedmiot intensywnych debat dotyczących ich przydatności oraz kwestii etycznych.
W ramach tego badania oceniono te systemy pod kątem ich odpowiedzi na zestaw pytań z zakresu audiologii. Każdemu chatbotowi zadano identyczny zestaw 10 pytań, a odpowiedzi oceniono za pomocą skali Likerta od 1 do 5, biorąc pod uwagę również obecność błędów czy nieścisłości. Analizowano także inne cechy odpowiedzi, takie jak liczba słów, obecność odniesień oraz sugestie skonsultowania się ze specjalistą.
Większość odpowiedzi dostarczonych przez wszystkie trzy chatboty została oceniona jako zadowalająca lub lepsza. Niemniej jednak każdy z chatbotów generował pewną liczbę błędów czy nieścisłości. Spośród nich ChatGPT uzyskał najwyższy ogólny wynik, podczas gdy Bard uzyskał najniższy. Bard był jedynym, który nie był w stanie odpowiedzieć na jedno z pytań, a także jedynym, który zawsze sugerował konsultację ze specjalistą.
ChatGPT nie podał informacji o źródłach, co stanowiło wyjątek w porównaniu z pozostałymi chatbotami.
Wnioski z badania sugerują, że chatboty są fascynującym narzędziem, umożliwiającym dostęp do podstawowych informacji w specjalistycznych dziedzinach, takich jak audiologia. Jednakże użytkownicy powinni zachować ostrożność, gdyż poprawne informacje często mieszały się z błędami. Szczególnie istotne jest to w przypadku ChatGPT, który nie dostarcza informacji o źródłach.
Link do nagrania: Chatboty w audiologii klinicznej: porównanie trzech popularnych narzędzi