Mimika nie ma tajemnic przed AI

fot. pixabay

Nowa praca doktorska opisuje innowacyjny system, który umożliwia agentowi AI zarówno interpretowanie, jak i generowanie mimiki twarzy.

Wynalazek Abdallaha Husseina Shama, Enactive Facial Expression Pipeline (EFEP) to modułowy system oparty na kamerach, którego zasada działania wynika z faktu, że interakcja robota i człowieka związana jest z ciągłą wymianą gestów między użytkownikiem a agentem AI, a nie z odczytywaniem pojedynczego zdjęcia twarzy.

Używając jedynie standardowej kamery internetowej, system odczytuje wyraz twarzy interlokutora, szacuje naturalną reakcję, jaką ta wywoła w warunkach rzeczywistych, i odpowiednio syntetyzuje odpowiedź agenta.

W badaniu połączono istniejące zbiory danych dotyczące mimiki twarzy z nowym zbiorem danych zebranym od 60 uczestników w pięciu scenariuszach społecznych. Kluczowym odkryciem było fakt, że praca z pojedynczymi ruchami mięśni twarzy, a nie z ogólnymi etykietami emocji, zapewniła agentowi dokładniejszą i bardziej stabilną kontrolę nad reakcjami.

Badania położyły duży nacisk na uczciwość, wykazując istotną lukę w dokładności, gdy modele trenowano na danych pochodzących tylko z jednej grupy demograficznej. Problem ten zniknął w przypadku wykorzystania zróżnicowanych danych treningowych.

Ma to istotne znaczenie, ponieważ agenci AI są coraz szerzej wykorzystywani w środowiskach niskiego ryzyka, takich jak media interaktywne, aplikacje kreatywne i badania doświadczeń użytkownika, gdzie jakość interakcji zależy od komunikacji niewerbalnej. Agent przypominający człowieka, który reaguje odpowiednim wyrazem twarzy, a nie animacją opartą na skryptach, mógłby znacząco poprawić sposób, w jaki ludzie doświadczają tych technologii.

W kolejnym kroku system mógłby zostać rozszerzony o głos i mowę ciała, dzięki czemu interakcje między ludźmi a agentami AI byłyby jeszcze bardziej naturalne.

Zgodnie z unijną ustawą o sztucznej inteligencji, system został celowo ograniczony do obszarów niskiego ryzyka, takich jak media interaktywne i badania doświadczeń użytkowników.

(rr)