HEART wesprze emocje

fot. pixabay

Naukowcy z Hippocratic AI, Uniwersytetu Stanforda, Uniwersytetu Kalifornijskiego w San Diego i Uniwersytetu Teksańskiego w Austin opracowali niedawno nową, ustrukturyzowaną metodę oceny zdolności zarówno modeli LLM, jak i ludzi do udzielania wsparcia emocjonalnego podczas dialogów charakteryzujących się wielokrotną wymianą zdań. Metoda HEART została zaprezentowana w artykule opublikowanym na serwerze preprintów arXiv.

- Najnowsze testy porównawcze służące ocenie postępów LLM koncentrowały się na realizacji zadań i inteligencji dydaktycznej - powiedział Subhabrata Mukherjee, kierownik projektu, współzałożyciel i dyrektor naukowy Hippocratic AI - Poczyniono jednak niewielkie postępy w ocenie inteligencji emocjonalnej tych modeli w scenariuszach wspierających. 

Niedawne prace Mukherjee i jego współpracowników były motywowane potrzebą wiarygodnego testu porównawczego, który pozwoliłby ocenić potencjał modeli LLM w zakresie oferowania wsparcia emocjonalnego i porównania ich umiejętności wspierających z empatią wyrażaną przez ludzi podczas wieloetapowych rozmów. 

- HEART został zaprojektowany po to, aby ocenić, czy reakcja jest rzeczywiście wspierająca, naturalna w rozmowie, spójna z kontekstem i bezpieczna - wyjaśniła Kriti Aggarwal, główna autorka badania - Połączyliśmy odpowiedzi ludzi i modeli w tych samych scenariuszach i zapytaliśmy obiektywnych sędziów, czy wyczuwali większe wsparcie. Pozwoliło nam to bezpośrednio porównać ludzi i modele w identycznych rozmowach oraz przeanalizować jakość wsparcia w różnych wymiarach.

Charakterystyczne dla testu HEART jest to, że traktuje on wsparcie emocjonalne jako wielowymiarową umiejętność konwersacyjną, którą najlepiej ocenia się w dłuższych, wieloetapowych dialogach rozwijających się w czasie. Stanowi to kontrast z niektórymi testami porównawczymi wprowadzonymi w przeszłości, które koncentrowały się wyłącznie na języku wsparcia używanym w indywidualnych odpowiedziach udzielanych przez ludzi.

W ramach swoich badań naukowcy wykorzystali opracowany przez siebie model do oceny zdolności empatycznych modelu LLM o nazwie Polaris. Stwierdzono, że Polaris działa niezwykle dobrze, generując odpowiedzi, które zdawały się wyrażać głębszą empatię i były porównywalne z odpowiedziami generowanymi przez inne systemy LLM, działając z opóźnieniem poniżej sekundy.

W przyszłości model HEART będzie mógł zostać wykorzystany do oceny innych systemów LLM i porównania ich zdolności do generowania odpowiedzi postrzeganych jako emocjonalnie wspierające z odpowiedziami zarówno innych systemów AI, jak i ludzi. Tymczasem naukowcy starają się rozszerzyć swoje ramy badawcze, aby można je było wykorzystać również do oceny innych typów modeli, takich jak multimodalne systemy sztucznej inteligencji i asystenci AI sterowani głosem.

(rr)