Ekspertyza LMM

fot. pixabay

Aby w pełni wykorzystać potencjał sztucznej inteligencji, niektórzy użytkownicy proszą ją o udzielanie odpowiedzi, sugerując aby stała się ekspertem w danej dziedzinie. Okazuje się, że takie podejście może czasami negatywnie wpływać na jej wydajność. Wynika to z badania opublikowanego na serwerze preprintów arXiv.

Aby sprawdzić to, w jaki sposób duże modele językowe zachowują się, gdy prosi się je o bycie kimś innym, naukowcy z Uniwersytetu Kalifornijskiego przeprowadzili obszerny test, wykorzystując dwanaście różnych personifikacji w sześciu modelach językowych. Wśród nich znaleźli się eksperci z dziedzin, takich jak matematyka, programowanie oraz STEM, a także osoby pełniące ogólne role, takie jak kreatywny pisarz czy osoba monitorująca bezpieczeństwo.

Zespół odkrył, że przyjęcie konkretnej perspektywy to swego rodzaju miecz obosieczny. Chociaż sprawia, że ​​sztuczna inteligencja brzmi bardziej profesjonalnie, zapewniając większe prawdopodobieństwo przestrzegania narzuconych zasad i mniejsze prawdopodobieństwo generowania szkodliwych treści, czasami gorzej radzi sobie z zapamiętywaniem faktów. Zdaniem badaczy problem polega na tym, że gdy sztuczna inteligencja jest zmuszona do przyjęcia określonych cech, przechodzi w tryb wykonywania instrukcji, a nie w tryb wyszukiwania wiedzy.

Aby rozwiązać te problemy, naukowcy opracowali metodę PRISM (Persona Routing via Intent-based Self-Modeling), która uczy LLM, kiedy korzystać z personifikacji, a kiedy nie. Gdy ktoś zadaje pytanie, PRISM generuje odpowiedzi na oba sposoby, porównuje je, a następnie decyduje, którą z nich udzielić użytkownikowi.

Podczas treningu PRISM został nauczony generowania dwóch odrębnych odpowiedzi na każde z zadanych mu pytań. Z czasem system nauczył się dokładnie tego, kiedy głos eksperta będzie pomocny, a kiedy będzie rozmywał fakty.

Jeśli system uzna, że ​​odpowiedź nieprofesjonalizowana jest lepsza pod względem dokładności, wersja ekspercka nie jest odrzucana. Zamiast tego to, czego model uczy się z tej odpowiedzi, jest rejestrowane w komponencie zwanym adapterem LoRA, co pozwala mu później zastosować rozumowanie w stylu eksperckim.

Naukowcy przetestowali PRISM, aby sprawdzić, jak narzędzie poradzi sobie z zagadnieniami, takimi jak medycyna i prawo. W przypadku testów opartych na surowej wiedzy, wykorzystanie eksperta zmniejszyło dokładność AI. Z drugiej strony, w przypadku zadań związanych z pisaniem i bezpieczeństwem, personifikacje poprawiały wyniki.

Ogólnie rzecz biorąc, PRISM podniósł zbiorczy wynik AI o jeden do dwóch punktów, w zależności od modelu, w teście MT-Bench. Test ten mierzy, jak dobrze AI wykonuje instrukcje i utrzymuje pomocny ton. Prace nad algorytmem będą kontynuowane z większą liczbą ekspertów i w celu udoskonalenia systemu w jeszcze lepszym odgadywaniu potrzeb użytkownika.

(rr)