Mapowanie modeli AI

fot. pixabay

Naukowcy odkryli, że umiejętności modeli LMM związane z zapamiętywaniem i rozumowaniem zajmują odrębne części ich wewnętrznej architektury. Ich spostrzeżenia mogą pomóc w zwiększaniu bezpieczeństwa i wiarygodności sztucznej inteligencji.

Modele trenowane na ogromnych zbiorach danych opierają się na co najmniej dwóch głównych cechach przetwarzania. Pierwszą z nich jest pamięć, która pozwala systemowi na wyszukiwanie i cytowanie informacji. Drugą natomiast jest rozumowanie, czyli rozwiązywanie nowych problemów poprzez stosowanie uogólnionych zasad i wyuczonych wzorców. Do tej pory nie było jednak wiadomo, czy są one przechowywane w tym samym miejscu. Z tego powodu naukowcy ze startupu Goodfire.ai postanowili zbadać wewnętrzną strukturę dużych modeli językowych i wizyjnych, aby zrozumieć, jak one działają.

Najpierw zespół wykorzystał technikę matematyczną o nazwie K-FAC do identyfikacji konkretnych komponentów przetwarzania odpowiedzialnych za różne możliwości, takie jak wąskie i wyspecjalizowane ścieżki pamięci oraz współdzielone komponenty przetwarzania. Następnie badacze dezaktywowali elementy SI związane z zapamiętywaniem i przetestowali model w różnych zadaniach. Obejmowały one odpowiadanie na faktyczne pytania i rozwiązywanie nowych problemów. Pozwoliło to wykazać, że po wyłączeniu pamięci modele nadal mogły korzystać ze swoich umiejętności rozumowania, co wskazuje na to, że obie funkcje zajmują oddzielne części wewnętrznej architektury SI.

Proces wyłączania pamięci ujawnił ponadto zaskakujący kompromis. Chociaż ogólny poziom rozwiązywania problemów pozostał nienaruszony, umiejętności wykorzystywane przez sztuczną inteligencję do zagadnień związanych z matematyką i przywoływaniem pojedynczych faktów uległy znacznemu pogorszeniu.

Dokładna wiedza o tym, jak działa sztuczna inteligencja jest kluczowa dla poprawy bezpieczeństwa i zwiększenia zaufania społecznego. Jednym z problemów związanych z modelami sztucznej inteligencji zapamiętującymi dane jest to, że mogą one ujawniać prywatne informacje lub teksty chronione prawem autorskim. Zapamiętywanie może również prowadzić do utrwalania szkodliwych uprzedzeń lub szerzenia toksycznych treści.

Problemy te można jednak złagodzić, jeśli inżynierowie będą mogli precyzyjnie namierzać i usuwać wyuczone fakty i wyspecjalizowane ścieżki, nie wpływając na ogólny poziom wydajności AI. Może to pomóc również zwiększyć możliwości i obniżyć koszty eksploatacji dużych modeli poprzez zmniejszenie wymaganej przestrzeni sieciowej.

(rr)