LLM-om nie do śmiechu

fot. pixabay

Naukowcy z Uniwersytetu Xi'an Jiaotong, Uniwersytetu Technologicznego Nanyang i Uniwersytetu Massachusetts w Amherst przeprowadzili eskperyment, badając rzadko dotychczas dostrzeganą wadę modeli LLM. Ich artykuł, opublikowany na serwerze preprintów arXiv, pokazuje, że w niektórych przypadkach modele te mogą być zmylane emotikonami, błędnie je interpretując i generując odpowiedzi, które są niepoprawne lub niezgodne z zapytaniem użytkownika.

- Emotikony są szeroko stosowane w komunikacji cyfrowej do przekazywania intencji, jednak ich wpływ na bezpieczeństwo pracy dużych modeli językowych pozostaje w dużej mierze niezbadany - napisali w swoim artykule Weipeng Jiang, Xiaoyu Zhang i ich współpracownicy - Identyfikujemy semantyczne zbitki emotikon jako lukę w zabezpieczeniach, która polega na tym, że LLM błędnie interpretują emotikony zbudowane na kodzie ASCII, wykonując niezamierzone, a nawet destrukcyjne działania.

Aby zbadać to, w jaki sposób LLM reagują na emotikony, Jiang, Zhang i ich współpracownicy stworzyli zautomatyzowany system, który wygenerował tysiące przykładowych scenariuszy testowych. Na ich podstawie stworzyli zbiór danych zawierający prawie 4000 poleceń, które promptowały LLM o wykonanie określonych zadań z zakresu programowania. Polecenia zawierały również emotikony ASCII. Obejmowały one 21 rzeczywistych scenariuszy, w których użytkownicy mogliby zwrócić się do LLM o pomoc w kodowaniu.

Następnie badacze przekazali podpowiedzi do sześciu powszechnie używanych LLM, w tym Claude-Haiku-4.5, Gemini-2.5-Flash, GPT-4.1-mini, DeepSeek-v3.2, Qwen3-Coder i GLM-4.6. Na koniec przeanalizowali odpowiedzi modeli, aby określić, czy skutecznie poradziły sobie z wymaganymi zadaniami.

- Opracowaliśmy zautomatyzowany proces generowania danych i skonstruowaliśmy ich zbiór zawierający 3757 przypadków testowych zorientowanych na programowanie, obejmujących przy tym 21 metascenariuszy, cztery języki programowania i różną złożoność kontekstową - wyjaśnili autorzy - Nasze badanie sześciu systemów LLM ujawnia, że ​​semantyczne pomyłki emotikonów są powszechne, a średni współczynnik pomyłek przekracza 38%. Co ważniejsze, ponad 90% niejasnych odpowiedzi generuje poprawne składniowo wyniki, które jednak odbiegają od intencji użytkownika, co potencjalnie prowadzi do destrukcyjnych konsekwencji dla bezpieczeństwa programowania.

Wyniki tego niedawnego badania sugerują, że wiele systemów LLM w niektórych przypadkach nie rozumie znaczenia emotikonów. Brak zrozumienia często skutkuje nieprawidłowymi wynikami, szczególnie w przypadku zadań dotyczących programowania. Efektem jest kod, który na pierwszy rzut oka wydaje się poprawny, ale nie przynosi pożądanych rezultatów.

Wstępne odkrycia zebrane przez zespół badawczy mogą zainspirować dalsze badania nad tym, jak systemy sztucznej inteligencji przetwarzające język reagują na inne rodzaje komunikatów zawierających emotikony. W przyszłości mogą one również przyczynić się do opracowania nowych strategii przezwyciężenia tego niedawno odkrytego ograniczenia LLM.

(rr)