Polemika Apple z SI

fot. pixabay

Naukowcy z Apple znaleźli dowody wskazujące na to, że pozornie inteligentne odpowiedzi udzielane przez LLM stanowią pewnego rodzaju iluzję. W swoim artykule opublikowanym na serwerze preprintów arXiv badacze stwierdzają, że po przetestowaniu kilku modeli LLM odkryli, że nie są one zdolne do przeprowdzania prawdziwie logicznego rozumowania.

W ciągu ostatnich kilku lat wiele LLM, takich jak ChatGPT rozwinęło się do tego stopnia, że sporo użytkowników zaczęło się zastanawiać, czy posiadają one prawdziwą inteligencję. Zespół Apple założył, że odpowiedź leży w zdolności inteligentnej istoty lub maszyny do rozumienia niuansów obecnych w prostych sytuacjach, które wymagają logicznego rozumowania.

Jednym z nich jest zdolność do oddzielania istotnych informacji od takich, które istotne nie są. W ramach badania naukowcy testowali kilka modeli pod kątem ich zdolności do prawdziwego zrozumienia tego o co zostały zapytane, prosząc ich pośrednio o zignorowanie informacji, które nie są istotne. Ich testowanie obejmowało zadawanie im setek pytań, które były wcześniej używane jako sposób na sprawdzenie ich umiejętności, ale naukowcy uwzględnili przy tym również trochę nieistotnych informacji. To wystarczyło, aby zdezorientować je i sprawić, że udzielą błędnych lub nawet bezsensownych odpowiedzi na pytania, z którymi wcześniej sobie poradziły.

Naukowcy podkreślają, że modele LMM tak naprawdę nie rozumieją, o co zostały zapytane. Zamiast tego rozpoznają strukturę zdania, a następnie generują odpowiedź na podstawie tego, czego nauczyły się za pomocą algorytmów uczenia maszynowego. Zauważyli również, że większość testowanych przez nich modeli bardzo często używa odpowiedzi, które mogą wydawać się poprawne, ale po dalszej analizie takimi nie są.

(rr)