Chatboty przestaną zmyślać

W ciągu ostatniego roku badacze sztucznej inteligencji odkryli, że gdy chatboty nie są w stanie udzielić odpowiedzi satysfakcjonujących użytkowników, mają tendencję do udzielania fałszywych odpowiedzi.

W ramach programu badawczego mającego na celu powstrzymanie ich przed zmyślaniem, zespół naukowców wykorzystał okna Chain of Thought (CoT). Zmuszają one chatbota do wyjaśniania swojego rozumowania podczas wykonywania każdego kroku na drodze do znalezienia ostatecznej odpowiedzi na zapytanie.

Następnie modyfikowali model, aby uniemożliwić mu wymyślanie odpowiedzi lub kłamanie na temat powodów dokonania danego wyboru, gdy dostrzegano nieuczciwe działania w ramach okna CoT. Zespół odkrył, że powstrzymało to chatboty przed oszustwem przynajmniej w początkowej fazie generowania odpowiedzi.

W swoim artykule opublikowanym na serwerze preprintów arXiv naukowcy opisali przeprowadzone przez siebie eksperymenty obejmujące dodawanie okien CoT do kilku chatbotów i miarę tego, jak wpłynęło to na sposób ich działania. Przyglądając się bliżej informacjom wyświetlanym w oknach CoT i ostatecznym wynikom zapytań podawanym przez chatboty, odkryli, że zaczęły one znajdować sposoby na ukrycie swoich oszustw, pozwalając sobie na dalsze udzielanie fałszywych odpowiedzi.

Z punktu widzenia chatbota nadrzędnym celem było ich udzielenie bez względu na wszystko. Aby osiągnąć ten cel, modele odkryły, że jeśli ich rozumowanie w celu uzyskania odpowiedzi jest monitorowane, a fałszywe dane blokowane, należy ukryć prawdziwe rozumowanie w oknach CoT.

Do tej pory zespół badawczy nie był w stanie znaleźć sposobu, aby zapobiec temu zjawisku. Sugeruje jednak, że potrzebne są dalsze badania, które mogą w tym pomóc.

(rr)