Wielkiej wagi sztuczna inteligencja

fot. pixabay

Badacze z japońskiego startupu Sakana AI ogłosili opracowanie samoadaptacyjnego modelu LLM o nazwie Transformer2.

Qi Sun, Edoardo Cetin i Yujin Tang opublikowali artykuł o nim na serwerze arXiv. W ramach badania znaleźli sposób na zniwelowanie jednej z głównych bolączek tradycyjnych LLM - potrzeby dostrajania w momencie, jeśli zostaną poproszone o wykonanie czynności, do której nie zostały wyszkolone.

Przy obecnym podejściu parametry LLM są dostosowywane, a następnie model jest trenowany za pomocą nowych próbek, aby później zmienne te pozostały w zamrożonej formie. Zespół badawczy wprowadził natomiast model, który sam dokonuje korekt w swoim systemie wag, aby umożliwić sobie dynamiczne dostosowywanie się do nowych typów zadań.

By tak się stało, inżynierowie podzielili proces generowania odpowiedzi na zadanie na dwa etapy. Pierwszy obejmuje analizę żądania i ustalenie, co będzie wymagane do udzielenia dobrej odpowiedzi. W ramach drugiego wprowadzane są wynikające z tej analizy zmiany w systemie wag. Ten opiera się o proces matematyczny zwany rozkładem wartości osobliwych, aby określić, które części jego własnego systemu są najważniejsze dla zapewnienia najlepszej możliwej odpowiedzi. W celu przedsięwzięcia kroków potrzebnych do kierowania zachowaniem modelu stosowane jest uczenie przez wzmacnianie.

Ogólnym rezultatem zastosowania nowego podejścia jest fakt, że pozwala ono LLM na dostosowywanie się w locie, gdy staje przed nieznanym zadaniem. Testy systemu wykazały, że działa on równie dobrze jak inne modele w przypadku tradycyjnych zapytań, ale jest znacznie bardziej elastyczny, jeśli chodzi o udzielanie odpowiedzi na zapytania, które dezorientowały inne modele.

(rr)