Naukowcy zestawiają AI z ludźmi

fot. pixabay

Zespół badaczy sztucznej inteligencji ze startupu METR zaproponował nową metrykę do ilościowego określania możliwości systemów AI w odniesieniu do możliwości człowieka. Naukowcy opublikowali artykuł na ten temat na serwerze preprintów arXiv. Nową metrykę nazywają mianem horyzontu czasowego ukończenia zadania (TCTH).

Modele LLM są coraz lepsze w uzyskiwaniu wiarygodnych wyników z każdą nową iteracją. W ramach nowego badania zespół z Kalifornii zauważył, że są one wciąż opisywane w sposób, który nie jest w stanie w pełni określić możliwości systemu. Z tego powodu opracowali metrykę ilościową, którą można wykorzystać w wielu dziedzinach, takich jak pisanie programów komputerowych lub generowanie algorytmów.

Dzięki TCTH zadania można określać ilościowo, testując je na ludziach. W ramach jednego z przykładów badacze odkryli, że wczesne wersje modeli LLM nie były w stanie wykonać żadnego z określonej grupy zadań powierzonych doświadczonym w ich realizacji ludziom, którzy mogliby je wykonać w ciągu jednej minuty. Ustanawiając listę zadań, a następnie sprawdzając, ile czasu zajmuje człowiekowi ich wykonanie, nowa metryka może być wykorzystana do opracowania punktu odniesienia w celu zmierzenia, jak dobrze sprawdzają się modele sztucznej inteligencji.

W ramach pracy z nową metryką zespół badawczy odkrył, że modele znacznie poprawiają się w wykonywaniu długich zadań, takich jak programowanie, zadania z zakresu cyberbezpieczeństwa oraz rozumowania ogólnego i uczenia maszynowego. Taki postęp każe sądzić, że wkrótce będą mogły zostać wykorzystane do złożonych zadań, takich jak odkrycia chemiczne, a nawet całe projekty inżynieryjne.

(rr)