Model AI, który sam radzi sobie z problemami

fot. pixabay

Jednym z największych wyzwań stojących przed sztuczną inteligencją jest nauczenie jej zaawansowanych modeli rozumowania pozwalających na rozwiązywanie problemów krok po kroku. W artykule opublikowanym w czasopiśmie Nature zespół DeepSeek AI donosi, że udało mu się nauczyć swój model R1 samodzielnego rozumowania praktycznie bez ingerencji człowieka.

Kiedy próbujemy rozwiązać problem, zazwyczaj nie znajdujemy odpowiedzi od razu. Stosujemy więc metodyczny proces, który może obejmować gromadzenie informacji i robienie notatek, aż do momentu znalezienia rozwiązania. Tradycyjne uczenie rozumowania modeli AI polegało na kopiowaniu tego podejścia. Jest to jednak długi i rozciągnięty w czasie proces, w ramach którego ludzie pokazują modelowi AI niezliczone przykłady, jak rozwiązać konkretny problem. Oznacza to również, że AI jest tak dobra, jak przykłady, które jej zaprezentowano, a na dodatek wraz z ich wadami.

Zamiast pokazywać modelowi R1 każdy z kroków rozumowania naukowcy z DeepSeek AI zastosowali uczenie ze wzmocnieniem. Dzięki temu autonomicznie rozwija on zaawansowane strategie rozwiązywania problemów.

R1 został wytrenowany na trudnych zadaniach matematycznych, programistycznych i naukowych. Jedyną nagrodą, jaką otrzymywał, był sygnał, że jego ostateczna odpowiedź była poprawna. Podczas treningu badacze zaobserwowali, że model rozwijał umiejętności, takie jak sprawdzanie własnej pracy i badanie różnych strategii w celu znalezienia rozwiązania. Zaczął nawet wstrzymywać prace, analizując w tym czasie własny proces myślowy. Jeśli ścieżka prowadziła do prawidłowej odpowiedzi, strategia ta była wzmacniana, a jeśli była błędna, model uczył się jej nie powtarzać.

Wyniki okazały się imponujące. R1 radził sobie lepiej z zadaniami matematycznymi, programistycznymi i naukowymi niż starsze modele trenowane pod okiem człowieka. Jednym z najbardziej godnych uwagi rezultatów było osiągnięcie dokładności na poziomie 86,7% w teście American Invitational Mathematics Examination (AIME) 2024.

Pomimo tych znakomitych wyników, naukowcy przyznają, że ich model ma pewne ograniczenia. Podczas prac czasami mieszał języki, gdy otrzymywał polecenia w języku innym niż angielski i komplikował niektóre proste problemy bardziej niż było to konieczne. Po wyeliminowaniu tych niuansów, może jednak doprowadzić do powstania nowej generacji sztucznej inteligencji.

(rr)