Neuronowe modele języka dostępne publicznie

fot. pixabay

Ośrodek Przetwarzania Informacji (OPI PIB) oddał do użytku kolejne neuronowe modele języka – Polish RoBERTa v2 oraz GPT-2.

Tego typu modele wykorzystywane są coraz częściej w branży IT. Ich opracowanie wymaga jednak dużych mocy obliczeniowych oraz rozbudowanej infrastruktury. Wymagane są również ogromne ilości danych, którymi karmione są algorytmy sztucznej inteligencji. Większość modeli opracowuje się jednak dla języka angielskiego.

Polskojęzyczne modele można stosować do wykrywania fake newsów lub hejtu internetowego. Polskiego Internetu nie da się bowiem badać z wykorzystaniem obcojęzycznych modeli. Nowo udostępnione repozytoria opierają się na sieciach typu transformer, które wykorzystują symultaniczne przetwarzanie danych. Eksperci trenują jeden model maksymalnie przez 4 miesiące. Każdy z nich testowany jest następnie przez Kompleksową Listę Ewaluacji Językowych (KLEJ Benchmark) opracowaną przez Allegro.

(rr)