Microsoft odpala AI na CPU

fot. pixabay

Grupa informatyków z Microsoft Research we współpracy z naukowcem z Uniwersytetu Chińskiej Akademii Nauk przedstawiła nowy model AI, który działa na zwykłym procesorze CPU zamiast GPU. Naukowcy opublikowali artykuł na temat swojego badania na serwerze arXiv.

W ciągu ostatnich kilku lat modele LLM stały się niezwykle popularne. Zostały one udostępnione użytkownikom na całym świecie, wprowadzając ideę inteligentnych chatbotów. Jedną rzeczą, która łączy większość z nich, jest fakt, że są trenowane i działają na układach GPU. Wynika to z ogromnej mocy obliczeniowej, której potrzebują, mając do czynienia z wielką ilością danych.

W ostatnich czasach pojawiły się obawy dotyczące nadmiernej ilości energii zużywanej przez centra danych przeznaczonych do ich obsługi. W ramach nowego przedsięwzięcia zespół badaczy znalazł bardziej inteligentny sposób przetwarzania danych i zbudował dedykowany model, aby zweryfikować nową metodę.

Jedną z najbardziej energochłonnych operacji w ramach uruchamiania modeli AI jest sposób, w jaki używane i przechowywane są wagi w formie zazwyczaj 8- lub 16-bitowych liczb zmiennoprzecinkowych. Takie podejście wymaga dużej ilości pamięci i przetwarzania przez procesor, co z kolei wymaga dużej ilości energii. W swoim nowym podejściu badacze całkowicie zrezygnowali z używania liczb zmiennoprzecinkowych i zamiast tego proponują użycie tego, co opisują jako architekturę 1-bitową. W ramach tej innowacji wagi są przechowywane i przetwarzane przy użyciu tylko trzech wartości: -1, 0 i 1. Pozwala to na używanie wyłącznie prostego dodawania i odejmowania, tj. operacji, które można łatwo wykonać przy użyciu komputera opartego na procesorze CPU.

Testy nowego typu modelu wykazały, że był on w stanie konkurować z modelami opartymi na procesorach graficznych w swojej klasie, a nawet przewyższył niektóre z nich, a wszystko to przy użyciu znacznie mniejszej ilości pamięci i energii. Aby uruchomić taki model, zespół stworzył dla niego środowisko wykonawcze o nazwie bitnet.cpp, które zostało zaprojektowane tak, aby jak najlepiej wykorzystać nową architekturę.

Jeśli twierdzenia zespołu okażą się prawdziwe, opracowanie BitNet b1.58 2B4T może być przełomem w przetwarzaniu AI. Zamiast polegać na ogromnych farmach danych, użytkownicy będą mogli wkrótce uruchomić chatbota na swoim komputerze lub być może nawet na urządzeniu mobilnym. Oprócz zmniejszenia zapotrzebowania na energię, zmiana lokalizacji przetwarzania LLM znacznie poprawiłaby prywatność i umożliwiłaby pracę nawet bez połączenia z Internetem.

(rr)