Sztuczna inteligencja dodaje dźwięki do wideo

Sztuczna inteligencja dodaje dźwięki do wideo

Na Uniwersytecie MIT powstał algorytm, który jest w stanie generować realistyczne dźwięki do wcześniej nagranych materiałów wideo. Naukowcy opracowali również test, który sprawdzał czy ochotnicy są go w stanie odróżnić od zarejestrowanego w naturalny sposób.

MIT oparło swoje badania nad SI na technologii deep learning. Badacze nagrywali wideo, na którym uderzają pałeczką perkusyjną w różne przedmioty. Następnie przepuścili przez algorytm 978 filmów, na których widoczne było blisko 47 tysięcy czynności posiadających naturalny wzorzec audiowizualny.

Gdy algorytm zapoznaje się z wyciszonym wideo, analizuje właściwości każdej jego klatki, dostosowując do odpowiednich dźwięków obecnych w jego bazie danych. Rezultaty są zaskakujące, ponieważ badani dwa razy częściej jako naturalny wskazywali dźwięk generowany przez sztuczną inteligencję. Co więcej algorytm z dokładnością 67% był w stanie określić czy uderzany materiał jest miękki czy twardy.

Technologia jest jeszcze w fazie testów. System może zostać z łatwością oszukany w momencie, gdy na wideo pałeczka zostanie zatrzymana tuż przed uderzanym przedmiotem, nie pozostając z nim w kontakcie. Algorytm nie jest również w stanie dodać dźwięków tła nieskorelowanego ze zmianami wizualnymi. Z pewnością jednak jest sporym krokiem w kierunku rozwinięcia w przyszłości u robotów całkowicie nowych możliwości.

(rr)