Edycja wideo zgodna z prawami fizyki

Naukowcy z firmy Netflix wraz ze swoimi współpracownikami opracowali VOID, nowe środowisko AI, które pozwala nie tylko usuwać przedmioty ze sceny filmowej, ale także wplatać w wideo fizyczne konsekwencje ich braku.

Aby zapewnić, że usunięcie obiektu wygląda realistycznie, VOID zachowuje się jak system edycji uwzględniający prawa fizyki. Szczegóły systemu opublikowano w artykule dostępnym na serwerze preprintów arXiv.

System stosuje trój-etapowy proces, który pomaga analizować scenę. Najpierw identyfikuje obszary, na które zmiana może mieć bezpośredni wpływ, a następnie tworzy specjalistyczną mapę w formie kwadratowej maski, na której w wyniku edycji cienie powinny zaniknąć lub gdzie obiekty mogą zacząć poruszać się inaczej. Następnie generuje nową wersję wideo, uwzględniającą wszystkie te efekty. Na koniec wykonywane jest również drugie przejście sceny, aby dopracować ruch i upewnić się, że obiekty nie odkształcają się ani nie tracą formy podczas poruszania się po różnych ścieżkach.

System został wytrenowany na tysiącach par sekwencji cyfrowych, aby pomóc mu zrozumieć związki przyczynowo-skutkowe. Obserwując te symulowane działania, nauczył się, jak sąsiednie obiekty reagują zazwyczaj na zniknięcie podpór, czy redukcję kolizji lub przeszkód.

Aby zilustrować, jak VOID radzi sobie z dynamicznym środowiskiem, zespół opisał sekwencję upadających kostek domina, w których usuwane zostają środkowe płytki. Sztuczna inteligencja musiała zdać sobie sprawę, że bez tych elementów przekazujących energię reszta kostek powinna pozostać nienaruszona. Systemowi udało się dokładnie zamodelować zatrzymanie efektu domina.

Naukowcy mają nadzieję rozszerzyć możliwości VOID, chcąc poradzić sobie z bardziej złożonymi scenariuszami.

(rr)