Mariaż wirtualnej rzeczywistości z robotyką

fot. pixabay

Informatycy z Princeton pracują nad wprowadzeniem rzeczywistości wirtualnej do świata fizycznego, co może wzbogacić doświadczenia w obszarach, takich jak zdalna współpraca, edukacja, rozrywka i gry.

- Pewnego dnia technologie rzeczywistości wirtualnej i rozszerzonej prawdopodobnie staną się powszechne - powiedziała Parastoo Abtahi, adiunkt informatyki z Princeton - Istotne wtedy będzie to, aby ich użytkownicy mogli płynnie wchodzić w interakcję ze światem fizycznym.

Abtahi wraz z Mohamedem Karim pracują nad umożliwieniem tego poprzez połączenie technologii rzeczywistości wirtualnej z fizycznym robotem, którym może sterować użytkownik. Osoba korzystająca z tego systemu jest w stanie, mając na sobie zestaw słuchawkowy rzeczywistości mieszanej, wybrać napój z listy dostępnych opcji, a następnie w sposób wirtualny postawić go na biurku przed sobą. Jest także w stanie poprosić animowaną pszczołę o dostarczenie paczki chipsów na pobliską sofę. Wszystko dzieje się za pomocą robota, który w słuchawkach staje się dla operatora niewidzialny.

Kluczowym wyzwaniem technicznym w rozwoju systemu jest komunikacja. Użytkownik musi być w stanie w prosty sposób przekazać swoje potrzeby, na przykład wybierając długopis z drugiego końca pokoju i przesuwając go na stół przed sobą. Kari i Abtahi stworzyli technikę interakcji, w której prosty gest dłoni pozwala wybrać obiekt nawet z dużej odległości. Tego typu gesty są następnie tłumaczone na polecenia, które wykonać ma robot wyposażony we własny zestaw słuchawkowy rzeczywistości mieszanej, dzięki któremu wie, gdzie umieścić obiekty w wirtualnym środowisku.

Kolejnym wyzwaniem technicznym jest dodawanie i usuwanie obiektów fizycznych z pola widzenia użytkownika. Wykorzystując technologię Gaussian splatting, Abtahi i Kari tworzą realistyczną cyfrową kopię fizycznej przestrzeni. Po zeskanowaniu całego pomieszczenia system może usunąć element z pola widzenia (na przykład poruszającego się robota) lub dodać inny (na przykład animowaną pszczołę).

Aby osiągnąć te cele, każdy centymetr pomieszczenia i każdy obecny w nim obiekt muszą zostać zeskanowane i zrenderowane cyfrowo. Obecnie proces ten jest dość żmudny. Usprawnienie go, być może poprzez powierzenie tego zadania robotowi, jest przedmiotem przyszłych badań w laboratorium Abtahi.

(rr)