Dwutorowa percepcja robotów

Europejscy naukowcy opracowali technologię, która umożliwia robotowi połączenie odbieranych dźwięków i obrazów w jeden system percepcji.

Obecnie, wizja komputerowa dobrze sprawdza się w zakresie rozpoznawania obiektów na obrazach i filmach; znalazła dzięki temu zastosowanie w różnych specjalistycznych aplikacjach przemysłowych, jak choćby kontrola jakości produkcji mikrochipów. Jednakże percepcja jaką dysponują roboty dużo gorzej sprawdza się w sytuacjach mniej określonych, jak choćby reagowanie na ludzkie zachowanie.

Naprawdę spostrzegawczy robot, będący w stanie niezależnie i właściwie zachować się w złożonych sytuacjach wciąż jest celem odległym; jednakże grupa europejskich naukowców, skupionych w ramach projektu Perception-on-Purpose (POP), może się przyczynić do urzeczywistnienia tej wizji. „Oryginalność naszego projektu polegała na połączeniu dwóch różnych modalności sensorycznych, czyli: wizji i dźwięku.” – wyjaśnił Radu Horaud, koordynator POP. „Było to bardzo trudne do osiągnięcia, gdyż wymagało zintegrowania dwóch kompletnie różnych zjawisk fizycznych.” – dodał.

Wizja opiera się na odbijaniu fal świetlnych od obiektu i umożliwia obserwatorowi określenie niektórych właściwości, jak: rozmiar, kształt, gęstość, czy fakturę. W przypadku dźwięku istotne jest zlokalizowanie kierunku i rodzaju źródła. Sam w sobie dźwięk jest trudny do namierzenia, gdyż musi być lokalizowany w przestrzeni trójwymiarowej. Do tego dochodzą też problemy związane z szumem w tle. Okazało się jednak, że połączenie dwóch odmiennych zmysłów pomogło naukowcom zlokalizować dźwięki i oddzielić te istotne od nieistotnych.

„Nie jest łatwo zdecydować co jest pierwszym planem, a co tłem wyłącznie w oparciu o dźwięk, jednakże łącząc dwie modalności: dźwięk i obraz, zadanie staje się o wiele łatwiejsze.” – powiedział Horaud. „Jeśli jesteś w stanie zlokalizować dziesięć źródeł dźwięku w dziesięciu różnych miejscach, a do tego jedno z tych miejsc widzisz na oczy, znacznie łatwiej jest skoncentrować się na tym dźwięku i oddzielić go od innych.” – dodał.

Naukowcy opracowali algorytmy, dzięki którym ich robot – Popeye – był w stanie zidentyfikować mówcę z dużym prawdopodobieństwem. „Wciąż pozostaje wiele do zrobienia, gdyż technologia nie jest jeszcze dość niezawodna.” – powiedział Horaud. Co więcej, naukowcom udało się wkomponować nową technologię w kompaktową platformę robotyczną.

„Najczęściej, badania nad dźwiękiem prowadzone są w specjalistycznych laboratoriach z wieloma mikrofonami i kontrolowaną akustyką. Natomiast my wbudowaliśmy nasze dwa mikrofony i dwie kamery w głowę Popeye’a.” – dodał Horaud.

POP nie jest jeszcze wprawdzie gotową do wprowadzenia na rynek technologią, jednakże podnosi możliwości percepcyjne robotów na zupełnie nowy poziom.

(lk)