HERMES. Komputerowy system zapobiegający wypadkom i przestępstwom

HERMES. Komputerowy system zapobiegający wypadkom i przestępstwom

Europejskie konsorcjum naukowe koordynowane przez Computer Vision Centre (CVC) Universitat Autonoma de Barcelona (UAB), skonstruowało kognitywny system komputerowy HERMES, składający się z dwóch kamer wideo, oraz oprogramowania będącego w stanie rozpoznawać i przewidywać ludzkie zachowanie, a także opisywać je w naturalnym języku.

HERMES (Human Expressive Graphic Representation of Motion and their Evaluation in Sequences), analizuje ludzkie zachowanie w oparciu o sekwencje wideo zarejestrowane na trzech poziomach: jednostka jako obiekt względnie odległy, ciało, oraz twarz. Tak pozyskana informacja jest przetwarzana przez specjalne algorytmy związane z widzeniem maszynowym, oraz sztuczną inteligencją, które pozwalają systemowi rozpoznawać pewne wzorce ruchów, oraz uczyć się ich.

HERMES oferuje dwie istotne innowacje w dziedzinie widzenia maszynowego. Pierwszą z nich jest opisywanie naturalnym językiem ruchu uchwyconego przez kamery, za pomocą prostych fraz wyświetlanych w czasie rzeczywistym na ekranie razem z odpowiednim numerem klatki. Drugą innowacją jest możliwość analizowania i odkrywania potencjalnie niecodziennych zachowań i generowanie sygnałów ostrzegawczych. Na przykład, HERMES może wysłać sygnał do centrum sterowania metrem, gdy kamery wychwycą człowieka przechodzącego przez tory, albo do centrum medycznego, gdy starsza samotnie mieszkająca osoba upadnie.

W ramach projektu HERMES powstało siedem mniejszych sub-projektów:

- System kamer: kamery nieruchome posłużyły do obserwowania całego obszaru, a aktywne kamery wysokiej rozdzielczości wykorzystane zostały do automatycznego śledzenia, oraz przybliżania określonych jednostek. W uzyskaniu takiego efektu pomogło zastosowanie technik optymalizacji informacji zawartych w obrazach.

- Analiza ruchu ludzi i obiektów na obrazach. Pozyskane informacje służą do naprowadzania aktywnych kamer na miejsca, w których coś się dzieje. Zadanie to realizowane jest przy użyciu różnych technik śledzenia.

- Analiza ruchu ludzkiego ciała w celu pozyskania informacji z różnych elementów ciała, umożliwiająca opis, oraz przewidywanie zachowań. W tym przypadku wykorzystano techniki rozpoznawania wzorców, oraz sylwetki.

- Analiza ruchów twarzy w celu określenia stanów emocjonalnych, nastawienia, oraz możliwych reakcji. W tym projekcie wykorzystano techniki dwu i trójwymiarowego śledzenia i justowania twarzy.

- Zintegrowanie oprogramowania i naturalnego języka tak, by móc w nim opisywać to, co dzieje się w scenariuszach.

- Pełne zintegrowanie systemu, oprogramowania, oraz sprzętu, by funkcjonował on w rzeczywistych środowiskach, w rzeczywistym czasie.

- Generowanie wirtualnych sekwencji w oparciu o opis zachowań wyrażony w naturalnym języku, oraz możliwość interakcji pomiędzy światami: rzeczywistym i wirtualnym.

Korzyści płynące ze stosowania systemu HERMES są oczywiste. Obszar zastosowań skupiony jest przede wszystkim wokół inteligentnego śledzenia, oraz zapobiegania wypadkom i przestępstwom. Jednakże sami naukowcy przyznają, że narzędzie to może z powodzeniem znaleźć zastosowanie również w takich dziedzinach, jak marketing, czy psychologia.

(lk)