Wyjaśnienie Triton2 EVS: Optymalizacja obrazowania bazującego na zdarzeniach

Inny sposób wykrywania

Kamery bazujące na zdarzeniach posiadają wyjątkowe zalety w porównaniu z tradycyjnymi kamerami bazującymi na ramkach, wykrywając zmiany luminancji w każdym pikselu i wysyłając dane tylko wtedy, gdy zmiany przekraczają ustalone progi. Taka konstrukcja zapewnia kamerze wysoki zakres dynamiki i wyjątkową czułość przy słabym oświetleniu, umożliwiając użytkownikom rejestrowanie subtelnych zmian w scenie w niezwykle wysokiej rozdzielczości czasowej przy małej ilości danych. Kamera Triton2 EVS, wyposażona w czujniki Sony IMX636 i IMX637 (opracowane we współpracy z firmą Prophesee), generuje dane zdarzeń ze współrzędnymi, polaryzacją i znacznikami czasu, dostarczając jednocześnie funkcje dostrajania w celu optymalizacji danych zdarzeń. Czujniki te mogą wykrywać szybko poruszające się obiekty i zmiany sceny przy słabym oświetleniu dzięki czemu idealnie nadają się do dynamicznych środowisk. Dodatkowo możliwość filtrowania i kontrolowania częstotliwości zdarzeń zapewnia wydajne zarządzanie danymi i zwiększa ogólną wydajność systemu.

Funkcje dostrajania, takie jak odchyłki progów zdarzeń, odchyłki odcięcia filtra, odchyłik okresu refrakcji i obszar zainteresowania (ROI), umożliwiają precyzyjną kontrolę nad czułością i reakcją czujnika. Dodatkowo, filtry takie jak Anti Flicker Filter, Event Burst Filter i Event Rate Control (ERC) odgrywają kluczową rolę w redukcji niepożądanych zdarzeń. Dostosowując te funkcje, użytkownicy mogą precyzyjnie dostroić czułość i wyeliminować zbędne zdarzenia, ograniczając w ten sposób dane wyjściowe tylko do najbardziej istotnych.

Zanim zagłębimy się w szczegóły tych funkcji, najpierw przedstawimy przegląd tego, jak konwencjonalne kamery ze skanowaniem obszarowym wypadają w porównaniu z kamerą Triton2 EVS bazującą na zdarzeniach, a także wyjaśnimy, jak działają czujniki bazujące na zdarzeniach.

Kamera ze skanowaniem obszarowym

Wszystkie piksele na czujniku rejestrują luminancję światła jednocześnie (migawka globalna) lub sekwencyjnie kolejnymi liniami pikseli (migawka pływająca). Następnie kamera przetwarza te dane w celu utworzenia ramek obrazu.

Kamera bazująca na zdarzeniach

Każdy piksel działa niezależnie, wykrywając zmiany luminancji (jasności) i wysyła współrzędne (x, y), polaryzację (p) i znacznik czasu (t), gdy zmiany przekraczają ustawiony próg. W przypadku czujników bazujących na zdarzeniach nie istnieje koncepcja migawki ani ramki, a tylko piksele wykrywające zmiany wysyłają dane, co zmniejsza ogólną ilość danych wyjściowych.

Jak działa piksel i czujnik bazujący na zdarzeniach?

W czujniku wizyjnym IMX636/637 bazującym na zdarzeniach, każdy piksel w matrycy pikseli niezależnie monitoruje luminancję padającego światła. Aby to zrobić, piksel najpierw przekształca światło w napięcie. Napięcie to przechodzi przez filtr dolno- i górnoprzepustowy, który kontroluje częstotliwość (rozdzielczość czasową) zmian kontrastu. Napięcie jest następnie porównywane z napięciem odniesienia i obliczana jest różnica napięć. Wartość różnicy jest następnie przesyłana do kontroli progu. Kontrola progu kontroluje poziom zmiany kontrastu, który jest dopuszczalny. Zdarzenie pozytywne (ciemne do jasnego) jest generowane, jeśli luminancja wzrośnie powyżej progu pozytywnego, podczas gdy zdarzenie negatywne (jasne do ciemnego) jest generowane, jeśli luminancja spadnie poniżej progu negatywnego. Ta dodatnia lub ujemna cecha danych zdarzenia nazywana jest polaryzacją zdarzenia. Po wygenerowaniu zdarzenia piksel resetuje napięcie odniesienia do nowego poziomu luminancji. Poniższa animacja wyjaśnia główne etapy przetwarzania pikseli wraz z lokalizacjami filtrów i progów.

Uwaga dodatkowa

Gdy piksel w czujniku IMX636/637 przekształci padające światło w napięcie, jest ono wysyłane do bloku odczytu:
> Blok odczytu dodaje współrzędne X/Y i znacznik czasu do zdarzeń.
> Blok przetwarzania sygnału filtruje zdarzenia (opcjonalnie).
> Dane zdarzeń są kodowane w formacie EVT 3.0 i wysyłane.

Jak Triton2 EVS współpracuje z oprogramowaniem PC

Po przetworzeniu sygnałów bazujących na zdarzeniach przez filtry progowe, zdarzenia są przesyłane przez dodatkowe, ale opcjonalne filtry: filtr przeciw migotaniu, filtr serii zdarzeń i filtr kontroli szybkości zdarzeń. Filtry te zostały szczegółowo omówione w dalszej części artykułu. Po przejściu zdarzeń przez te filtry, kamera Triton2 EVS koduje dane zdarzeń do formatu EVT 3.0*, skompresowanego 16-bitowego formatu opracowanego przez Prophesee. Dane te są przesyłane przez sieć przy użyciu protokołu GigE Vision Streaming Protocol (GVSP), który jest standardem przesyłania danych przez sieć Ethernet dla kamer wizyjnych.

Gdy dane te dotrą do komputera PC, są wyodrębniane i mogą być przetwarzane za pomocą zestawu programistycznego Arena (SDK) firmy LUCID. Arena SDK pozwala użytkownikom na obsługę danych zdarzeń na kilka sposobów: może dekodować dane w formacie XYPT do dalszego przetwarzania, tworzyć ramki CD (wizualizować dane za pomocą ArenaView) lub zachować je w oryginalnym formacie EVT 3.0. Dodatkowo użytkownicy mają możliwość korzystania z Metavision SDK firmy Prophesee. Podczas korzystania z Metavision SDK, wtyczka HAL dla Triton2 EVS tłumaczy polecenia sterujące na format zrozumiały dla Triton2 EVS. Oznacza to, że użytkownicy Metavision SDK nie muszą martwić się o szczegóły sterowania Triton2 EVS, ponieważ wtyczka zajmuje się tym za nich.

Wreszcie, do sterowania kamerą i czujnikiem wykorzystywane są węzły GenICam. GenICam to standard, który zapewnia ogólny interfejs programowania dla kamer wizyjnych, ułatwiając sterowanie nimi w spójny sposób, podobnie jak w przypadku zwykłej kamery GigE Vision.

Kamera Triton2 EVS może być używana z naszym zestawem Arena SDK lub Metavision SDK. LUCID zapewnia wtyczkę HAL do uproszczonego sterowania podczas korzystania z Metavision SDK.

Wizualizacja danych zdarzeń: Ramki CD

W poprzedniej sekcji wspomnieliśmy, że jednym ze sposobów, w jaki LUCID Arena SDK może przetwarzać dane EVT 3.0, jest tworzenie pojedynczych ramek obrazu zwanych ramkami CD (Contrast Detector Frame), które można przeglądać za pomocą interfejsu graficznego LUCID ArenaView. Ramki CD wykreślają pozytywne i negatywne zdarzenia na współrzędnych XY w określonym okresie ramki. Chociaż jest to najprostszy i najszybszy sposób wizualizacji danych zdarzeń, ramka CD ma pewne ograniczenia: nie może reprezentować wielu aktywacji tego samego piksela w okresie ramki, ani nie może reprezentować czasu w okresie ramki. Zarówno ArenaView (część Arena SDK), jak i Metavision Studio (część Metavision SDK) mogą wizualizować dane zdarzeń za pomocą ramek CD.

Użytkownicy mogą zdefiniować czas trwania ramki CD Frame, ustawiając Accumulation Time. Użytkownicy mogą również ustawić szybkość generowania ramek, głębię bitową ramki CD i motyw kolorów ramki CD.

W tym przykładzie wideo, przy użyciu ArenaView do wyświetlania ramek CD, wykryto tylko kilka zdarzeń, ponieważ cel jest nieruchomy i występują minimalne zmiany kontrastu.

Ten przykład wideo pokazuje dużą liczbę wykrytych zdarzeń ze względu na a) ruch osoby i b) duży kontrast czarnego swetra z białą ścianą.

Generowane zdarzenia (zmiana kontrastu) odpowiadają zdarzeniom pozytywnym (ciemne do jasnego) lub negatywnym (jasne do ciemnego). Jest to znane jako polaryzacja zdarzenia.

Źródła:

https://www.sony-semicon.com/en/technology/industry/evs.html
https://www.sony-semicon.com/en/products/is/industry/evs.html
https://docs.prophesee.ai/stable/hw/manuals/biases.html
https://ieeexplore.ieee.org/abstract/document/9063149
https://spectrum.ieee.org/how-neuromorphic-image-sensors-steal-tricks-from-the-human-eye
https://ieeexplore.ieee.org/document/6887319
https://ieeexplore.ieee.org/document/4444573

---

Pełna wersja artykułu:
https://crijolanta.com.pl/fw/infolink.pl?lucid-evs