Walidacja systemu wizyjnego – jak sprawdzić skuteczność inspekcji przed odbiorem FAT/SAT?

 

1000 poprawnie skontrolowanych detali. Ani jednego błędu. System wizyjny przechodzi odbiór. Kilka dni później kontrola jakości wykrywa wadliwe produkty, które kamera zakwalifikowała jako zgodne. Co poszło nie tak?

Problem nie musi wynikać z awarii urządzenia ani błędnego algorytmu. Często przyczyną jest niewłaściwie przygotowana procedura odbiorowa. Jeżeli podczas testów wykorzystano wyłącznie prawidłowe detale, sprawdzono zdolność systemu do ich akceptowania, ale nie potwierdzono skuteczności wykrywania wad.

Walidacja systemu wizyjnego wymaga czegoś więcej niż demonstracji poprawnego działania. Musi dostarczyć mierzalnych dowodów, że stanowisko realizuje określone zadanie kontrolne w rzeczywistych warunkach produkcyjnych.

Od wymagań jakościowych do kryteriów odbioru

Pierwszym etapem walidacji jest jednoznaczne określenie, co system ma wykrywać i z jaką skutecznością.

Specyfikacja powinna definiować rodzaje wad, ich minimalne istotne wymiary, dopuszczalne tolerancje oraz warunki procesu. Inaczej projektuje się inspekcję obecności etykiety, inaczej wykrywanie mikropęknięć, a jeszcze inaczej kontrolę poprawności montażu.

Kluczowe jest rozdzielenie dwóch pojęć: zdolności do wykrycia wady oraz prawdopodobieństwa błędnej klasyfikacji produktu.

False accept (FA) oznacza zaakceptowanie wadliwego detalu jako zgodnego. False reject (FR) to odrzucenie detalu prawidłowego. Pierwszy błąd może skutkować reklamacją lub przepuszczeniem niezgodnego produktu do kolejnego procesu. Drugi generuje straty materiałowe, dodatkową kontrolę i przestoje.

Wskaźniki należy odnosić do odpowiednich grup próbek:

- False Accept Rate = liczba wadliwych detali zaakceptowanych / liczba wszystkich rzeczywiście wadliwych detali.
- False Reject Rate = liczba prawidłowych detali odrzuconych / liczba wszystkich rzeczywiście prawidłowych detali.

Dla jednoznaczności w protokole należy zdefiniować również sposób traktowania wyników nierozstrzygniętych, błędów odczytu i zatrzymań inspekcji.

Reprezentatywne próbki – podstawa wiarygodnej walidacji

Zestaw testowy nie może składać się wyłącznie z detali idealnych i wad oczywistych.

Powinien odzwierciedlać rzeczywistą zmienność produkcji: różnice powierzchni, tolerancje wymiarowe, położenie produktu, dopuszczalne odchylenia montażowe oraz wady znajdujące się na granicy kryterium akceptacji.

Szczególne znaczenie mają próbki graniczne. Jeżeli system ma wykrywać brak elementu, należy przetestować nie tylko jego całkowity brak, lecz również nieprawidłowe położenie, częściowe zasłonięcie lub montaż poza tolerancją – o ile takie przypadki należą do specyfikacji kontroli.

Status każdej próbki powinien zostać wcześniej ustalony na podstawie niezależnej metody referencyjnej. Nie można wykorzystywać wyniku badanego systemu jako jedynego potwierdzenia rzeczywistej zgodności detalu.

W przypadku algorytmów uczenia maszynowego zbiór walidacyjny powinien być niezależny od danych wykorzystanych do treningu i strojenia modelu. W przeciwnym razie uzyskana skuteczność może nie odzwierciedlać zachowania systemu wobec nowych produktów.

FAT – weryfikacja funkcji przed dostawą

Factory Acceptance Test (FAT) służy potwierdzeniu, że stanowisko spełnia uzgodnione wymagania funkcjonalne w warunkach testowych u dostawcy.

Podczas FAT należy sprawdzić nie tylko klasyfikację obrazów, lecz także współpracę systemu wizyjnego ze sterownikiem PLC, reakcję na brak wyzwolenia, utratę komunikacji, błędną identyfikację produktu oraz działanie mechanizmu odrzutu.

Istotne jest również potwierdzenie czasu cyklu. System, który poprawnie analizuje obraz, ale przekazuje wynik po przekroczeniu dopuszczalnego okna czasowego, nie spełnia wymagań procesu.

Protokół FAT powinien zawierać identyfikację próbek, wyniki klasyfikacji, czasy odpowiedzi, wersje oprogramowania, konfigurację stanowiska oraz wykaz niezgodności wymagających usunięcia.

Po zakończeniu testów należy zabezpieczyć zatwierdzoną konfigurację. Każda późniejsza zmiana progów, parametrów ekspozycji lub modelu klasyfikacyjnego może wymagać ponownego wykonania odpowiedniej części walidacji.

SAT – skuteczność w rzeczywistych warunkach produkcji

Site Acceptance Test (SAT) potwierdza działanie stanowiska po instalacji w zakładzie, z uwzględnieniem rzeczywistych warunków pracy.

To etap szczególnie istotny dla systemów wizyjnych, ponieważ wynik inspekcji zależy od całego toru obrazowania, a nie wyłącznie od algorytmu.

Należy sprawdzić stabilność oświetlenia, powtarzalność pozycjonowania detali, wpływ drgań, zmienność prędkości transportu oraz warunki pracy instalacji.

Przykładowo zmiana jasności oświetlenia hali może zmodyfikować kontrast analizowanych cech. Nawet jeżeli oświetlacz stanowiskowy pozostaje sprawny, światło zewnętrzne może wpływać na obraz, szczególnie przy niewystarczającym ekranowaniu stanowiska.

Podczas SAT warto rejestrować parametry ekspozycji, poziomy sygnału w wybranych obszarach obrazu, wyniki klasyfikacji oraz liczbę błędów komunikacyjnych.

Kryteria odbioru muszą być ustalone przed testem. Nie powinny być zmieniane dopiero po analizie niekorzystnych wyników.

Przykład praktyczny: 1000 dobrych detali i pozornie idealny wynik

Załóżmy, że system kontroluje poprawność montażu elementu na linii produkcyjnej.

Podczas pierwszej demonstracji sprawdzono 1000 prawidłowych detali. Wszystkie zostały zaakceptowane. Wynik przedstawiono jako 100% skuteczności.

Taki test potwierdza jedynie brak zaobserwowanych fałszywych odrzutów w badanej próbie. Nie dostarcza żadnej informacji o zdolności wykrywania wad.

W kolejnym teście zastosowano 200 niezależnie zweryfikowanych próbek wadliwych. System wykrył 194, natomiast sześć zaakceptował.

Wynik oznacza:

**False Accept Rate = 6 / 200 = 3%.**

Zaobserwowana wykrywalność wad wynosi 97%, ale sama ta wartość nie określa jeszcze dokładnie skuteczności w całej populacji produkcyjnej. Potrzebna jest również ocena niepewności statystycznej i reprezentatywności próbek.

Nawet brak błędów w próbie nie dowodzi zerowego ryzyka. Przy 300 niezależnych testach i zerowej liczbie błędów orientacyjna górna granica jednostronnego 95-procentowego przedziału ufności dla prawdopodobieństwa błędu wynosi około 1%.

Dlatego wielkość próby należy dobierać do wymaganego poziomu ryzyka, a nie wyłącznie do dostępności detali.

Najczęstsze błędy podczas odbioru systemu wizyjnego

Jednym z najpoważniejszych błędów jest utożsamianie skuteczności demonstracyjnej z potwierdzoną skutecznością produkcyjną. Test przeprowadzony na niewielkiej liczbie łatwych próbek może wykazać bardzo dobre wyniki, ale nie odzwierciedlać rzeczywistego procesu.

Drugim problemem jest strojenie systemu na próbkach przeznaczonych do końcowego odbioru. Prowadzi to do dopasowania parametrów do znanego zestawu testowego i zawyżenia oceny skuteczności.

Często pomija się również sprawdzenie całego toru decyzyjnego: od wyzwolenia kamery, przez analizę obrazu i komunikację z PLC, aż do fizycznego odrzucenia wadliwego produktu.

Kolejnym uchybieniem jest brak procedury ponownej walidacji po zmianie receptury, oświetlacza, obiektywu, ustawień ekspozycji lub wersji modelu AI.

Co powinien otrzymać zakład produkcyjny?

Odbiór systemu wizyjnego powinien kończyć się przekazaniem dokumentacji umożliwiającej odtworzenie testów i ocenę skuteczności stanowiska w przyszłości.

Podstawą są uzgodnione kryteria akceptacji, zestaw próbek referencyjnych, wyniki FAT/SAT, zatwierdzona konfiguracja oraz procedura postępowania po wykryciu niezgodności.

Warto określić także warunki wymagające ponownej kwalifikacji stanowiska oraz sposób okresowego monitorowania wskaźników FA i FR.

W zastosowaniach, w których wynik inspekcji wpływa na bezpieczeństwo produktu lub zgodność z wymaganiami regulacyjnymi, zakres dowodów walidacyjnych musi odpowiadać konsekwencjom potencjalnego błędu.

Podsumowanie

System wizyjny nie jest zwalidowany dlatego, że poprawnie rozpoznaje przygotowane przykłady. Jest zwalidowany w określonym zakresie wtedy, gdy wyniki testów potwierdzają spełnienie wcześniej zdefiniowanych wymagań.

Dobrze zaprojektowane FAT i SAT pozwalają ocenić nie tylko algorytm, ale również stabilność obrazowania, komunikację ze sterowaniem i rzeczywistą zdolność stanowiska do podejmowania prawidłowych decyzji.

Dla zakładu produkcyjnego oznacza to mniej nieprzewidzianych odrzutów, lepszą kontrolę ryzyka jakościowego oraz możliwość obiektywnej oceny działania systemu po kolejnych zmianach technologicznych.

 

 

 

AUTOMATECH Sp. z o.o.
siedziba firmy i sklep:
05-816 Opacz–Kolonia, ul. Ewy 2
tel.: (22) 753 24 80 fax: (22) 753 24 90
e-mail: biuro.warszawa@automatech.pl
www.automatech.pl