Kamera odrzuca detale z jednej partii, chociaż kontrola jakości potwierdza ich zgodność z wymaganiami. Pozostałe partie przechodzą bez problemu. Pierwszy odruch to poluzowanie progu detekcji, ale taka korekta może sprawić, że system zacznie przepuszczać rzeczywiste wady. Test odbiorowy systemu wizyjnego powinien rozstrzygnąć dwie kwestie: czy kamera rozpoznaje dopuszczalne różnice między partiami oraz czy nadal wykrywa niezgodności. Do tego nie wystarczy kilkanaście idealnych detali i kilka sztuk z oczywistymi uszkodzeniami. Potrzebny jest zestaw próbek o znanym statusie, obejmujący również przypadki bliskie granicy akceptacji.
Dobierz próbki z różnych partii, a nie tylko z reklamowanej dostawy
Dwie zgodne ze specyfikacją partie mogą wyglądać inaczej w obrazie kamery. Wystarczy zmiana chropowatości powierzchni, odcienia tworzywa, kierunku śladów obróbki lub połysku powłoki. Przy oświetleniu kierunkowym drobna różnica wykończenia metalu może utworzyć jasny refleks, który algorytm zakwalifikuje jako wadę. Problemem nie musi być detal, lecz sposób tworzenia i interpretacji obrazu.
Dlatego próbki należy podzielić według partii, rzeczywistego stanu jakościowego oraz rodzaju cechy, którą kontroluje kamera. W pierwszej kolejności trzeba zabezpieczyć dobre detale z partii powodującej fałszywe odrzuty. Następnie dobrać zgodne sztuki z kilku innych partii, najlepiej różniących się datą produkcji, dostawcą materiału lub warunkami obróbki.
Przykładowy, hipotetyczny zestaw 100 unikalnych próbek może wyglądać następująco:
| Grupa próbek | Liczba | Cel kontroli |
|---|---|---|
| Dobre detale z problematycznej partii | 30 | Sprawdzenie fałszywych odrzutów |
| Dobre detale z trzech innych partii | 30 | Porównanie zmienności między partiami |
| Detale z rzeczywistymi wadami | 20 | Sprawdzenie wykrywania niezgodności |
| Przypadki graniczne | 20 | Ocena zachowania przy granicy tolerancji |
Przypadki graniczne należy rozstrzygnąć przed testem, np. jako 10 sztuk zgodnych i 10 niezgodnych. Wtedy zestaw zawiera 70 dobrych i 30 wadliwych detali. Są to liczby ilustracyjne, a nie obowiązująca wielkość próby odbiorowej. Docelową liczebność trzeba ustalić na podstawie wymaganych poziomów błędów, akceptowanego ryzyka i planu oceny statystycznej.
W grupie wadliwych detali powinny znaleźć się rzeczywiste niezgodności występujące w produkcji: zadrapania, pęknięcia, zadziory, braki otworów lub nieprawidłowy nadruk — zależnie od zadania kamery. Ważne są wady małe i słabo kontrastowe, nie tylko takie, które operator widzi z daleka. Sztuczne oznaczenia mogą służyć diagnostyce, ale nie powinny zastępować reprezentatywnych wad produkcyjnych podczas odbioru.
Istotne są również próbki graniczne. Jeżeli specyfikacja dopuszcza określoną wielkość rysy, trzeba przygotować sztuki mieszczące się w tolerancji oraz takie, które ją przekraczają. Kamera ma odróżniać stan akceptowalny od nieakceptowalnego, a nie po prostu reagować na każdą widoczną zmianę powierzchni.
Nie należy natomiast dobierać próbek wyłącznie według tego, co już udało się poprawnie rozpoznać podczas strojenia. Taki zestaw sprawdzi dopasowanie do znanych obrazów, ale niewiele powie o zdolności systemu do oceny kolejnej partii. Próbki przeznaczone do końcowego odbioru powinny pozostać poza zbiorem wykorzystywanym do regulacji lub uczenia algorytmu.
Ustal wzorzec oceny i uruchom test przy normalnej prędkości linii
Zanim próbki trafią przed kamerę, każda musi otrzymać jednoznaczną ocenę referencyjną: OK albo NOK. Status ustala się na podstawie dokumentacji wyrobu, tolerancji i zatwierdzonych kryteriów kontroli, a nie wcześniejszego wyniku systemu wizyjnego.
Przy cechach mierzalnych rozstrzygnięcie powinno opierać się na odpowiedniej metodzie pomiarowej o znanej dokładności. Przy wadach wizualnych, których nie opisuje pojedynczy wymiar, potrzebne są zatwierdzone wzorce akceptacji i odrzutu. Jeśli dział jakości nie potrafi jednoznacznie sklasyfikować granicznego detalu, nie należy używać go do rozliczania skuteczności kamery, dopóki kryterium nie zostanie uzgodnione.
Przykładowo, w hipotetycznej kontroli metalowych obudów kamera rozpoznaje ciemne ślady na powierzchni. Jeden detal ma dopuszczalny ślad po obróbce, a drugi rzeczywistą rysę naruszającą wymagania jakościowe. Jeżeli oba wyglądają podobnie przy określonym kącie oświetlenia, obniżenie czułości może usunąć fałszywy odrzut pierwszego, ale jednocześnie spowodować przepuszczenie drugiego. Właśnie ta para próbek powinna znaleźć się w teście.
Następnie trzeba przygotować arkusz odbiorowy, na przykład w Excelu. Minimalny zestaw pól to: identyfikator próbki, numer partii, typ i lokalizacja cechy, ocena wzorcowa OK/NOK, numer przebiegu, kolejność podania, wynik kamery, wynik fizycznego odrzutnika, identyfikator zapisanego obrazu oraz klasyfikacja błędu. Osobno zapisuje się wersję programu, recepturę, progi decyzyjne, parametry ekspozycji i rzeczywistą prędkość linii.
Sam przebieg warto zorganizować w prostej sekwencji:
Identyfikacja próbki → losowanie kolejności → podanie na linię → zapis decyzji kamery → sprawdzenie odrzutnika → porównanie ze wzorcem.
Kolejność musi być losowa, a osoba obsługująca test nie powinna sugerować systemowi oczekiwanej decyzji. Dobrze również wykonać co najmniej dwa przebiegi tych samych próbek, za każdym razem zmieniając ich kolejność. Pozwala to wykryć niestabilność klasyfikacji, choć powtórzenia tych samych sztuk nie zastępują badania większej liczby niezależnych detali.
Najważniejszy warunek: test odbywa się przy normalnej prędkości produkcyjnej, z docelowym oświetleniem, podajnikiem, wyzwalaniem kamery i mechanizmem odrzutu. Przykładowo, hipotetyczna linia pracująca z wydajnością 120 sztuk na minutę nie powinna być odbierana wyłącznie na podstawie prób wykonywanych ręcznie przy zatrzymanym transporterze.
Przy wyższej prędkości zmieniają się warunki wyzwalania obrazu, czas dostępny na analizę, wpływ drgań oraz wymagania dotyczące synchronizacji odrzutnika. Kamera może poprawnie sklasyfikować obraz, a mimo to odrzucić sąsiednią sztukę, jeśli sygnał wykonawczy zostanie źle przypisany. Dlatego decyzję algorytmu i rzeczywiste działanie odrzutnika trzeba rejestrować oddzielnie.
Test musi również zapobiegać przedostaniu się celowo podanych próbek wadliwych do normalnego strumienia wyrobów zgodnych. Po zakończeniu przebiegu wszystkie próbki testowe powinny zostać rozliczone i odseparowane.
Policz fałszywe odrzuty i przepuszczone wady — każdą miarę z właściwym mianownikiem
Najczęstszy błąd w raporcie odbiorowym polega na podaniu jednego wskaźnika skuteczności, bez rozdzielenia dwóch przeciwnych pomyłek. Tymczasem fałszywy odrzut oznacza utratę dobrego wyrobu, a przepuszczenie wady oznacza ryzyko przekazania niezgodnego produktu do kolejnego procesu lub klienta.
Należy policzyć dwie oddzielne miary:
Wskaźnik fałszywych odrzutów (FRR) = liczba dobrych detali odrzuconych przez kamerę / liczba wszystkich dobrych detali poddanych kontroli × 100%.
Wskaźnik przepuszczonych wad (FNR) = liczba wadliwych detali zaakceptowanych przez kamerę / liczba wszystkich wadliwych detali poddanych kontroli × 100%.
Mianowniki są różne i nie wolno ich zastępować ogólną liczbą sprawdzonych detali ani liczbą wszystkich odrzutów.
Wróćmy do hipotetycznego zestawu 100 próbek. Po dwóch przebiegach wykonano 200 ocen: 140 dla detali dobrych i 60 dla wadliwych. Załóżmy, że kamera nieprawidłowo odrzuciła sześciokrotnie dobre detale, z czego pięć odrzutów dotyczyło problematycznej partii, a jeden innej partii. Jednocześnie raz przepuściła wadliwą sztukę.
Wyniki tego hipotetycznego testu wynoszą:
| Miara | Obliczenie | Wynik |
|---|---|---|
| Fałszywe odrzuty FRR | 6 / 140 × 100% | 4,29% |
| Przepuszczone wady FNR | 1 / 60 × 100% | 1,67% |
| Fałszywe odrzuty w problematycznej partii | 5 / 60 × 100% | 8,33% |
Ostatnia liczba pokazuje, dlaczego nie wystarczy ocenić całego zbioru łącznie. Wynik ogólny może ukrywać znacznie gorsze działanie systemu dla konkretnej partii. Trzeba zatem porównać FRR osobno dla poszczególnych partii oraz sprawdzić, które typy rzeczywistych wad zostały przepuszczone.
Dane z celowo dobranego, wzbogaconego w wady zestawu nie są też automatycznie wskaźnikami brakowości całej produkcji. Opisują zachowanie kamery na przygotowanych próbkach. Ponadto dwukrotna kontrola tej samej sztuki daje informacje o powtarzalności, ale nie zapewnia takiej samej niezależności statystycznej jak kontrola dwóch różnych wyrobów.
Kryteria akceptacji muszą być ustalone przed testem. Mogą obejmować maksymalny dopuszczalny FRR, osobny limit dla problematycznej partii oraz wymagania dotyczące wykrywania poszczególnych rodzajów wad, zwłaszcza krytycznych. Nie istnieje jeden uniwersalny procent odpowiedni dla każdej linii. Inne konsekwencje ma odrzucenie taniego opakowania, a inne niewykrycie uszkodzenia elementu odpowiedzialnego za bezpieczeństwo.
Nawet brak pomyłek w małej próbie nie dowodzi zerowego ryzyka. Jeżeli wymagania są rygorystyczne, wielkość testu trzeba powiązać z planowanym poziomem ufności i dopuszczalnym błędem, zamiast uznawać dowolną serię bez odrzutów za wystarczający dowód.
Jeśli problem dotyczy jednej partii, pierwszym krokiem po nieudanym teście powinna być analiza zapisanych obrazów i porównanie parametrów obrazu dla partii problematycznej oraz pozostałych. Należy sprawdzić położenie detalu, refleksy świetlne, ostrość, ekspozycję, obszar kontroli i aktywną recepturę.
Dopiero po wykluczeniu problemów z obrazowaniem można rozważać zmianę progów lub ponowne przygotowanie modelu klasyfikacyjnego. Po każdej takiej zmianie konieczny jest ponowny test na odłożonym zestawie odbiorowym. Poprawa FRR bez równoczesnej kontroli FNR nie daje podstaw do odbioru systemu.
FAQ — najczęstsze pytania o test odbiorowy kamery
Czy wystarczy przetestować tylko partię powodującą odrzuty?
Nie. Bez dobrych detali z innych partii trudno wykazać, czy problem jest związany ze zmiennością materiału, oświetleniem, recepturą czy ogólną niestabilnością systemu.
Ile próbek potrzeba do testu odbiorowego?
Nie ma jednej obowiązującej liczby. Zestaw musi obejmować wszystkie istotne klasy jakościowe i partie, a jego liczebność powinna wynikać z wymaganej dokładności oceny oraz dopuszczalnych wskaźników błędów.
Czy tę samą próbkę można podać kilka razy?
Tak. Powtórzenia pomagają ocenić stabilność decyzji. Trzeba jednak zmieniać kolejność podawania, rejestrować każdy przebieg i nie traktować powtórzeń jako niezależnych nowych detali.
Czy można odebrać system, jeśli nie przepuścił żadnej wadliwej sztuki?
Nie na tej podstawie. Trzeba jeszcze ocenić fałszywe odrzuty, reprezentatywność próby, wielkość testu i zgodność działania odrzutnika. Zerowa liczba wykrytych błędów nie oznacza zerowego ryzyka.
Co sprawdzić jako pierwsze, gdy kamera odrzuca jedną dobrą partię?
Zabezpieczyć potwierdzone dobre sztuki z problematycznej partii, zapisać obrazy odrzutów i porównać je z obrazami dobrych detali z innych partii przy tej samej recepturze. Nie zmieniać progu detekcji przed sprawdzeniem oświetlenia, kontrastu i wzorca akceptacji. To pierwszy błąd, który należy wyeliminować przed kolejnym testem odbiorowym.
