The Imaging Source Blog

Am 3. Februar 2021 von 9:00 - 20:00 Uhr (MEZ) sind Systementwickler und Entscheider eingeladen, den jährlichen Innovation Day von MVTec zu besuchen. Aufgrund der anhaltenden Pandemie findet die diesjährige Kundenveranstaltung online statt, wobei die Wahl zwischen zwei Paketen besteht: "Light" Experience und "Full" Experience. Die Anmeldung für die "Full" und "Light" Experience ist bis zum 2. Februar 2021 möglich. Kunden mit Wohnsitz in der EU, die sich bis zum 20. Januar für die "Full" Experience anmelden, erhalten ein exklusives Verpflegungs- und Giveaway-Paket. Zu den Highlights der Agenda gehören Deep Learning, OCR, die HALCON Toolbox, Shape-based und Surface-based Matching sowie spannende Hintergrundinformationen des Research@mvtec Teams. MVTec hat außerdem eine Event-App entwickelt, die den Teilnehmern hilft, ihren Tagesablauf besser zu planen und sich mit anderen Teilnehmern zu vernetzen.

Erfahren Sie Mehr

Die optische Inspektion ist der Eckpfeiler der meisten Arbeitsabläufe der Qualitätskontrolle. Wenn sie von Menschen durchgeführt wird, ist der Prozess jedoch teuer, fehleranfällig und ineffizient: eine 10%-20%ige Pseudoausschuss-bzw. Schlupfrate und daraus resultierende Produktionsengpässe sind keine Seltenheit. Unter dem Begriff IQZeProd (Inline Quality control for Zero-error Products) entwickeln Forscher des Fraunhofer IWU neue Inline-Monitoring-Lösungen, um Defekte bei verschiedenen Materialien wie Holz, Kunststoffen, Metallen und lackierten Oberflächen möglichst früh im Produktionsprozess zu erkennen. Das System fusioniert die Daten aus einer Vielzahl von Sensoren, um Struktur- und Oberflächenfehler zu erkennen, während die Komponenten die Produktionslinie durchlaufen. Ziel ist es, industrielle Fertigungsprozesse robuster und nachhaltiger zu gestalten, indem die Prozesssicherheit erhöht und die Fehlererkennung verbessert wird. Das Herzstück des Systems bilden das eigene Xeidana® Software-Framework der Forscher und eine Matrix von zwanzig Industriekameras. Die Forscher hatten sehr spezifische Kamerakriterien: Global-Shutter-Monochrom-Sensor, jitterarme Echtzeit-Triggerung, zuverlässige Datenübertragung bei sehr hohen Datenraten und einfache Integration in ihr Software-Framework. Die Wahl fiel auf GigE Vision-Standard Industriekameras von The Imaging Source.

Obwohl Xeidanas Framework-Ansatz die nötige Flexibilität bietet, um Daten von optischen, thermischen, multispektralen, Polarisations- oder nicht-optischen Sensoren (z.B. Wirbelstrom) zu verarbeiten, werden viele Prüfaufgaben mit den von optischen Standardsensoren gelieferten Daten erledigt. Der Projektleiter, Alexander Pierer, kommentierte: "Oft nutzen wir eine Datenfusion, indem wir die kritischen Bauteilbereiche redundant abtasten. Diese Redundanz kann zum einen darin bestehen, dass wir ein und dieselbe Region unter verschiedenen Perspektiven erfassen, was das sogenannte manuelle Ausspiegeln der menschlichen Sichtprüfung nachbildet." Um die für diese Aufgaben erforderlichen visuellen Daten zu erfassen, richteten die Forscher eine Kameramatrix aus 20 TIS-Kameras ein: 19 Monochrom- und eine Farbkamera.

Monochrom-Sensoren: Optimal für die Defekterkennung

Aufgrund ihrer grundlegenden physikalischen Eigenschaften liefern monochrome Sensoren höhere Auflösung, verbesserte Empfindlichkeit und weniger Rauschen als Farbsensoren. Pierer weißt auf hin: "Monochrom-Sensoren sind meist ausreichend, um Defekte, die sich als Helligkeitsunterschiede auf der Oberfläche darstellen zu detektieren. Die Farbinformation ist für uns Menschen sehr wichtig, in technischen Anwendungen liefert die Farbinformation sehr oft keine zusätzlichen Informationen. Die Farb-Kamera setzen wir zur Farbtonanalyse, mittels HSI-Transformation ein, um Farbabweichungen, die auf einen fehlerhaften, möglicherweise zu dünnen, Lackauftrag hindeuten, zu erkennen."

Die Aufgabenstellung und die kurzen Belichtungszeiten führten dazu, dass die Ingenieure sehr genaue Kamerakriterien hatten: Pierer fährt fort: "Hauptauswahlkriterien waren Global-Shutter und eine echtzeitfähige Triggerung mit sehr geringem Jitter, da wir die Teile in der Bewegung mit sehr kurzen Belichtungszeiten im 10 µs-Bereich aufnehmen. Dabei müssen die Belichtung zwischen Kamera und der ebenfalls über Hardware-Eingang getriggerten Lumimax-Beleuchtung (iiM AG), absolut synchron laufen. Wir haben hier einige Ihrer Wettbewerber getestet, wobei viele hier Probleme hatten. Wichtig war uns noch dass man die ROI bereits in der Firmware der Kamera auf relevante Bereiche eingrenzen konnte, um die Netzwerklast für die Bildübertragung zu optimieren. Weiterhin sind wir auf eine zuverlässige Datenübertragung bei sehr hohen Datenraten angewiesen. Da die Teile im Durchlauf geprüft werden, dürfen Bildausfälle oder fragmentierte Bildübertragungen nicht auftreten."

Motorisierte Zoomkameras ermöglichen eine schnelle FOV Anpassung

Im Laufe des Projekts baute das Team mehrere Systeme, sowohl für den industriellen Einsatz als auch für Demonstrations- und Testzwecke. In der typischen industriellen Umgebung, in der die zu prüfenden Komponenten konstant bleiben, erfüllten die Fixfokus-Industriekameras die Anforderungen des Teams. Für das Demo-/Testsystem verwendeten die Forscher jedoch eine Reihe verschiedener Komponenten, darunter Metallteile, Holzrohlinge und 3D-gedruckte Kunststoffteile, die Kameras mit einem einstellbaren Sichtfeld (FOV) erforderten. Die Monochrom-Zoomkameras von The Imaging Source mit integriertem, motorisiertem Zoom boten diese Funktionalität.

Massively Parallel Processing hält Schritt mit der Datenübertragung und ermöglicht Deep Learning

Mit über 20 Sensoren unterschiedlicher Art, die Daten an das System liefern, ist mit einem Datenstrom in der Größenordnung von 400 MB/s zu rechnen. Pierer erklärt: "Das System ist für Durchlaufgeschwindigkeiten von bis zu 1 m/s ausgelegt. [...] Alle drei bis vier Sekunden erzeugt die 20-Kamera-Matrix 400 Bilder. Hinzu kommen die Daten der hyperspektralen Zeilenkamera und des Rauheitsmesssystems, die alle innerhalb der Zykluszeit von 10 Sekunden verarbeitet und ausgewertet werden müssen. Um diese Anforderung zu erfüllen, ist eine so genannte massiv-parallele Datenverarbeitung erforderlich, die 28 Rechenkerne (CPU) und den Grafikprozessor (GPU) umfasst. Diese Parallelisierung ermöglicht es dem Inspektionssystem, mit dem Produktionszyklus Schritt zu halten und ein inline-fähiges System mit 100%iger Kontrolle zu liefern". Der modulare Framework-Ansatz von Xeidana wurde für moderne Mehrkernsysteme optimiert, um eine massiv parallele Verarbeitung zu ermöglichen. Der modulare Framework-Ansatz von Xeidana ermöglicht Anwendungsingenieuren die schnelle Realisierung eines massiv parallelen, anwendungsspezifischen Qualitätskontrollprogramms unter Verwendung eines Systems von Plug-Ins, die über eine Vielzahl von Bildverarbeitungsbibliotheken um neue Funktionalitäten erweitert werden können.

Die Datenfusionsfähigkeiten des Systems können auf verschiedene Weise genutzt werden, je nachdem, welche Informationen die besten Ergebnisse liefern. Zusätzlich zu den eher standardmäßigen Inspektionsaufgaben der industriellen Bildverarbeitung arbeitet das Forscherteam derzeit an der Integration anderer nicht-destruktiver Prüftechniken wie 3D-Vision sowie zusätzlicher Sensoren aus dem nicht sichtbaren Spektrum (z.B. Röntgen, Radar, UV, Terahertz) zur Erkennung anderer Arten von Oberflächen- und Innendefekten.

Da Xeidana eine massiv parallele Verarbeitung unterstützt, lassen sich Deep-Learning-Techniken auch auf die Fehlererkennung von Komponenten anwenden, deren Prüfkriterien nicht eindeutig quantifiziert oder definiert sind. Pierer stellt klar: "Diese Methoden sind besonders wichtig für organische Komponenten mit einer unregelmäßigen Textur, wie Holz und Leder, sowie für Textilien". Da Techniken des maschinellen Lernens in bestimmten Kontexten manchmal schwierig anzuwenden sind (z.B. begrenzte Nachvollziehbarkeit der Klassifizierungsentscheidung und die Unfähigkeit, Algorithmen bei der Inbetriebnahme manuell anzupassen), fügt Pierer hinzu, "Wir setzen daher bei unseren Projekten meist auf klassische Bildverarbeitungsalgorithmen und statistische Methoden der Signalverarbeitung. Erst wenn wir hier an Grenzen stoßen, weichen wir auf maschinelles Lernen aus."

Danksagung: Die The Imaging Source Europe GmbH ist aktives Mitglied des Industriearbeitskreises des Projektes IQZeProd und steht im engen fachlichen Austausch mit den Forschungspartnern. Das IGF-Vorhaben IQZeProd (232 EBG) der Forschungsvereinigung Deutsche Forschungsvereinigung für Mess-, Regelungs- und Systemtechnik e.V. - DFMRS, Linzer Str. 13, 28359 Bremen wurde über die AiF im Rahmen des Programms zur Förderung der industriellen Gemeinschaftsforschung (IGF) vom Bundesministerium für Wirtschaft und Energie aufgrund eines Beschlusses des Deutschen Bundestages gefördert. Auf die Verfügbarkeit des Schlussberichtes des IGF-Vorhabens 232 EBG für die interessierte Öffentlichkeit in der Bundesrepublik Deutschland wird hingewiesen. Bezugsmöglichkeiten für den Abschlussbericht sind: Die Deutsche Forschungsvereinigung für Meß-, Regelungs- und Systemtechnik e.V. - DFMRS, Linzer Str. 13, 28359 Bremen und das Fraunhofer IWU, Reichenhainer Straße 88, 09126 Chemnitz. Gefördert durch Bundesministerium für Wirtschaft und Energie aufgrund eines Beschlusses des Deutschen Bundestages

Am 20. November 2020 wird MVTec's neue Version HALCON 20.11 veröffentlicht. Diese Version enthält viele neue und verbesserte Funktionen wie optimierte Technologien für das Codelesen, OCR, 3D sowie Deep Learning. Das Besondere an dieser Version ist, dass sie gleichzeitig für die HALCON Steady und HALCON Progress Editionen veröffentlicht wird. Das bedeutet, dass HALCON Steady Kunden nun Zugang zu den vielen neuen Funktionen der letzten drei Progress Versionen bekommen, darunter Anomalie-Erkennung, der generische Box-Finder und optimierte Identifikationstechnologien.

Um Kunden mit den neuen Funktionalitäten von HALCON 20.11 vertraut zu machen, wird MVTec an zwei Terminen ein kostenloses Webinar anbieten, um Kunden in unterschiedlichen Zeitzonen gleichermaßen zu berücksichtigen.

• Erfahren Sie mehr und melden Sie sich für das MVTec-Webinar an.

• Erfahren Sie mehr über MVTec HALCON.

Zeitlich begrenztes Angebot!

Zur Feier der Veröffentlichung von HALCON 20.11 erhalten Kunden einen Rabatt von 20% auf alle HALCON Steady 20.11 SDK-Produkte. Dieser Rabatt gilt für neue Lizenzen, Upgrades und Add-ons für die HALCON Steady Edition.

Darüber hinaus wird jedes neue SDK-Abonnement für HALCON Progress, das während des Kampagnenzeitraums erworben wird, ohne zusätzliche Kosten um 2 Monate verlängert (danach Verlängerung für die regulären 12 Monate).

Um den Sonderrabatt in Anspruch nehmen zu können, kontaktieren Sie bitte unsere HALCON-Vertriebsmitarbeiter, um ein Angebot zu erhalten.

The Imaging Source ist zertifizierter MVTec-Distributor für Deutschland, Österreich, die Schweiz und eine Reihe anderer Länder weltweit. Bitte klicken Sie hier, um den autorisierten MVTec-Distributor für Ihr Land zu finden.

Um im Sinne von Embedded Vision die Leistungsmerkmale der Embedded-Rechner von NVIDIA und des Raspberry Pi 4 nutzen zu können, bietet The Imaging Source dazu passende MIPI-CSI-2-Platinenkameras an. Jetzt hat das Unternehmen seine MIPI-CSI-2-Kameraserie um FPD-Link-III-Kameras mit größeren Kabellängen erweitert.

Viele Machine-Vision-Anwendungen, vor allem solche mit mehreren Kameras, erfordern größere Kabellängen als die etwa 20 cm, die bei den MIPI-CSI-2-Kameras nicht überschritten werden sollten. The Imaging Source hat daher seine MIPI-CSI-2-Kameraserie um FPD-Link-III-Kameras für Kabellängen bis zu 15 m erweitert. Über ein dünnes Koaxkabel mit 2,8 mm Durchmesser lassen sich Bilddaten mit bis zu 4,16 Gbit/s übertragen, wobei Bilddaten, Steuerbefehle (z.B. über I2C) und Stromversorgung simultan übertragen werden. Die Bandbreite reicht aus, um beispielsweise die Bilddaten einer 5-MPixel-Kamera mit 30 Frames/s zu transferieren.

Kunden haben jetzt also die Wahl zwischen MIPI-CSI-2- und FPD-Link-III-Platinenkameras sowie FPD-Link-III-Kameras im IP67-Gehäuse. Die kompakten Kameras sind als Monochrom- und Farbversionen mit aktuellen CMOS-Bildsensoren von Sony und On Semiconductor erhältlich. Zur Wahl stehen Global-Shutter- und Rolling-Shutter-Bildsensoren mit Auflösungen von 0,3 MPixel (VGA) bis 8,3 MPixel.

Anschluss der Platinenkameras an die Embedded-Rechner

The Imaging Source stellt MIPI-CSI-2- und FPD-Link-III-Kamera-Anschlussboards mit 1 bis 6 Kameraeingängen zum Anschluss der Platinenkameras an die Embedded-Rechner von NVIDIA® Jetson Nano™, NVIDIA® Jetson Xavier™ NX, NVIDIA® Jetson AGX Xavier™ sowie den Raspberry Pi 4 bereit. Welche Gründe gibt es für Anwender aber, nicht USB-3- oder GigE-Kameras zu verwenden, sondern MIPI-CSI-2- oder FPD-Link-III-Kameras? Die Antwort darauf liegt aus Sicht von The Imaging Source in den Leistungsmerkmalen der Hardware-beschleunigten Image Signal Processors (ISPs) als Herzstücke der genannten Embedded-Rechner. Die MIPI-CSI-2-Schnittstellen der Embedded-Rechner sind direkt mit dem ISP verbunden, um Latenzen und Datenkonvertierungen zu vermeiden. Die MIPI-CSI-2-Kameras von The Imaging Source haben keine Bildverarbeitungstechnik und reichen die rohen Bilddaten direkt zur Schnittstelle weiter. Kamera-Boards dieser Art sind daher besonders kostengünstig. Der ISP übernimmt Hardware-beschleunigte Operationen wie etwa De-Bayering, Farbkorrektur, Farbraumkonvertierung, Weißabgleich, Objektivkorrektur und Bilddatenkomprimierung (z.B. H.264/H.256).

Prädestiniert sind die genannten Embedded-Rechner von NVIDIA - Jetson Nano, Xavier NX* und AGX Xavier* - besonders für KI- und anspruchsvolle Machine-Vision-Applikationen. Sie bieten neben dem ISP eine GPU mit CUDA-Recheneinheiten und mehrere MIPI-CSI-2-Kameraschnittstellen. Die NVIDIA-Rechner vermögen mehrere neuronale Netze parallel auszuführen, um damit Bildsegmentierung, Bildklassifikation und Objekterkennung zu realisieren. Nvidias SDK "JetPack" unterstützt sämtliche Embedded-Rechner des Unternehmens.

Für Deep Learning sowie zur Bild- und Videoverarbeitung bietet NVIDIA umfangreiche Software-Bibliotheken an. The Imaging Source stellt die entsprechenden Kameratreiber bereit, die sich nahtlos in das NVIDIA-Software-Framework einfügen. So lassen sich Bilddaten direkt an ein vortrainiertes Deep-Learning-Modul übergeben.

Für weniger anspruchsvolle Bildverarbeitungs-Aufgaben bietet sich der Raspberry PI 4 mit einer MIPI CSI-2 Kameraschnittstelle und ISP an. Auch hier ist die MIPI CSI-2 Schnittstelle direkt mit dem ISP verbunden. Der Raspberry PI 4 ist z. B. in der Lage hochauflösende Bilder H.264 zu komprimieren und über Ethernet oder WLAN zu versenden.

Die NVIDIA und der Raspberry PI Rechner Plattformen werden von einer großen Open Source und Maker Community unterstützt. Supportfragen können in entsprechenden Foren gepostet werden, wo sich Entwickler untereinander austauschen. NVIDIA bietet darüber hinaus z. B kostenlose Online-Schulungen zum Thema Deep Learning an.

*Die neuesten Embedded-Produkte von The Imaging Source für NVIDIAs Xavier NX- und AGX Xavier-Plattformen werden im 1. Quartal 2021 verfügbar sein. Bitte kontaktieren Sie uns, wenn Sie informiert werden möchten, sobald die Produkte verfügbar sind.

Der obige Artikel wurde in der September 2020-Ausgabe der Zeitschrift Markt&Technik unter dem Titel, FPD-Link III ergänzt MIPI CSI-2 veröffentlicht.

In Kombination mit seiner großen Vielfalt an regelbasierten Methoden bietet MVTec HALCON eine große Auswahl an neuesten Technologien für Deep Learning, einschließlich Objekterkennung, Klassifizierung und Anomalieerkennung. Als zertifizierter Distributor für HALCON* hat The Imaging Source HALCONs leistungsstarke Deep Learning-Funktionalität ausgiebig getestet, um Ihnen den schnellstmöglichen Einstieg in Ihre Deep Learning-Projekte zu ermöglichen.

Durch die direkte Integration der benötigten Bibliotheken von Drittanbietern in den Installer von HALCON ist das System sofort nach der Installation einsatzbereit. HALCONs Deep Learning Funktionalität ermöglicht es Anwendern, Inspektionsaufgaben zu übernehmen, die vorher unmöglich waren oder erheblichen Programmieraufwand erforderten.

MVTec HALCON bietet auch ein Daten-Labeling-Tool (ohne zusätzliche Kosten) an, dessen gelabelte Daten nahtlos in die HALCON-Entwicklungsumgebung HDevelop integriert werden können. Dies ermöglicht einen besonders schnelle Umsetzung einer robusten KI Applikation für eine erfolgreiche, auf Deep Learning basierende OCR, Objekterkennung, semantische Segmentierung und Anomalie-Erkennung.

Die mitgelieferten Beispielworkflows bieten verschiedene nützliche Funktionen, die das Arbeiten mit HALCON so komfortabel wie möglich machen. Viele dieser Beispiele können leicht an Ihre eigenen Aufgaben angepasst werden, wodurch die Notwendigkeit entfällt, komplizierte Workflows für das Training und die Auswertung Ihres neuronalen Netzes zu programmieren. Darüber hinaus erfolgt die Speicherverwaltung in HALCON automatisch - eine Sache weniger, um die Sie sich kümmern müssen.

Die direkte Überwachung des Trainings und des aktuellen Fortschritts rundet dieses vielseitige und benutzerfreundliche Wohlfühlpaket zum Einstieg in Ihre Deep Learning Anwendung ab. Kontaktieren Sie uns* für eine kostenlose HALCON-Evaluierungslizenz und fangen Sie noch heute an. Sehen Sie selbst, wie einfach Deep Learning sein kann.

*Bitte beachten Sie: The Imaging Source ist zertifizierter MVTec-Distributor für Deutschland, Österreich, die Schweiz und eine Reihe anderer Länder weltweit. Bitte klicken Sie hier, um den autorisierten MVTec-Distributor für Ihr Land zu finden.