The Imaging Source Blog

Dynamic Object Tracking auf der AOI Forum & Show 2017

Veröffentlicht am 3. November 2017

Auf der diesjährigen AOI Forum & Show (28. September, 2017), stellte The Imaging Source gemeinsam mit ihren Partnern MiM Tech & Hi Keen Tech aus, um die vielseitig verwendbare Bildverarbeitungs- lösung IC iVision vorzustellen. The Imaging Source's DMK 33GP1300 GigE-Kamera wurde mit Hi Keens Low-Distortion-Objektiv und der Bildverarbeitungsbibliothek von MiM Tech kombiniert, um eine dynamische Objektverfolgung sowie eine Oberflächeninspektion zu demonstrieren.

<strong>IC iVision</strong> Display mit der GigE-Kamera DMK 33GP1300, Hi Keens telezentrischem Objektiv und Software von MiM Tech.

Als eine der führenden Universitäten für elektrotechnische und ingenieurwissenschaftliche Studien und Forschung bot sich der Campus der National Chiao Tung Universität in Hsinchu, Taiwan, perfekt für die eintägige Veranstaltung an. Die jährliche Ausstellung wird von der AOIEA hauptsächlich als Austauschforum für Studenten und Forscher organisiert, die sich mit dem Bereich der automatischen optischen Inspektion befassen. Integratoren, Komponentenlieferanten, Gerätehersteller, akademische Forscher und Studenten erhalten so die Möglichkeit sich über die neuesten Entwicklungen in der Hard- und Softwarebranche zu informieren.

Messen: November - December 2017

Veröffentlicht am 22. September 2017

Als Teil des VDMA's Machine Vision Pavillions freut The Imaging Source sich Sie vom 28.-30. November 2017 auf der SPS IPC Drives in Nürnberg begrüßen zu dürfen. Während der 3 Messetage wird The Imaging Source einen Vortrag beim "Vision Expert Huddles" halten als auch ihr Angebot an Kameras und Software sowie Bildverarbeitungslösungen, inklusive des neuen 3D Systems IC 3D, vorstellen.

Besuchen Sie uns auf der SPS IPC Drives in Nürnberg: Stand 3A-151 (Halle 3)

The Imaging Source Reseller Event:

Wir laden Sie ein sich unsere Produkte näher anzusehen und Ihre Anforderungen mit unseren Vertriebsingenieuren zu besprechen. Rufen Sie uns gerne jederzeit an oder schreiben Sie eine E-Mail. Wir freuen uns auf Sie!

Bildverarbeitung für die Automatisierung: IA Shenzhen 2017

Veröffentlicht am 26. Juli 2017

"Made in China 2025", eine staatliche Initiative ähnlich Deutschlands "Industrie 4.0," hat beispiellose Investitionen für die chinesische industrielle Infrastruktur - insbesondere für den Bereich Automatisierung und Robotik - zur Verfügung gestellt. Als eine der größten Handelsstädte Chinas ist Shenzhen schnell zum Zentrum für Robotikproduktion und Smart Technologien geworden und macht es daher zur logischen Auswahl für eine der beliebtesten und einflussreichsten Automatisierungsmessen in Südchina, der Industrial Automation Shenzhen.

<b>Stereo 3D leicht gemacht:</b> Einfach an neue Arbeitsabstände anzupassen und kompatibel mit vielen TIS Industriekameras, bietet IC 3D eine einzigartige Flexibilität. Hier zu sehen mit den Farbindustriekameras DFK 33UP1300 und DFK 33GP1300.

Auch The Imaging Source und ihr Partner Sunvision stellten auf der IA Shenzhen vom 28. - 30. Juni 2017 die neuesten Produkte vor. Das Interesse vieler Besucher galt der neuen Stereo 3D Anwendung IC 3D. Kompatibel mit einer großen Anzahl Industriekameras von The Imaging Source ist das System einfach zu konfigurieren, um verschiedenen Applikationsanforderungen gerecht zu werden.

Ebenfalls gezeigt wurden die 33er USB 3.0 und GigE Industriekameras sowie die kompakte, hochauflösende 42 MP Autofokuskamera, inklusive einiger der kleinsten und sensibelsten Sony und On Semiconductor Sensoren wie z. B. IMX264, IMX265 und der PYTHON Serie. Die Kameras wurden designt für eine optimale Integration in Automatisierungs-, Produktions- und Robotik-Bildverarbeitungssysteme.

3D-Sehen leicht gemacht

Veröffentlicht am 21. Juni 2017

3D Daten-Akquisition: Passive und Aktive Techniken

Sei es der smarte Industrieroboter im Industrie-4.0-Zeitalter, der sich durch dreidimensionale Informationen im Raum orientiert, der Leergutautomat, der die Flaschen im Getränkekasten zählt, oder Oberflächeninspektionssysteme, die kleinste Materialdefekte aufdecken - dreidimensionalen Informationen von Umgebung und Objekten, akquiriert durch moderne 3D-Sensorik, gehört in vielen industriellen Applikationen die Zukunft.

Mittlerweile existieren am Markt unterschiedliche Technologien, um dreidimensionale Informationen einer Szene zu akquirieren. Dabei muss grundlegend zwischen aktiven und passiven Verfahren unterschieden werden: Aktive Verfahren, wie zum Beispiel "Lidar" (Light detection and ranging) oder Time-of-Flight-Sensoren, setzen eine aktive Lichtquelle ein, um Entfernungsinformationen zu bestimmen; passive Verfahren nutzen lediglich die durch Kameras akquirierten Bildinformationen, ähnlich der Entfernungswahrnehmung des menschlichen visuellen Wahrnehmungssystems.

Die erforderliche Rechenleistung, hohe Preise oder unzureichende Genauigkeiten beschränkten die Einsatzmöglichkeiten früherer 3D-Systeme. Heute hingegen hält die Technologie durch gesteigerte Rechenleistungen und hochauflösende Sensoren in immer mehr Branchen Einzug.

Alle Verfahren bringen jeweils Vor- und Nachteile mit sich: Während Time-of-Flight-Systeme in der Regel mit wenig Rechenaufwand auskommen und kaum Einschränkungen bezüglich der Szenenstruktur mit sich bringen, so ist die Ortsauflösung aktueller Time-of-Flight-Systeme mit maximal 800x600 Bildpunkten eher gering und ihr Einsatz in Außengebieten durch die Infrarotstrahlung der Sonne stark eingeschränkt. Passive (Multi-View-) Stereosysteme bieten aufgrund der mittlerweile verfügbaren Bildsensoren sehr hohe Ortsauflösungen, erfordern aber einen nicht zu unterschätzenden Rechenaufwand und leiden unter schwach oder sich stark wiederholend texturierten Szenen. Nichtsdestotrotz ermöglichen heutige Rechen-Ressourcen sowie optionale Musterprojektoren den Echtzeit-Einsatz von Stereosystemen bei hohen Orts- und Tiefenauflösungen. Gerade deshalb zählen sie zu den beliebtesten und vielseitigsten Systemen für die Akquisition von 3D-Informationen. (Multi-View-) Stereosysteme bestehen aus zwei oder mehr Kameras, die gleichzeitig eine Szene akquirieren. Sind die Kameras kalibriert und lässt sich zu einem Objektpunkt in der Szene dessen Bildpunkt in den einzelnen Kamera-Ansichten wiederfinden, so lässt sich der dreidimensionale Objektpunkt aus den Bildpunkten durch Triangulation rekonstruieren. Dabei hängt die erreichbare Genauigkeit vom Abstand der Kameras zueinander (Baseline), dem Vergenz-Winkel zwischen den Kameras, der Pixelgröße des Sensors und der Brennweite ab. Die essentiellen Komponenten Kalibrierung und Korrespondenzfindung stellen dabei bereits hohe Ansprüche an die zugrundeliegenden Bildverarbeitungsalgorithmen.

Stereosysteme im Echtzeit-Einsatz

Durch die Kamera-Kalibrierung werden sowohl die Positionen und Orientierungen der einzelnen Kameras ermittelt ("externe Parameter") als auch die Brennweiten, Hauptpunkte und Verzerrungsparameter der Kameras ("interne Parameter"), die maßgeblich durch die eingesetzte Optik beeinflusst werden.

Die Kamera-Kalibrierung findet in der Regel durch zweidimensionale Kalibriermuster wie Schachbrett- oder Punktmuster statt, in denen sich markante Punkte möglichst leicht und eindeutig detektieren lassen. Dabei sind die Maße der Kalibriermuster wie zum Beispiel Abstände der markanten Punkte zueinander exakt bekannt. Von diesen Kalibriermustern werden nun zunächst Bildsequenzen mit variierenden Musterpositionen und Orientierungen akquiriert. Bildverarbeitungsalgorithmen detektieren die markanten Punkte des Kalibriermusters in den Einzelbildern. Als Basis dienen dabei zum Beispiel Ecken- und Kantendetektoren im Fall einfacher Schachbrettmuster oder aber Blob-Detektoren bei Punktmustern. Auf diese Weise ergibt sich eine Vielzahl an 3D-2D-Korrespondenzen zwischen Kalibrierobjekt und Einzelbildern. Auf Basis dieser Korrespondenzen liefert ein Optimierungsverfahren anschließend die Kameraparameter.

Beispielhafte Detektionsergebnisse eines Kalibriermusters in verschiedenen Positionen und Ausrichtungen. Mit Hilfe der detektierten Bildpunkte des Kalibriermusters werden die internen und externen Parameter der Kameras ermittelt.

Während die Kalibrierung nur einmalig durchgeführt wird - unter der Voraussetzung, dass sich die Kameraparameter im Betrieb des Systems nicht mehr ändern -, muss die wesentlich rechenaufwendigere Korrespondenzfindung zwischen den Ansichten für jede Aufnahme durchgeführt werden, um die 3D-Informationen der Szene zu ermitteln. Im Falle eines Stereosystems werden dabei Korrespondenzen zwischen zwei Ansichten ermittelt. Als Vorverarbeitung findet in der Regel eine Entzerrung der Bilder anhand der kalibrierten internen Verzerrungsparameter statt. Für einen Bildpunkt in der Referenzansicht wird anschließend der korrespondierende Punkt in der Zielansicht gesucht, der den gleichen Objektpunkt abbildet. Das 'Lambertsche Beleuchtungsmodell' - also diffus reflektierende Oberflächen - vorausgesetzt, sollten sich lokale Umgebungen korrespondierender Bildpunkte in den Ansichten stark ähneln. Für ein gegebenes Ähnlichkeitsmaß - gängig ist zum Beispiel die normalisierte Kreuzkorrelation - werden Ähnlichkeitswerte einer lokalen Umgebung eines Punktes in der Referenzansicht und lokalen Umgebungen in der Zielansicht ermittelt.

Korrespondierende Punkte

Als Kandidaten in der Zielansicht kommen dabei nicht alle Punkte in Frage: Geometrisch liegen mögliche korrespondierende Punkte in den entzerrten Ansichten auf einer Geraden, der sogenannten Epipolar-Geraden. Nur entlang dieser Geraden muss also nach korrespondierenden Punkten gesucht werden. Um diese Suche weiter zu beschleunigen, findet häufig eine Rektifizierung der entzerrten Eingabebilder statt. Dabei werden die Eingabebilder so transformiert, dass für alle Punkte in der Referenzansicht die Punkte der Epipolar-Geraden die gleiche vertikale Koordinate wie der Referenzpunkt aufweisen. Für einen Punkt in der Referenzansicht ist also nur entlang der gleichen Bildzeile in der Zielansicht nach korrespondierenden Punkten zu suchen. Während die Komplexität der Suche gleich bleibt, ermöglicht die vorherige Rektifizierung eine effizientere Implementierung der Korrespondenzsuche. Sind ferner der minimale und der maximale Arbeitsabstand in der Szene bekannt, so kann die Suche entlang der Epipolar-Geraden weiter eingeschränkt und somit beschleunigt werden.

Oben: Originales Bildpaar eines Stereosystems von The Imaging Source. Unten: Rektifiziertes Bildpaar. Für einen Punkt in der Referenzansicht (links) müssen korrespondierende Punkte nur entlang der gleichen Bildzeile in der Zielansicht (rechts) gesucht werden, beispielhaft in rot dargestellt.

Wurden alle möglichen Zielumgebungen entlang der Epipolar-Geraden mit der Referenzumgebung verglichen, wird im Falle lokaler Stereo-Algorithmen in der Regel die Zielumgebung mit der höchsten Ähnlichkeit als finale Korrespondenz gewählt. Ist die Korrespondenzsuche abgeschlossen, so liegt bei einem rektifizierten Stereosystem für jeden Pixel in der Referenzansicht (sofern eine eindeutige Korrespondenz gefunden wurde) die Entfernungsinformationen in Form der Disparität vor, das heißt in Form des Versatzes in Pixeln entlang der entsprechenden Bildzeile. Die Rede ist hier auch von Disparitätsbild oder Disparitätskarte.

Mit Hilfe der zuvor kalibrierten Brennweite internen und externen Parameter lässt sich die Disparität wiederum in tatsächliche metrische Entfernungsinformationen umrechnen. Wird diese Entfernung für jeden Punkt berechnet, an dem eine Disparität geschätzt werden konnte, ergibt sich ein dreidimensionales Modell in Form einer sogenannten Punktwolke. Im Fall homogener oder stark repetitiver Szenen kann der Einsatz lokaler Stereoverfahren zu Fehlschätzungen führen, da mehrere Punkte mit gleichwertigen Ähnlichkeiten in der Zielansicht existieren können. Globale Stereo-Verfahren, die zusätzliche Bedingungen an die finalen Disparitätskarten stellen - zum Beispiel in Form möglichst ähnlicher benachbarter Tiefenwerte - können hier Abhilfe schaffen, sind aber auch deutlich rechenaufwendiger. Oft ist es hier einfacher, durch einen Projektor künstliche Strukturen auf das Objekt zu projizieren und so eine Eindeutigkeit der Korrespondenzen herbeizuführen ("Projected-Texture-Stereo"). Dabei ist der Projektor nicht bezüglich der Kameras zu kalibrieren, da er lediglich als künstliche Strukturquelle dient.

Visualisierungen der Disparitäts-Schätzung und der finalen Punktwolke mit einem SDK von The Imaging Source. Links ist die Disparitätskarte bezüglich der Referenzansicht zu sehen, in der Mitte die 3D-Ansicht der texturierten Punktwolke, und rechts die farbkodierte Punktwolke; die Farbkodierung gibt die Entfernung zur Kamera an.

Beschleunigung durch GPUs

Gilt es, hohe Bildraten bei gleichzeitig hohen Ortsauflösungen zu gewährleisten, lässt sich die Berechnung der 3D-Informationen durch moderne GPUs erheblich beschleunigen. Bei der finalen Integration eines Stereosystems in bestehende Umgebungen setzt die Firma The Imaging Source beispielsweise auf modulare Lösungen: So kann für die Gewinnung der 3D-Informationen wahlweise das unternehmenseigene C++-SDK mit optionaler GPU Beschleunigung in Verbindung mit Kameras aus dem Portfolio von The Imaging Source oder aber HALCON von MVTec als Umgebung zum Einsatz kommen. Während das SDK es ermöglicht, mit geringem Aufwand Stereosysteme zu kalibrieren sowie 3D-Informationen zu akquirieren und zu betrachten, so bietet "Halcon" zusätzliche Möglichkeiten wie die Hand-Auge-Kalibrierung für die Integration in Robotersysteme oder weiterführende Algorithmik wie etwa die Registrierung von CAD-Modellen bezüglich der akquirierten 3D-Daten.

Der obige Artikel, verfasst von Dr. Oliver Fleischmann (Projektmanager bei The Imaging Source), wurde in der Mai-Ausgabe der Zeitschrift Computer&AUTOMATION unter dem Titel, "3D-Sehen leicht gemacht veröffentlicht." Unter folgenden Links finden Sie weitere Informationen zu unserem IC 3D Stereo Kamera-System und über das IC 3D SDK.

The Imaging Source auf der Control 2017

Veröffentlicht am 2. Juni 2017

Automatisierte Qualitätssicherung wird immer wichtiger - das spiegelt sich ebenfalls in den diesjährigen Besucherzahlen der Control in Stuttgart wieder. Vom 9.-12. Mai konnte die Control mit fast 30.000 Fachbesuchern aus 106 Ländern nicht nur einen Zuwachs um ca. 13 % zum Vorjahr, sondern ebenfalls eine stärkere Beteiligung an den angebotenen Foren und Informationsveranstaltungen verzeichnen.

Auch The Imaging Source unterstützt ihre Kunden bei der Entwicklung von maß-geschneiderten Machine-Vision-Lösungen und präsentierte in diesem Zusammenhang ihr neues Stereo 3D-System, 42 Megapixel Autofokuskameras und die aktuellsten USB- und GigE- Kameras mit Sony und On Semiconductor Sensoren. Da effiziente, industrielle Bildverarbeitung auf eine leistungsstarke Machine-Vision-Software angewiesen ist, konnte zusätzlich eine Live-OCR-Demo der MVTec-Software MERLIC in Verbindung mit The Imaging Source Kameras näher betrachtet werden.

<b>Control 2017:</b> Zoom-/Autofokuskameras und Stereo 3D-System ausgestellt auf Deutschlands führender Messe für Qualitätssicherung.

Suchen Sie ältere Einträge?

Wir bloggen seit 2007. Sämtliche Posts können im Archiv sowie in den Tagclouds gefunden werden.

Über The Imaging Source

Seit der Gründung im Jahre 1990 gehört The Imaging Source zu den führenden Herstellern von Industriekameras, Frame Grabbern und Videokonvertern für die Automatisierungstechnik, Qualitätskontrolle, Logistik, Medizin, Wissenschaft und Sicherheitssysteme.

Unser umfassendes Kamerasortiment beinhaltet USB 3.1, USB 3.0, USB 2.0, GigE, FireWire 400 & 800 Schnittstellen sowie weitere Bildverarbeitungsprodukte, die weltweit für ihre hohe Qualität und Erfüllung der Leistungsanforderung anspruchsvoller Applikationen bekannt sind.

Automated Imaging Association ISO 9001:2015 zertifiziert

Kontaktieren Sie uns