Was sind RGBD-Kameras? Warum werden RGBD-Kameras in einigen Embedded-Vision-Anwendungen bevorzugt? In den letzten Jahren haben sich die 3D-Vision-Technologien erheblich weiterentwickelt und ihre Genauigkeit, Reichweite, Leistung bei schlechten Lichtverhältnissen usw. verbessert. Die Nachfrage nach Tiefenerkennung in vielen Embedded-Vision-Anwendungen ist stark gestiegen. Einige der beliebtesten Anwendungen, bei denen eine Tiefenkamera zum Einsatz kommt, sind autonome mobile Roboter, fahrerlose Fahrzeuge, Fernüberwachung von Patienten und Personenzählsysteme. Während wir alle wissen, was eine Tiefenkamera ist, ist das Konzept einer RGB-Tiefenkamera (oder RGBD-Kamera) für viele ein Rätsel. In diesem Blog-Beitrag erfahren Sie, was eine RGBD-Kamera ist und warum sie für einige der beliebtesten eingebetteten Bildverarbeitungsanwendungen eine entscheidende Rolle spielt.
Was ist eine RGB-Kamera?
Bevor wir etwas über eine RGBD-Kamera erfahren, müssen wir zunächst verstehen, was eine RGB-Kamera ist. Der Begriff RGB bezieht sich auf das Farbmodell, bei dem die roten, grünen und blauen Primärfarben des Lichts addiert werden, um verschiedene Farben zu erzeugen, die wir wahrnehmen. Eine RGB-Kamera liefert farbige Bilder von Personen und Objekten, indem sie Licht in den Wellenlängen Rot, Grün und Blau (RGB) aufnimmt. Diese Kamera nutzt sichtbares Licht mit einer Wellenlänge von 400 bis 700 nm.
Was ist eine RGBD-Kamera?
Eine RGBD-Kamera ist eine Art Tiefenkamera, die sowohl Tiefen- (D) als auch Farbdaten (RGB) in Echtzeit ausgibt. Die Tiefeninformationen können über eine Tiefenkarte/ein Tiefenbild abgerufen werden, das von einem 3D-Tiefensensor wie einem Stereosensor oder einem Time-of-Flight-Sensor erstellt wird. RGBD-Kameras können eine Pixel-zu-Pixel-Mischung von RGB-Daten und Tiefeninformationen vornehmen, um beide in einem einzigen Bild zu liefern. DepthVista – eine Time-of-Flight-basierte RGBD-Kamera von e-con Systems – ist beispielsweise in der Lage, sowohl Tiefen- als auch RGB-Daten in einem einzigen Bild zu liefern.
Abbildung 1 – DepthVista: 3D Time-of-Flight RGBD-Kamera von e-con Systems
Um die Funktionsweise besser zu verstehen, sehen Sie sich bitte die folgende Abbildung an, die eine Beispielanwendung für das Streaming von Bild- und Tiefendaten von DepthVista zeigt. Hier zeigt die Kamera ein Tiefenbild (640 x 480), ein IR-Bild (640 x 480) und ein RGB-Bild (640 x 480) mit 30 Bilder/S zusammen mit einem 3D-Viewer an.
Abbildung 2 – Beispielanwendung für das Streaming von RGB- und Tiefendaten von DepthVista von e-con
Warum ist die RGBD-Kamera eine der bevorzugten Kameras für bestimmte eingebettete Bildverarbeitungsanwendungen?
Durch das Hinzufügen von RGB-Daten zur Punktwolke oder Tiefenkarte einer 3D-Tiefenerkennungskamera können Objekte für die Mustererkennung oder -erfassung besser lokalisiert werden. Dies ist besonders bei Anwendungen nützlich, die die Art und Beschaffenheit von Objekten in der Szene identifizieren und gleichzeitig die Tiefe messen müssen. Die Fähigkeit, diese beiden Datentypen in einem einzigen Bild zu liefern, macht die Kamera noch geeigneter für Anwendungen wie auf Gesichtserkennung basierende Anti-Spoofing-Systeme und Geräte zur Personenzählung. Wenn Sie mehr darüber erfahren möchten, wie RGB-Tiefenkameras die Leistung und Effektivität weiterer solcher eingebetteter Bildverarbeitungsanwendungen verbessern können, empfehlen wir Ihnen die beiden folgenden Artikel:
- Wie kann eine Time-of-Flight-Kamera die Fernüberwachung von Patienten sicherer und privater machen?
- Wie nutzt ein autonomer mobiler Roboter die Time-of-Flight-Technologie?
RGBD-Kamera mit einer Kombination aus Time-of-Flight- und RGB-Sensoren
Eine Time-of-Flight-basierte RGBD-Kamera ist eine der häufigsten Arten von RGBD-Kameras, die einen ToF-3D-Sensor für die Tiefenmessung und einen RGB-Sensor für die Erfassung von Farbinformationen verwendet. Der ToF-Sensor berechnet die Entfernung auf der Grundlage der Gesamtflugzeit des Lichts (unter Berücksichtigung der Lichtgeschwindigkeit), was sogar bei völliger Dunkelheit möglich ist.
Um mehr über das ToF-Konzept und die Funktionsweise von ToF-Kamerasystemen zu erfahren, lesen Sie bitte den Artikel Was ist ein Time-of-Flight-Sensor? Was sind die wichtigsten Komponenten einer Time-of-Flight-Kamera? Wenn Sie wissen möchten, wie Time-of-Flight im Vergleich zu anderen Tiefenerkennungs-Technologien funktioniert, lesen Sie bitte den Artikel Time-of-Flight (ToF) im Vergleich zu anderen 3D-Tiefenerkennungs-Technologien.
Das folgende Blockdiagramm zeigt die Architektur einer ToF + RGB-Kamera:
Time-of-Flight-basierte RGB-Tiefenkamera von e-con Systems
DepthVista von e-con Systems ist eine RGB-Tiefenkamera, die einen CCD-Sensor für die 3D-Tiefenmessung und den AR0234 Farb-Global-Shutter-Sensor von Onsemi für die Erfassung von RGB-Daten verwendet. Diese RGBD-Kamera verwendet einen VCSEL von 850 nm für die Hochgeschwindigkeits-Datenkommunikation und kann VGA (640X480) mit 30 Bilder/S streamen. Das 2D-RGB-Video wird mit dem 3D-Tiefenvideo integriert, um die farbige Punktwolke (eine Sammlung von Punkten im dreidimensionalen Raum) zu erstellen. Anschließend kann die Nachbearbeitung der 3D-Tiefendaten mit Hilfe von Nachbearbeitungsfiltern wie Planarisierung, zeitlichem Filter, Kantenerkennung und räumlichem Filter durchgeführt werden. Der Tiefenrahmen mit allen angewandten Nachbearbeitungsfiltern ist in der folgenden Abbildung dargestellt:
Abbildung 4 – Vergleich zwischen einem normalen Tiefenbild und einem Tiefenbild mit allen angewandten Nachbearbeitungsfiltern
Weitere Informationen zu den Funktionen, Vorteilen und Zielanwendungen der Kamera finden Sie auf der Produktseite von DepthVista. Sie können sich auch das folgende Video ansehen, um einen schnellen Überblick über das Produkt zu erhalten.
3D Time-of-Flight (ToF) Kamera für genaue 3D-Tiefenaufnahmen
Wir hoffen, dass dieser Blog Ihnen ein gutes Verständnis dafür vermittelt hat, was eine RGBD-Kamera ist und wie sie funktioniert. Wenn Sie Hilfe bei der Auswahl und Integration der richtigen Kameras in Ihr kamerafähiges Gerät benötigen, schreiben Sie uns bitte an camerasolutions@e-consystems.com. Werfen Sie auch einen Blick auf den Kamera-Selektor, falls Sie sich das gesamte Kameraportfolio von e-con Systems ansehen möchten.
References:
Prabu ist Chief Technology Officer und Head of Camera Products bei e-con Systems und verfügt über eine reiche Erfahrung von mehr als 15 Jahren im Bereich der eingebetteten Bildverarbeitung. Er bringt umfassende Kenntnisse in den Bereichen USB-Kameras, eingebettete Bildverarbeitungskameras, Bildverarbeitungsalgorithmen und FPGAs mit. Er hat über 50 Kameralösungen für verschiedene Bereiche wie Medizin, Industrie, Landwirtschaft, Einzelhandel, Biometrie und mehr entwickelt. Er verfügt außerdem über Fachwissen in der Gerätetreiberentwicklung und BSP-Entwicklung. Derzeit liegt der Schwerpunkt von Prabu auf der Entwicklung intelligenter Kameralösungen, die KI-basierte Anwendungen des neuen Zeitalters ermöglichen.