Was ist eine RGB-IR-Kamera? Wie funktioniert eine RGB-IR-Kamera?

Die meisten modernen Farbkameras sind mit einem Farbfilter-Array (Color Filter Array, CFA) mit Bayer BGGR-Muster ausgestattet. Der RGB-Kanal ist jedoch so empfindlich, dass er sowohl die sichtbaren als auch die IR-Wellenlängen erfassen kann. Dies führt zu einer verminderten Qualität der endgültigen RGB-Bildausgabe aufgrund von Farbverfälschungen. Außerdem ist es dadurch schwierig, die Intensität des IR-Lichts in dem aufgenommenen Bild zu messen.

Der traditionelle Ansatz zur Lösung dieses Problems war die Verwendung eines IR-Sperrfilters für die Bildgebung bei Tag, der verhindert, dass IR-Licht auf den Sensor fällt. In der Nacht wird der IR-Sperrfilter mechanisch entfernt, damit IR-Licht zur Unterstützung der Bildgebung bei schwachem Licht eindringen kann. Diese mechanische Komponente führt jedoch mit der Zeit zu Verschleiß und beeinträchtigt die Lebensdauer eines Kamerasystems.

Eine RGB-IR-Kamera hilft, diese Herausforderungen in einem eingebetteten Kamerasystem zu bewältigen. Eine RGB-IR-Kamera verwendet eine neue Art von CFA mit dedizierten Pixeln sowohl für sichtbares als auch für IR-Licht. Auf diese Weise können Bilder sowohl im sichtbaren als auch im IR-Spektrum aufgenommen werden, ohne dass ein mechanischer Schalter verwendet werden muss, wobei gleichzeitig jegliche Form von Farbverfälschung verhindert wird. In diesem Artikel befassen wir uns mit dem Funktionsprinzip einer RGB-IR-Kamera, ihren Vorteilen und einigen wichtigen Anwendungen der eingebetteten Bildverarbeitung, bei denen sie im Vergleich zu normalen Kameras zu empfehlen ist.

Wie funktioniert eine RGB-IR-Kamera

Wie bereits erwähnt, ist die Standard-Bayer-CFA mit einem BGGR-Muster ausgestattet. Das folgende Bild stellt die Pixel im Bayer-Format dar.

Eine RGB-IR-Kamera verfügt jedoch über einen zusätzlichen Satz von Pixeln, die nur Licht im IR-Spektrum durchlassen. Das Vorhandensein dieser Pixel erleichtert die Bildgebung in mehreren Bändern. Viele Sensorhersteller haben diese neue CFA entwickelt, die mit einer Kombination aus R-, G-, B- und IR-Pixeln ausgestattet ist, wie in der Abbildung unten dargestellt:

Vorteile der Verwendung einer RGB-IR-Kamera

Im Folgenden werden einige der Vorteile einer RGB-IR-Kamera aufgeführt:

• Diese Kamera passt sich leicht an wechselnde Tages- und Nachtbedingungen an. Dies ist sehr nützlich bei Anwendungen, die rund um die Uhr Bild- und Videoaufnahmen erfordern.
• Kein mechanischer Filter für den Wechsel zwischen sichtbarer und IR-Bildgebung, was die Lebensdauer und Robustheit der Anwendung erhöht
• Bietet einen eigenen IR-Kanal zur sauberen Trennung von sichtbaren und IR-Bilddaten. Dies verbessert die Qualität der RGB-Ausgabe, da der Anteil des IR-Lichts in der RGB-Komponente des Bildes genau gemessen und eine entsprechende Farbkorrektur vorgenommen werden kann.

So nutzen Sie die CFA für sichtbare und IR-Bildgebung

Ein RGB-IR-Filter allein reicht nicht aus, um die Bildgebung effektiv zu nutzen. Es ist wichtig, die richtigen Kamerakomponenten wie den Sensor, das Objektiv und den Bildsignalprozessor (Image Signal Processor, ISP) zu wählen, die die RGB-IR-Bildgebung unterstützen.

Sehen wir uns die einzelnen Komponenten im Detail an.

Sensor

Sie müssen einen Sensor mit IR-empfindlichen Pixeln auf dem CFA wählen. Sowohl onsemi als auch OmniVision bieten verschiedene Sensoren an, die mit RGB-IR-Bildgebung ausgestattet sind.

Schauen Sie sich das folgende Bild an, um das Pixelmuster eines Sensors mit RGB-IR Bildgebung zu verstehen

Optik

Im Allgemeinen sind die meisten Objektive für Farbkameras mit einem IR-Cut Filter ausgestattet, der Wellenlängen über 650 nm blockiert. Zur Erleichterung der RGB-IR-Bildgebung ist die Verwendung eines Dual-Band-Passfilters sinnvoll, der sowohl 400-650 nm als auch 800-950 nm für die IR-Wellenlänge zulässt.

Nachstehend ist das Übertragungsdiagramm eines Zweiband-Passfilters dargestellt:

Bildsignalprozessor (ISP)

Auf der ISP-Seite muss ein Algorithmus implementiert werden, der die Bilddaten, die sowohl RGB als auch IR enthalten, in zwei verschiedene Rahmen aufteilt. Sie müssen die verarbeitete RGB-Ausgabe und das IR-Bild gleichzeitig interpolieren. Er sollte auch über einen Algorithmus verfügen, der die IR-Kontamination von den RGB-Kanälen subtrahiert, um die richtigen Farben auszugeben. Darüber hinaus sollte der ISP in der Lage sein, nur die verarbeiteten RGB- oder IR-Frames entsprechend den Anforderungen des Hostsystems auszugeben.

Beliebte Anwendungsfälle für eingebettete Bildverarbeitung von RGB-IR-Kameras

Biometrische (Gesichts- und Iris-) Erkennung

Die überwiegende Mehrheit der biometrischen Systeme und Zugangskontrollsysteme erfordert die Erkennung von Gesicht und Iris zum Zweck der Identitätsprüfung. Dies erfordert eine reibungslose Bildgebung im sichtbaren und IR-Bereich, unabhängig von den Lichtverhältnissen der Umgebung. Diese Anwendungen müssen außerdem Bilder ohne Farbverfälschungen für eine genaue Erkennung und Analyse erzeugen. Daher ist eine RGB-IR-Kamera gegenüber herkömmlichen Farbkameras im Vorteil, wenn Farbgenauigkeit und Lebensdauer der Kamera zwei der höchsten Prioritäten für ein biometrisches und Zugangskontrollsystem sind.

Erweiterte 24X7-Sicherheit

Mit RGB-IR-Kameras können Sicherheits- und intelligente Überwachungsanwendungen das Problem der Farbungenauigkeiten überwinden, die die Erkennung von Objekten oder Personen behindern. Unabhängig von den Lichtverhältnissen – ob bei Tag oder bei Nacht – erfassen diese Kameras mit einem RGB-IR-Sensor und einem Zweibandpassfilter qualitativ hochwertige Bilder, aus denen genaue Informationen für die Analyse gewonnen werden können.

Automatische Nummernschild-Erkennung (Automated Number Plate Recognition, ANPR)

ANPR-Anwendungen müssen Buchstaben, Symbole und Farben von Nummernschildern bei unterschiedlichen Lichtverhältnissen erkennen. Mit einer RGB-IR-Kamera können ANPR-Systeme zuverlässig sichtbare und IR-Bilder mit erhöhter Lebensdauer und Genauigkeit erfassen.

Wenn Sie mehr über die Auswahl des richtigen Sensors für Ihr ANPR-System erfahren möchten, lesen Sie den Artikel Auswahl des richtigen Bildsensors für die automatische Nummernschild-Erkennung (ANPR).

Wenn Sie planen, ein ALPR-System mit dem Raspberry Pi 4 zu entwickeln, ist der Artikel Automatische Nummernschild-Erkennung mit der Global-Shutter-Kamera von e-con Systems und dem Raspberry Pi 4 ebenfalls eine gute Lektüre.

e-con Systems und RGB-IR-Kameras: Was passiert jetzt?

e-con Systems entwickelt derzeit ein Kameramodul, das auf einem RGB-IR-Sensor basiert, um die Probleme zu lösen, mit denen Kunden bei Anwendungen konfrontiert sind, die sowohl sichtbare als auch infrarote (IR) Bildgebung erfordern. Die Kamera verfügt über die richtige Kombination aus Sensor, Optik und ISP für eine nahtlose RGB-IR-Bildgebung. 

Bei e-con Systems wissen wir auch, dass die Entwicklung von beleuchtungsunabhängigen Anwendungen für biometrische Erkennung oder ALPR ein komplexer Prozess sein kann. Unsere umfassende Erfahrung bei der Anpassung stellt sicher, dass Sie die normalerweise langen Design-Lebenszyklen verkürzen können

Behalten Sie unsere Website und unsere Profile in den sozialen Medien im Auge, um die neuesten Informationen über die Entwicklung von RGB-IR-Kameras bei e-con Systems zu erhalten

Wir hoffen, dass dieser Blog Ihnen geholfen hat, die Feinheiten zu verstehen, warum RGB-IR-Kameras ein Segen für bestimmte eingebettete Bildverarbeitungsanwendungen sind.

RGB-IR-Kameras von e-con Systems.

• e-CAM227_CUMI2312C_MOD – 2MP OV2312 Global Shutter RGB-IR Camera Module
• e-CAM27_CUOAGX – 2MP OV2312 Global Shutter RGB-IR camera for Jetson AGX Orin™ / AGX Xavier™
• See3CAM_27CUG – 2MP OV2312 Global Shutter RGB-IR USB 3.2 Gen 1 Camera