最新のカラーカメラのほとんどには、ベイヤーBGGRパターンのCFA（カラーフィルターアレイ）が付属しています。ただし、RGBチャンネルの感度は、可視波長とIR波長の両方をキャプチャできるようなものです。これにより、色が破損するため、最終的なRGB画像出力の品質が低下します。また、これにより、キャプチャされた画像のIR光の強度を測定することが困難になります。
これを克服するための従来のアプローチは、IR光がセンサーに当たらないようにする日中のイメージングにIRカットフィルターを使用することでした。夜間は、IRカットフィルターが機械的に取り外され、IR光が入り込んで低照度のイメージングをアシストします。けれども、この機械部品は時間の経過とともに摩耗し、カメラシステムの寿命に悪影響を及ぼします。
RGB-IRカメラは、組み込みカメラシステムで直面するこれらの課題を克服するのに役立ちます。 RGB-IRカメラは、可視光とIR光の両方に専用のピクセルを備えた新しいタイプのCFAを使用します。 このように、可視スペクトルとIRスペクトルの両方の画像を、機械的なスイッチを使用せずにキャプチャできると同時に、あらゆる形態の色の破損を防ぎます。 この記事では、RGB-IRカメラの動作原理、その利点、および通常のカメラよりも推奨されるいくつかの主要な組み込みビジョンアプリケーションについて説明します。
RGB-IRカメラはどのように機能しますか？
前に述べたように、標準のベイヤーCFAにはBGGRパターンが付属しています。 以下の画像は、Bayer形式のピクセルを表しています。
ただし、RGB-IRカメラには、IRスペクトルの光のみが通過できるようにするための専用のピクセルセットが追加されています。これらのピクセルの存在は、マルチバンドイメージングを容易にします。多くのセンサーメーカーは、下の画像に示すように、R、G、B、およびIRピクセルの組み合わせを備えたこの新しいCFAを開発しました。
RGB-IRカメラを使用するメリット
RGB-IRカメラには、以下のようなメリットがあります。
- 昼と夜の状況の変化に簡単に適応します。これは、24時間体制の画像とビデオキャプチャを必要とするアプリケーションで非常に役立ちます。
- 可視画像とIR画像を切り替えるためのメカニカルフィルターを回避し、アプリケーションの寿命と堅牢性を向上させます
- 可視画像データとIR画像データをきれいに分離するための専用IRチャンネルを提供します。これにより、画像のRGBコンポーネント内のIR光の量を正確に測定し、適切な色補正を行うことができるため、RGB出力の品質が向上します。
可視およびIRイメージングCFAを活用する方法
RGB-IRフィルターだけでは、イメージング技術を効果的に使用するには不十分です。RGB-IRイメージングをサポートするセンサー、レンズ、ISP（イメージシグナルプロセッサー）などの適切なカメラコンポーネントを選択することが重要です。
それぞれについて詳しく見ていきましょう。
センサー
CFAでIR感度ピクセルを備えたセンサーを選択する必要があります。onsemiとOmniVisionはどちらも、RGB-IRイメージング機能を備えたさまざまなセンサーを提供します。
RGB-IRイメージングをサポートするセンサーのピクセルパターンを理解するには、以下の画像をご覧ください。
レンズ
一般的に、カラーカメラ用のほとんどのレンズには、650nmを超える波長をブロックするためのIRカットフィルターが付属しています。RGB-IRイメージングを容易にするために、400～650nmと800～950nmの2つの波長の赤外線を通すデュアルバンドパスフィルターを使用することが適切です。
以下に、デュアルバンドパスフィルターの透過率図を示します。
画像信号プロセッサー（ISP）
ISP側では、RGBとIRの両方を含む画像データを2つの異なるフレームに分離するアルゴリズムを実装する必要があります。処理されたRGB出力とIRフレームを同時に補間する必要があります。また、適切な色を出力するために、RGBチャンネルのIR汚染を差し引くアルゴリズムも必要です。さらに、ISPは、ホストシステムの要件に従って、処理されたRGBまたはIRフレームのみを出力する機能を備えている必要があります。
RGB-IRカメラの一般的な組み込みビジョンの使用例
生体認証（顔および虹彩）認識
生体認証およびアクセス制御システムの大部分は、識別検証の目的で顔と虹彩の認識を必要とします。これには、環境の照明条件に関係なく、可視およびIRイメージングをスムーズに実行する機能が必要です。これらのアプリケーションは、正確な認識と分析のために、色を損なうことなく画像を生成する必要もあります。そのため、生体認証およびアクセス制御システムにおいて、色の正確さとカメラの寿命の2つが最優先事項である場合、RGB-IRカメラは従来のカラーカメラよりも優位に立つことができます。
高度な24時間365日のセキュリティ
RGB-IRカメラを使用すると、セキュリティおよびスマート監視アプリケーションは、物体や人の検出を妨げる色の不正確さの課題を克服できます。これらのカメラは、照明条件（昼夜を問わず）に関係なく、RGB-IRセンサーとデュアルバンドパスフィルターを使用して、分析用の正確な情報を抽出するのに役立つ高品質の画像をキャプチャします。
自動ナンバープレート認識（ANPR）
ANPRアプリケーションは、さまざまな照明条件でナンバープレートの文字、記号、および色を検出する必要があります。ANPRシステムは、RGB-IRカメラを使用して、寿命と精度を向上させた可視画像とIR画像を確実にキャプチャできます。
ANPRシステムに適切なセンサーを選択する方法の詳細については、自動ナンバープレート認識（ANPR）用の適切なイメージセンサーを選択する方法の記事をご覧ください。
また、Raspberry Pi 4を使用してALPRシステムを開発することを計画している場合は、e-con Systems社のグローバルシャッターカメラとRaspberryPi4を使用した自動ナンバープレート認識の記事をお読みください。
e-con Systems社とRGB-IRカメラ：現在の状況は？
e-con Systems社は現在、可視および赤外線（IR）イメージングの両方を必要とするアプリケーションでお客様が直面する問題に対処するために、RGB-IRセンサーに基づくカメラモジュールを開発しています。このカメラには、シームレスなRGB-IRイメージングのためのセンサー、光学系、ISPの適切な組み合わせが付属しています。
e-con Systems社では、生体認証またはALPR用の照明にとらわれないアプリケーションの構築が複雑なプロセスになる可能性があることも知っています。カスタマイズに関する豊富な経験により、通常は長い時間がかかる設計ライフサイクルを短縮できます。
e-con SystemsのRGB-IRカメラ開発の最前線で起こっていることに関する最新情報を入手するには、当社のWebサイトとソーシャルメディアプロファイルに注目してください。
このブログが、特定の組み込みビジョンアプリケーションに関してRGB-IRカメラの恩恵である理由のその複雑さを理解していただけたと思います。
当社のRGB-IRカメラ
- e-CAM227_CUMI2312C_MOD – 2MP OV2312 Global Shutter RGB-IR Camera Module
- e-CAM27_CUOAGX – 2MP OV2312 Global Shutter RGB-IR camera for Jetson AGX Orin™ / AGX Xavier™
- See3CAM_27CUG – 2MP OV2312 Global Shutter RGB-IR USB 3.2 Gen 1 Camera
Prabu Kumarは、e-con Systemsの最高技術責任者兼カメラ製品責任者であり、組み込みビジョン分野で15年以上の豊富な経験があります。彼は、USBカメラ、組み込みビジョンカメラ、ビジョンアルゴリズム、FPGAに関する深い知識をも有しています。医療、工業、農業、小売、生体認証などのさまざまなドメインにまたがる50以上のカメラソリューションを構築してきました。また、デバイスドライバー開発とBSP開発の専門家でもあります。現在は、新時代のAIベースのアプリケーションを強化するスマートカメラソリューションの構築に全力を注いでいます。