画像処理の有効性は、組み込みカメラモジュールの最終的な画質を確保する上で重要な役割を果たします。そして、多くの場合、このプロセスは当たり前のように行われています。多くの人は、画像処理を微調整するための小さなステップが出力に大きな違いをもたらすことに気づいていません。また、多くの人は、画像処理とチューニングを管理する基本的な概念を認識していません。
したがって、この記事では、それらのいくつかを分解してご紹介します。さらに、カメラの性能を最大限に引き出すために必要なプロセスについても詳しく解説します。
ベイヤーパターンを理解する
ベイヤーパターンとは何かを理解しないと、画像処理の学習は完了しません。一般に、カラーカメラセンサーからの出力は、Bayer8/10/12ビットタイプになります。この出力フォーマットをベイヤーパターンと呼びます。
ベイヤーとは？
ベイヤーパターンをもう少し詳細に理解しましょう。
処理された画像のピクセルは、赤、緑、青の 3色すべての組み合わせになります。しかし、カメラセンサーには、各ピクセルの色を表すBGGR、GBGR、RGBGなどのさまざまな形式で配置された原色を持つカラーフィルターアレイ(CFA)があります。これを下の図に示します。
図 1.1 – ベイヤーパターン
このため、センサーの生の出力はカラー画像ではないため、変換する必要があります。ベイヤー画像を完全に処理された画像に変換するこのプロセスには、ISPによって処理される複数のブロックが含まれます。以下の比較画像は、ベイヤー画像と処理された画像の違いを視覚化したものです。
Fig 1.2 – Bayer vs ISP processed image
ISP（画像信号処理装置）とは？
カメラモジュールの未加工画像の処理には、画像信号プロセッサ(ISP)が使用されます。ISPは、取り込んだ画像に対して、デモザイキング、ノイズ除去、自動機能などの操作を実行して、強化された画像を提供します。
ISPのアーキテクチャとその機能
以下は、画像信号プロセッサのブロック図です。
図 2 – ISPのブロック図
それでは、これらのISPの機能ブロックについて、それぞれ詳しく見ていきましょう。
カラー処理
人間の目では、色は網膜の錐体視細胞の活性化によって引き起こされる感覚です。カメラに関して言えば、色空間と呼ばれる抽象的な数学的モデルを使用して、色の強度値によって色を特性化します。
ブラックレベル
ブラックレベルは、光がない状態での明るさのレベルとして定義されます。暗い状態ではセンサーにノイズが発生しますが、これはISPのブラックレベル調整を使用して修正できます。ユーザーが指定したブラックオフセット値は、入力画像のすべての画素から差し引かれ、均一なブラックになります。
レンズシェーディング補正
レンズシェーディングとは、画像の明るさまたは彩度が中心から隅に向かって徐々に減少することを指します。レンズ口径食とも呼ばれます。デビネットとは、画像の中心を基準にして、画像の角や端の部分の明るさを均一にするプロセスです。
以下の比較は、ISPのキャリブレーション/補正前後のレンズ口径食のある画像を示しています。
図 3 – ISP キャリブレーション前後のレンズシェーディング
不良画素補正
不良画素(またはホットピクセル)とは、価値のある情報を含まず、匿名の値を生成する画素を指します。ホットピクセルのフィルタリングは、周囲のピクセル値を平均化することによって行われます。
HDR（ハイダイナミックレンジ）
ダイナミックレンジとは、特定のシーンから取り込まれる光の総量を指します。撮影された画像に多くの明るい領域と、影または薄暗い光で覆われた多くの暗い領域が含まれている場合、そのシーンはハイダイナミックレンジ(HDR)を持っていると言えます。トーンマッピングは、HDRシーンの撮影とマッピングに使用される手法です。これには、次の2つのタイプがあります。
- ATM(適応トーンマッピング)：シーンに応じてトーンマッピングカーブを調整します。
- LTM(ローカルトーンマッピング)：コントラストを局所的に調整して、暗い領域と明るい領域の詳細を提供します。
以下の画像は、通常モードとHDRモードで撮影したシーンの比較を示しています。通常のカメラ(または通常モード)を使用して撮影すると、シーンの特定の領域が色あせていることがはっきりとわかります。一方、HDRカメラ(またはHDRモード)を使用して撮影された右側の画像は、シーン細部まで表現されています。
図4 – 通常モードとHDRモードの比較
画素プロセッサ
画素プロセッサは、画素で観察される色の不均衡を補正します。ISPの画素処理に含まれるサブプロセスとして、デノイズ、デモザイク、ホワイトバランス、シャープネスがある。
ノイズ除去
画像ノイズは、画像の明るさや色に望ましくない痕跡や変化の出現として定義できます。ランダムノイズの量は、露光時間が短く、アナログまたはデジタルゲインが高いほど増加します。視覚的に快適な画像をレンダリングするには、効果的なノイズ除去が必要です。
デモザイク
イメージセンサーでは、各ピクセルは、ベイヤーフィルターモザイクによってフィルター処理された3つの色(赤、緑、青)のうちの1つだけを記録します。ISPは、各ポイントの完全な赤、緑、および青の値のセットを補間します。デモザイクは、基本的に、ベイヤーパターン画像からフルカラー画像を再構築するためにISPが使用する画像処理パイプラインの一部です。一般的に使用されるデモザイクアルゴリズムには、双一次補間、最近傍補間、双三次補間など複数あります。
ホワイトバランス
ホワイトバランスにより、さまざまな照明条件下でターゲットシーンの実際の色が再現されます。ホワイトバランスとそのキャリブレーションの詳細については、組み込みカメラレンズの自動ホワイトバランスキャリブレーションのブログ記事をお読みください。
シャープ化
カメラセンサー、レンズ、およびその他のいくつかのISP操作によって、常に画像がある程度ぼやけてしまうため、画像の品質を向上させるにはエッジを補正する必要があります。これは、ISPのシャープ化機能によって実現されます。
ガンマ補正
ガンマ補正は、画素の数値と実際の輝度を補正します。
リサンプラーとクロップ
カメラでサポートされている複数の解像度は、適切なダウンスケーリングまたはアップスケーリングを実行することにより、実際のセンサー画像を必要なアスペクト比と解像度設定にトリミングするリサンプラー/クロップを使用して可能になります。
色変換
色変換は、構成可能な色変換マトリックスを使用して、目的の形式で画像を出力します。デフォルトでは、YUYV、YCbCr、およびその他のいくつかの出力形式がサポートされています。
以上で記事を終わります。ベイヤーパターンの基本と、ISP によって実行されるさまざまな画像処理機能についてご理解いただけたと思います。このトピックについてさらに質問がある場合は、お気軽にお問い合わせください。
お客様の製品にカメラを組み込むためのサポートをお探しの場合は、いつものように、camerasolutions@e-consystems.comまでお問合せください。アプリケーションに適したカメラをお探しの場合は、カメラセレクタで当社の製品ラインナップ全てを見つけることができます。
Vinoth Rajagopalanは、製品エンジニアリング管理、研究開発、および技術コンサルティングにおいて15年以上の経験を持つ、組み込みビジョンのスペシャリストです。プリセールスおよび製品の概念化から立ち上げおよびサポートまで、当社の多くの成功例を担当してきました。ソフトウェアエンジニアとしてキャリアをスタートしたたVinoth Rajagopalanは現在、主要な製品開発イニシアチブを処理するグローバルチームを担当しています。