ステレオカメラとは、2つ以上のイメージセンサーを搭載したカメラの一種です。これにより、人間の両眼視を再現することができるため、奥行きを認識することができるようになります。
人間の両眼視
人間の両眼視は、左右の目が水平方向に分離したときに、左右の目で見た対象物のオブジェクトの位置が異なることをステレオ視差といい、奥行きを知覚します。
脳はこの両眼視差を利用して、「立体視」として知られる2次元網膜画像から深度情報を抽出します。
同様に、TaraやTaraXLなどの一部のステレオカメラは、奥行きを知覚するために人間の視覚の立体視技術を模倣しようとしています。奥行き知覚は三角測量と呼ばれる幾何学的手法によって行われます。
カメラの立体視差
カメラの立体視差は、異なる位置から撮影した2つの2次元画像を使用して実現することができ、画像間の相関関係を使用して深度画像を作成することができます。しかし、相関を求めるためには、2つの画像に十分な詳細やテクスチャ、あるいは不均一性が必要です。
したがって、ステレオビジョンは広い視野を持つアプリケーションや屋外での使用に適しています。
より良い結果を得るためには、適正化された照明でシーンを照らすことで、ターゲットの詳細情報を追加する必要がある場合があります。
深度認識技術
3次元のキャプチャはさまざまな方法で行うことができ、利用可能なマシンビジョンテクノロジーにはそれぞれ長所と短所があります。3次元画像は、パッシブとアクティブの2つに分類され、さらに特定の技術に分類できます。
主なパッシブテクニックは次のとおりです。
- フォーカスからの深度
- 光照射野
- ステレオ
主なアクティブテクニックは次のとおりです。
- Time-of-flight
- 立体照明
- 干渉法
- ステレオ
ステレオ深度知覚の分類
1. パッシブ・ステレオ
パッシブステレオシステムは、環境内の光に依存し、外部からの光は一切使用しません。
e-con Systems™ TaraとTaraXLは、パッシブステレオビジョンカメラの例です。
パッシブステレオは、明るいテクスチャー領域に適しており、日光の下でうまく機能します。
長所：
- 日光の下でうまく機能します
- 費用対効果
短所：
- 低照度で平凡なパフォーマンス
- テクスチャーなしのシーンで平凡なパフォーマンス
2. アクティブ・ステレオ
アクティブステレオビジョンは、レーザーや構造化光などの光を積極的に使用してステレオマッチングの問題を単純化するステレオビジョンの一種です。
アクティブステレオは、光や質感が不足している場所で役立ちます。赤外線プロジェクターや他の光源を使用することで、外部光源に依存しない質感のあるシーンにすることができます。しかし、アクティブステレオは直射日光の当たる場所や、同じ外部光源技術の干渉が多い場所ではその効果を失ってしまうというマイナス面もあります。
長所:
- 低照度でも十分に機能します。
- テクスチャーのない屋内シーンでうまく機能します。
- Time of flightとステレオ三角測量の深度知覚テクノロジーのハイブリッドとして使用できます。
短所:
- 日光の下では、パッシブステレオと同じです。
- 長距離では、パッシブステレオと同じです。
- IRプロジェクターはコストを増加させます。
ステレオビジョンの深度範囲を決定するものは何ですか？
TaraやTaraXLなどのステレオビジョンカメラは、三角測量を使用して奥行きを認識します。深さの距離を決定するためのプロパティを以下に示します。
- ベースライン
- 解像度
- 焦点距離
ベースライン
2台のカメラ間の距離はベースラインと呼ばれ、人間の目では、個人によって異なりますが、約50〜75 mm（瞳孔間距離）です。
TaraとTaraXLのベースラインは60mmで、これは人間の平均ベースラインに似ています。ベースラインは深さに正比例します。従って、ベースラインが長ければ長いほど、より高い精度で奥行きをカバーすることができるのです。
解像度
2台のカメラの解像度は深さに正比例します。
検索するピクセル数が多いほど、視差レベルの数が多くなります。従って、解像度が高いほど視差レベルは高くなりますが、計算負荷も高くなります。
焦点距離
レンズの焦点距離は深さに正比例します。
焦点距離が小さいほど遠くまで見えますが、視野は狭くなります。焦点距離が長いと、奥行き近くまで見えますが、視野が狭くなります。
これらのプロパティとステレオカメラの選択方法の詳細については、次のコラムをご覧ください。
長距離深度センサー
理論的には、ステレオカメラを使用すると、60mm自体で無限の深度をカバーできますが、エラー率は深さに対して2次関数的に増加します。
上記のように、もしベースラインが距離よりも奥行きの精度を高めるのであれば、「人間の目は、ベースラインが50〜75 mmの場合、どのようにしてこれほど多くの距離を認識できるのでしょうか」と質問するかもしれません。
その答えは、人間の解像度が非常に高い（〜576メガピクセル）ため、目がより深い深度を知覚できるということです。
しかし、今日のテクノロジーではこれだけのメガピクセルは不可能であり、576 MPの画像を送り出すことができるカメラがあったとしても、そのサイズの処理能力はありません。
したがって、解像度のボトルネックによって深度範囲が制限されますが、それを補うためにベースラインを増やすと、次に、今度は最も近い知覚可能な深度が減少します。そして、より高い解像度とベースラインでは、ステレオ対応問題が増幅され、計算負荷が増加します。これは、GPUをある程度使用することで解決できます。
GPUの必要性については、The Rise of GPUを調べてください。
Tara –ステレオカメラを購入については、sales@e-consystems.comまでご連絡ください。