ご存知のように、Time of Flight（ToF）カメラは、光源を送信し、反射した光源を受信することで動作します。反射した光の強さと、その光がカメラに戻るまでの時間から、確実に深度を計算することができるのです。そのため、組み込みのビジョンアプリケーションでは、リアルタイムの深度や視覚情報を活用して、高品質の画像データを取り込み、使用することができます。このカメラは近年、特に産業分野で広く採用されており、最新の無人搬送車や自律移動ロボットなどのシステムが重要な役割を担っています。
しかし、Time-of-Flight（ToF）が直面する大きな課題のひとつが、マルチカメラ干渉（MCI）です。このブログでは、MCIがToF技術の大きな障害となる理由と、それを克服する方法について説明します。
MCI（マルチカメラ干渉）とは？
マルチカメラ干渉は、同じ環境で同じ周波数で動作する2台以上のToFカメラがある場合に発生します。あるカメラから送信された光は、別のカメラで受信されるため、深度誤差が生じ、ToF機能に影響を及ぼします。
図1：マルチカメラ干渉（MCI）
現実のシナリオでは、必要な詳細をすべて撮影するために、多くのユースケースで複数のToFカメラの導入が必要となります。例えば、倉庫のメンテナンスに使われるAMRでは、それが顕著に表れています。このような場合、ToFカメラを搭載した複数のAMRが限られた環境の中で移動することになります。
そのため、先に述べたように、マルチカメラ干渉に関連する問題を引き起こす可能性があります。当然ながら、これを避けるためには、すべてのToFカメラが他のカメラと干渉することなく動作する必要があります。
図2：倉庫内における自律型移動ロボット
マルチカメラ干渉の課題を克服するには、まず、2台以上のToFカメラ間の光の干渉を回避する必要があります。以下の手順で行うことができます。
- カメラを様々な角度で配置する
- 異なる周波数でカメラを動作させる
- 同じ周波数のカメラを異なる時間間隔で動作させる
では、それぞれのステップを詳しく見ていきましょう。
マルチカメラ干渉の課題を克服する3つの方法
1. カメラを様々な角度で配置する
2台のカメラのFOVが重なるとマルチカメラ干渉が発生するため、カメラを遠くに離すように配置することで、干渉を避けることができます。そのため、同じ環境にある異なるターゲットに焦点を合わせることができ、2台のカメラのFOVが交差することを避けることができます。
図3：干渉あり・なし
2. 異なる周波数でカメラを動作させる
マルチカメラ干渉に対抗するもう一つの方法は、ToFカメラを様々な周波数で動作させることです。これにより、2台のカメラ間の光の干渉を避けることができます。例えば、当社のDepthVista（ToFカメラシリーズ）は、NearとFarの2つの深度範囲モードをサポートしています。これらのモードは、それぞれ異なる周波数で動作します。前者は0.2mから1.2mまで、後者は1mから6mまでの深度を測定することが可能です。
図4：ToFのFarモードとNearモード
しかしながら、上記の2つの方法は、深度範囲に制限があることや、カメラをさまざまな角度に配置する必要があることを考慮すると、非常に特殊なユースケースにのみ使用できます。
したがって、他のユースケースに対応するために、マルチカメラ干渉の課題を回避する第3の方法を探ってみましょう。
3. 同じ周波数のカメラを異なる時間間隔で動作させる
ToFカメラを異なる時間経過で動作させることは、干渉による問題を排除するための有効なアプローチです。そのためには、一方のToFカメラを0番目の時刻に起動させます。1台目のToFカメラが赤外光パルスの送受信で動作を開始した後、2台目のToFカメラのストリームを開始します（1台目のToFカメラのアイドル状態で動作します）。同様に、1台目と2台目のToFカメラがアイドル状態の時に、3台目のToFカメラストリームを開始することができます。
そのため、基本的には限られた数のToFカメラであれば、干渉のないストリーミングが可能です。また、干渉のないストリーミングを行うために、フレームレートを補正してToFカメラの台数を増やしてみるのもよいでしょう。
例えば、e-conの遠距離深度モードDepthVistaでは、2台のToFカメラを30fpsで干渉なくストリーミングすることが可能です。10fpsの場合、最大5台のToFカメラのストリーミングが可能です。
DepthVistaがMCIを回避する方法をご覧ください。
e-con Systems、最先端ToFカメラシリーズ「DepthVista」を発表
先に述べたように、e-con SystemsのDepthVistaは、近距離モードと遠距離モードの2つの動作モードを備えたTime-of-Flightカメラシリーズです。このカメラは、深度情報とRGBデータを1フレームで提供することができ、深度測定と物体認識を同時に行うことができます。また、DepthVistaは3D深度センサーを搭載しており、640×480@30fpsの高解像度でビデオデータをストリーミング再生します。その他にも、以下のような特徴があります：
- 近赤外域（940nm/850nm）で動作
- onsemi AR0234カラーグローバルシャッターセンサーを搭載し、HDおよびFHD@30fpsのストリーミングを実現
- 850nmのVCSELを使用し、絶対的な暗闇でもシステムを動作させることが可能
- USB、MIPI、GMSLと複数のインターフェースを活用
3D深度カメラの全リストは、当社のウェブページをご覧ください。
e-con SystemsのToFカメラをお客様のアプリケーションに組み込む際にお困りの場合は、camerasolutions@e-consystems.com までお問い合わせください。
Prabu Kumarは、e-con Systemsの最高技術責任者兼カメラ製品責任者であり、組み込みビジョン分野で15年以上の豊富な経験があります。彼は、USBカメラ、組み込みビジョンカメラ、ビジョンアルゴリズム、FPGAに関する深い知識をも有しています。医療、工業、農業、小売、生体認証などのさまざまなドメインにまたがる50以上のカメラソリューションを構築してきました。また、デバイスドライバー開発とBSP開発の専門家でもあります。現在は、新時代のAIベースのアプリケーションを強化するスマートカメラソリューションの構築に全力を注いでいます。