自動運転に応用できる映像解析技術 NVIDIAがAIを使用してカメラ映像を鮮明化する技術を開発

カメラの映像鮮明化が期待できる、ディープニューラルネットワークが開発されました。

自動車の自動運転機能はこのネットワークを使用して、より正しい判断を下すことが可能になります。

現在たくさんの会社が自動車の自動運転技術に取り組んでいます。また、どの社も様々な方法で工学的挑戦に取り組んでいます。

特に人間の見る能力の主たる3つの要素：レーダー（電波探知測距）、カメラ機能、そしてライダー（光を使った物体検知と測距）を模倣するテクノロジー向上への取り組みが活発です。

雨・雪・その他の種類の妨害物など、いくつかの要因によってカメラの視界が低下することがあります。 周囲を感知する機能が誤作動し、センサーから入ってくるデータを検証するシステムの能力を妨げるためです。

センサーの誤作動で感知した無効なデータを、できる限り迅速にかつ効果的に、下流のモジュールに到達する前に検出するために、NVIDIA社の研究者はカメラの映像鮮明化が期待できるAIモデルを開発しました。

ClearSightNetと命名されたディープニューラルネットワークを使用して、妨害物・遮蔽物・および視認性の低下につながる根本的な原因を発見します。

これにより以下のことが可能になります。一つはカメラの視認性が低下しうる原因が多岐に渡って考えられる理由を究明できます。また、実用的なデータの提供が可能になります。そして、低予算で多くのカメラを運用させることが実現可能になります。

ディープニューラルネットワークの機能

ディープニューラルネットワークはカメラの写真を2画面で表示します。 1つは遮蔽物分析機能で分析し、もう1つは視認性の低下原因分析機能で分析します。

遮蔽物分析画面では、不透明な物体（雪・泥・埃など）でブロックされているか、日光による飽和ピクセルなどデータが含まれていない、カメラの視野の特定部分を分析します。 これらの部分では、センサーの感知機能は完全に損なわれています。

視認性の低下原因分析画面では、霧・光の乱反射・大雨のために部分的にブロックされている部分を分析します。 そのような条件下では、アルゴリズムはデータを「より信頼度が低いデータ」としてマークするべきです。

この2画面を表示するために、ClearSightNetはリアルタイムで受診するビデオ画像にマスクをかけます。 視認性が低下した領域は緑色で表示され、完全に隠された領域は赤色で表示されます。 

ディープニューラルネットワークはまた、視界の低下や遮蔽物によって受診画像のどのくらいの面積が影響を受けるかも表示します。

このデータはいくつかの方法で活用できます。 たとえば、自動運転車は、視界が悪いときには自動運転機能を適用せず、フロントガラスやカメラのレンズをきれいにするようにドライバーに警告を与えます。 自動車はこのネットワークを使ってカメラの知覚を確認することができます。

チームは、ClearSightNetをさらに改良して、エンドツーエンドの学習とカメラの可視性に関するより詳細な情報を提供し、自律走行車に実装する動作プロセスをより細かく制御できるようにする予定です。

現在のClearSightNetのパフォーマンス下においては、ディープニューラルネットワークはXavierのフレームあたり約1.3ミリ毎秒（内臓GPU）と0.7ミリ毎秒（ディスクリートGPU）で動作します。 NVIDIA DRIVE 9.0はすでに実装可能です。