AIの「盲点」に対処、機械学習で自動運転車の安全性を向上

・新しい機械学習ベースのモデルにより、無人自動車をより安全に

・AIが、現実の世界で危険なエラーを引き起こす可能性のある例から学習できる事例を検出

近年の人工知能の分野における進歩により、無人自動車や自律型ロボットがよりスマートになりました。まだ初期段階にありますが、無人自動車はますます一般的になりつつあり、今後数年間で交通システムを根本的に変える可能性があります。

最近、MITとマイクロソフトの研究者は、人間のインプットの助けを借りて自律型システムの「盲点」を明らかにするモデルを開発しました。これは、これらの自律型システムが実際の環境で間違いを犯す可能性があるときに（トレーニング例やシミュレーションから）学習する事例を特定します。

たとえば、AI駆動の自動運転車は、シミュレーションで広範囲にトレーニングされており、道路上で考えられるほぼすべてのシナリオに対応できるように準備されています。しかし、システムは現実の世界でエラーを起こすことがあります。システムは、その動作を特定のシナリオで（必要な場所であるにも関わらず）変更しません。

例えば、無人自動車（十分な訓練を受けていない）が高速道路を走行していて、救急車がサイレンを鳴らしている場合、車は救急車を大きな白い車としてのみ認識し、救急車やその他の緊急車両に道を譲ったりすることはできません。

研究者は、人間のインプットを統合することでシミュレーションと現実世界のギャップを埋め、自律型システムが知らないことをよりよく理解できるようにしたいと考えています。

モデルは人間のフィードバックをどのように受け取るのか?

自律型システムは、最初に仮想シミュレーションでトレーニングされ、各状況を最適なアクションにマッピングします。その後、現実の世界に展開され、ここではシステムが誤ったアクションを実行するたびに人間がシステムを中断します。

人間は、訂正やデモンストレーションのいずれかによってデータを与えることができます。 訂正を与えるために、車両が計画されたルートに沿って自ら運転している間、人が運転席に座ることができます。システムが不適切なアクションを実行した場合、人間はハンドルを握ることができ、AIに誤ったアクションを実行していたこと、その特定の状況で何をすべきかという信号が送信されます。

あるいは、人間は現実世界で車両をデモンストレーション/運転することによってシステムを訓練することができます。システムは、すべての人間の行動を分析し、その状態で行ったであろう行動と比較します。それぞれの不一致（ある場合）は、システムの許容できないアクションを示します。

盲点への対処

手動によるトレーニングが終了すると、システムに基本的に許容できるアクションと許容できないアクションのリストができます。目標は、AIが区別しにくい曖昧な状況（または盲点）を検出することです。

例えば、自律型システムは大きな車両と何度か一緒に、道を譲らずに走行していた可能性があります。ただし、救急車（AIにはまったく同じように見えます）でも同じことを行う場合は、許容できないアクションを表すフィードバック信号を受信します。

こういった状況に対処するために、チームはDawid-Skeneアルゴリズムと呼ばれる機械学習方法を使用しました。「許容可能」および「許容不可能」とラベル付けされたすべての盲点を取得し、それらを集計し、確率計算を使用してそれらのラベルのパターンを検出します。

次にアルゴリズムは、各状況の信頼レベルとともに、単一の集約された盲点を生成します。 また、各状況で盲点になる可能性が低いものから高いものまでを示すヒートマップを生成します。

現実の世界では、モデルが状況を高い確率で盲点としてマッピングすると、人間に適切な行動を求めることができ、より安全な実行が可能になります。このタイプのモデルは、自律型ロボットが新しい状況でいつ不適切な行動をとる可能性があるのかを予測するのにも役立ちます。