新機能 – Amazon SageMaker Ground Truth で 3D ポイントクラウドにラベルを付ける



AWS re:Invent 2018 で開始された Amazon Sagemaker Ground Truth は、機械学習データセットに簡単に注釈を付けることができる Amazon SageMaker の機能です。顧客は、組み込みのワークフローを使用して画像およびテキストデータ、またはカスタムワークフローを使用して他のタイプのデータに効率的かつ正確にラベルを付けることができます。データサンプルは自動的に従業員 (プライベート、サードパーティー、または MTurk) に配布され、注釈は Amazon Simple Storage Service (S3) に保存されます。オプションで、自律型データラベル付けを有効にして、データセットのラベル付けに必要な時間と関連するコストの両方を削減することもできます。

約 1 年前に、自律型運転用の 3 次元 (3D) データセットのラベル付けに関心を示した自動車業界のお客様にお会いしました。LIDAR センサーによってキャプチャされたこれらのデータセットは、特に複雑で大きいです。データは、通常 5 万〜500 万個のポイントを含むフレームに保存され、それぞれ最大数百メガバイトになることがあります。フレームは個別に、または移動するオブジェクトの追跡を容易にするシーケンスで保存されます。

ご想像のとおり、従業員は複雑な 3D シーンをナビゲートし、さまざまなオブジェクトクラスに注釈を付ける必要があるため、これらのデータセットのラベル付けには非常に時間がかかります。多くの場合、これには非常に複雑なツールの構築と管理が必要です。Ground Truth チームは、お客様がよりシンプルで効率的なワークフローを構築できるよう常に支援することを目指しており、より多くのフィードバックを収集して、仕事に取り掛かりました。

本日、Amazon Sagemaker Ground Truth に、組み込みのエディタと最新の支援ラベル機能を使用して 3D ポイントクラウドにラベルを付けられるようになったことをお知らせいたします。

3D ポイントクラウドラベル付けの紹介
他の Ground Truth タスクタイプと同様に、3D ポイントクラウドの入力データは S3 バケットに保存する必要があります。また、S3 フレームの場所とその属性の両方を含む JSON ファイルであるマニフェストファイルで記述する必要があります。データセットには、シングルフレームデータまたはマルチフレームシーケンスのいずれかを含めることができます。

必要に応じて、データセットには、車載カメラによってキャプチャされた画像データも含まれます。「センサーフュージョン」と呼ばれる機能を使用して、Ground Truth は 3D ポイントクラウドを最大 8 台のカメラと同期させることができます。このおかげで、従業員は実際のシーンからビューを取得し、2D 画像と 3D ポイントクラウドに交換可能なラベルを適用することもできます。

マニフェストファイルの準備ができたら、Ground Truth では、次のタスクタイプを作成できます。

• オブジェクト検出: 3D ポイントクラウドフレーム内の対象オブジェクトを識別します。
• オブジェクト追跡: 一連の 3D ポイントクラウドフレームにわたって対象オブジェクトを追跡します。
• セマンティックセグメンテーション: 3D ポイントクラウドフレームのポイントを事前定義されたカテゴリにセグメント化します。

これらは、作業者が新しいフレームに注釈を付けるラベル付けジョブ、または既存の注釈を確認して微調整する調整ジョブのいずれかになります。ジョブは、プライベートワーカー、または AWS Marketplace で選択したベンダーワーカーに配布できます。

組み込みのグラフィカルユーザーインターフェイス (GUI) とナビゲーションおよびラベル付けのショートカットを使用して、従業員はラベル、ボックス、およびカテゴリを 3D オブジェクト (「車」、「歩行者」など) に迅速で正確に適用できます。また、車の色や、オブジェクトが完全に表示されているか部分的に表示されているかなど、ユーザー定義の属性を追加することもできます。

GUI では、ラベル付け作業を大幅に簡略化し、時間を短縮し、注釈の品質を向上させる多くの支援的なラベル付け機能が含まれています。以下にいくつか例を示します。

• スナップ: Ground Truth は、オブジェクトの周囲にぴったりとフィットするボックスを推測します。
• 補間: ラベル作業者は、シーケンスの最初と最後のフレームでオブジェクトに注釈を付けます。Ground Truth は、中央のフレームに自動的に注釈を付けます。
• 地面の検出と削除: Ground Truth は、地面に属する 3D ポイントを自動的に検出してオブジェクトボックスから削除します。

補助的なラベル付けを使用しても、複雑なフレームやシーケンスに注釈を付けるにはしばらく時間がかかることがあるため、データの損失を防ぐために作業が定期的に保存されます。

3D ポイントクラウドデータセットの準備
前述のように、3D データセットを説明するマニフェストファイルを提供する必要があります。このファイルの形式は、Ground Truth のドキュメントで定義されています。もちろん、それを構築するために必要な手順は、データセットごとに異なります。たとえば、Audi A2D2 データセットには、約 400,000 個のフレームが含まれ、360 度の 3D LIDAR データと 2D 画像が含まれています。自律型運転研究におけるもう 1 つの一般的な選択肢である KITTI には、15,000 個の画像とそれに対応するポイントクラウドを含む 3D データセットが含まれ、合計 80,256 個のラベル付きオブジェクトが含まれます。このノートブックは、KITTI データを Ground Truth フォーマットに変換する方法を示しています。

データセットに 3D LIDAR データと 2D カメラ画像の両方が含まれている場合、課題の 1 つはそれらを同期することです。これにより、3D ポイントを 2D 座標に投影し、搭載カメラでキャプチャされた写真にマッピングできます。別の課題は、特定のデバイスによってキャプチャされたデータが、このデバイスにローカルな座標を使用することです。幸いなことに、デバイスが車のどこにあり、どこに向かっているかは知っています。これはすべて、ワールド座標系 (WCS) としても知られるグローバル座標系を構築することで解決できます。行列演算 (ここでは省略) を使用して、WCS 内のすべてのデータポイントの座標を計算できます。

フレームが処理されると、車両の位置、S3 での LIDAR データの場所、S3 での関連する画像の場所などの情報がマニフェストファイルに保存されます。大規模なデータセットの場合、プロセス全体が大きなワークロードであり、Amazon SageMaker 処理、Amazon EMR、または AWS Glue などのマネージドサービスで実行できます。

Amazon SageMaker Ground Truth による 3D ポイントクラウドのラベル付け
このノートブックに基づいて簡単なデモを見てみましょう。前処理されたサンプルフレームから始めて、6 つのタスクタイプ (オブジェクト検出、オブジェクト追跡、セマンティックセグメンテーション、および関連する調整タスクタイプ) ごとに 3D ポイントクラウドラベル付けジョブを作成するプロセスを合理化します。ご自分を簡単にプライベートワーカーにして、ワーカー GUI とそのラベルツールを使用してフレームにラベルを付けることができます。

写真には千語の価値があり、動画はそれ以上です。 こちらの最初の動画では、2 つの補助ラベル機能を使用して、2 台の車に注釈を付けています。最初に、ボックスを地面に合わせます。これにより、実際に地面自体をキャプチャすることなく、地面に近いオブジェクトポイントをキャプチャできます。次に、ボックスをオブジェクトに合わせます。これにより、空白スペースなしでぴったりとフィットします。

この 2 番目の動画では、同じ手法を使用して 3 台目の車に注釈を付けています。以前より「見る」のはかなり難しいですが、それでもタイトなボックスを周りに収めることができました。次の 9 フレームを再生すると、この車が実際に動いていることがわかります。10 番目のフレームに直接ジャンプして、境界ボックスを車の新しい位置に調整します。Ground Truth は、8 つの中間フレームに自動的にラベルを付けます。これは、補間と呼ばれる補助的なラベル付け機能です。

表面をかすっただけですが、学ぶべきことがたくさんあります。今度は、皆さんの番です。

開始方法
Amazon Sagemaker Ground Truth を使用して、3D ポイントクラウドのラベル付けを次のリージョンで開始できます。

• 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、
• カナダ (中部)、
• 欧州 (アイルランド)、欧州 (ロンドン)、欧州 (フランクフルト)、
• アジアパシフィック (ムンバイ)、アジアパシフィック (シンガポール)、アジアパシフィック (ソウル)、アジアパシフィック (シドニー)、アジアパシフィック (東京)。

ご意見をお待ちしています。通常のサポート連絡先、または Amazon SageMaker の AWS フォーラムで送信できます。

– Julien