Amazon Rekognition に関する最近の研究論文および関連記事についての考察

昨日発表された研究論文と関連記事は、Amazon Rekognition の精度について触れています。私たちはフィードバックを歓迎しており、実際に常に人々からフィードバックを得ていますが、この研究論文と記事は誤解を招きやすく、誤った結論に導いています。このブログ記事が、いくつかの誤解や不正確さを明確にするのに役立つことを願っています。

多くの場合、精度は絶対的な尺度と考えられます。たとえば、数学の試験のパーセンテージスコアでは、それぞれの答えは正しいか、間違っているかのどちらかです。 機械学習システムの精度を理解、解釈、比較するには、何が予測されているか、予測の信頼性、どのように予測を使うべきかを理解することが重要であり、これを単一の絶対数またはスコアから収集することは不可能です 。

何が予測されているか: Amazon Rekognition は、コンピュータービジョンと呼ばれる一種の機械学習を使用して、2 つの異なる顔機能を提供します。最初の機能は顔分析です。特定の画像やビデオについて、このサービスは顔がどこに表示されているか、および画像の特定の特性 (画像に笑顔、めがね、口ひげ、顔の性別が含まれているかなど) を知らせることができます。こうした属性は通常、写真のカタログを検索するのに役立ちます。Amazon Rekognition の 2 番目の機能は、一般に顔認識と呼ばれている機能です。これは、顔分析とは明確に異なる機能であり、似ているように見える顔を照合します。これは、一部の電話のロックの解除、建物に入る人の認証、または対象となる人物を識別するために法執行機関がフィールドを絞り込むために使用するのと同じアプローチです。後者は、昔の映画に登場する写真の本をめくる探偵に似ていますが、はるかに高速です。

顔分析と顔面認識は、基盤となるテクノロジとそれらをトレーニングするために使用されるデータの点でまったく異なります。そうした目的を意図したアルゴリズムではないので、顔認識の精度を測定するために顔分析を使用することは軽率です (説明は、ドキュメントをご覧ください)。

信頼性: 顔分析と顔認識の両方について、Amazon Rekognition は、特定の結果がどの程度の信頼性であるかについても説明します。すべての機械学習システムは本質的に確率論的なので、信頼スコアはシステムがその結果にどれだけ信頼を置いているかの尺度と考えることができます。信頼度が高いほど、結果を信頼できます。結果を解釈するために使用される信頼度閾値について透明かつ思慮深くなければ、顔分析または顔認識のいずれかの品質を解釈することは不可能です。この調査で使用されている閾値はまだ分かっていませんが、以下に示すように、推奨される信頼水準で実行した場合の結果は大きく異なります。

予測のユースケース: 信頼性と組み合わせることで、精度を適切な文脈でとらえるのに役立つので、機械学習による予測の使用の意図は重要です。たとえば、写真のカタログで「サングラス」を含む画像を検索するために顔分析を使用する場合、完全に一致しないものが含まれるとしても、検索結果に表示する画像の数を増やすことが望ましい場合があります。このユースケースにおける不完全な結果のコストは低いので、より多い結果とそれらの結果のより少ない手作業による検査と引き換えに、より低い信頼レベルが受け入れられることが多くなります。ただし、捜査で関心のある人物を識別するために顔認識を使用する場合は、法執行機関は推奨されている 99% の信頼度閾値 (文書化されているとおり) を使用し、あくまでも捜査の 1 つの要素としてのみ使用することが必要です。

Amazon Rekognition の「テスト」についてどのように考えるかについての上記の文脈で、私たちはこの最新のレポートとその誤った主張にたどり着きました。

この研究論文は「商業的な顔認識製品のパフォーマンスの脆弱性をさらす」ことを目指していますが、実際には代わりに顔分析を使用しています。

上述したように、顔分析と顔認識は 2 つの別々のツールです。顔認識の場合と同じ方法で顔を照合するために顔分析を使用することはできません。これは単に意味や定義の問題ではありません。2つの異なる目的を持つ 2 つの異なる機能なのです。顔分析では、主に画像のフィルタ処理や整理に役立つ一般的な特徴 (髪の毛、笑顔、眉をひそめる、性別など) しか見つけることができません。顔を一意に特定する知識は持ちません (これを画像からリバースエンジニアリングすることはできません)。対照的に、顔認識は、顔を照合するための顔の一意な特徴に焦点を合わせており、顧客が持ち込むデータセット内の顔と照合するために使用されます。顔認識を行うために顔分析を使用することは、一意の個人を識別するには不正確で推奨されない方法です。  これについてはドキュメントで説明していますが、この問題について混乱している顧客からの報告は受けていません。

その研究論文は、Amazon Rekognition が低品質の顔分析結果を提供していると述べています。しかし、これは、私たち自身の広範囲にわたるテストや、サービスを利用している顧客から聞いたことを反映していません。

まず、この研究者達は古いバージョンの Amazon Rekognition を使用しています。私たちは、11 月に大幅な改善を行っています。次に、AWS が Amazon Rekognition の最新バージョンを使用して実行したテストで、12,000 以上の画像で性別分類を実行するために顔分析を実行しました。6 種類の民族 (南アジア、ヒスパニック、東アジア、白人、アフリカ系アメリカ人、中東) にわたる 1,000 人の男性と 1,000 人の女性をランダムに選択しました。すべての民族で、性別分類の精度に有意差は見られませんでした。顔認識の広範なテスト (先に説明した、顔認識を行うための論理的かつ推奨される方法) では、Amazon Rekognition を使用して、100 万枚の画像の Megaface データセットで、議会のウェブサイトからの写真を評価しました。そして、推奨される 99% の信頼度閾値で偽陽性の一致はゼロでした。問題の研究論文は推奨される顔認識機能を使用しておらず、彼らの研究で使用した信頼水準を共有しておらず、研究の結果を再現することができませんでした。 私たちは、これらの研究者と協力して、この研究を手助けしたいと考えています。さらに重要なことは、顔認識における最先端技術を継続的に向上させる手助けをすることです。

内部のテストや単一の「ある時点」の結果以外にも、顔分析や顔認識のための一連の標準化されたテストの確立についての学術界との協力、指針や法令制定に関する政策立案者との連携にも非常に関心があります。アメリカ国立標準技術研究所 (NIST) による既存の標準化されたテストの 1 つでは、単純なコンピュータビジョンモデルを単独でテストできます。ただし、Amazon Rekognition は内部で複数のモデルとデータ処理システムを使用しているため、単独でテストすることはできません。より洗練されたシステムを客観的にテストし、より広い学界と共にデータセットとベンチマークを確立することを可能にするために、NIST と協力して彼らのテストを改善する機会を歓迎します。

この研究論文は、Amazon Rekognition が改善されていないこと、そして AWS が顔認識に関する問題の議論に関心がないことを示唆しています。

これは誤りです。現在、Amazon Rekognition の 4 度目の重要なバージョンアップデートを行っています。私たちは、顔認識に関する懸念を強く認識しており、他のすべてのサービスと同様に、継続的な改善に対して熱意をもって取り組んでいます。私たちは、AWS Machine Learning Research Grants を通じて研究プロジェクトやスタッフに資金を提供し、Amazon Rekognition を継続的に改善するために多額の投資を行っています。こうした改善は、検証され次第、すべての地域の顧客にご利用いただけるようになります。そして、すべての AWS のサービスと同様に、Amazon Rekognition を更新および改善していきます。これまでのところ、こうした結果について議論、更新、協力するという当社からの直接の申し出は、これらの研究者たちによって認められたり受け入れられたりしていません。

無責任に使用された場合、顔認識技術にはリスクがあることを私たちは理解しています。これはコンピュータを含む多くの技術に当てはまります。 そして、人々はこれを心配しています。 私たちも、です。無責任にサービスを利用している、または人々の市民権を侵害していると当社が判断した場合、当社が当社のサービスの利用を停止するのはそのためです。また、法執行機関が顔認識の結果を使用するのは結果の信頼水準が 99％ 以上である場合に限り、その場合でも、人間主導の意思決定における多くのアーティファクトの 1 つとして使用されるように文書で明確に推奨している理由でもあります。 ただし、私たちはこの技術が社会にもたらす恩恵について楽観的な見方をしており、子供の人身売買を阻止し、行方不明の子供を両親と再会させ、より良い支払い認証を提供し、クレジットカード詐欺を減らすという顔認識が役立っている事実をすでに確認しています。‎そして、今日まで (サービスをリリースしてから 2 年以上)、法執行機関による Amazon Rekognition の誤用は報告されていません。

新技術に対する不安への答えは、サービスの使用方法と矛盾する「テスト」を実行することではなく、テストに関する誤っていて、誤解を招く結論をニュースメディアを通じて増幅することでもありません。私たちは、この重要な技術を進化させながら、継続的に改善するために、研究者、学者、そして顧客と協力し続けることを切望しています。

Matt Wood 博士、AWS 人工知能担当ジェネラルマネージャー