AWS AI Service Cards – Amazon Transcribe – Batch (英語-米国)

機械学習: Transcribe は ML と ASR テクノロジーを使用して構築されています。仕組みは次のとおりです: (1) オーディオ入力に関連する音響特性を特定します。(2) これらの特徴に基づいて、候補となる単語レベルの文字列のセットを生成します。(3) 言語モデリングを適用して候補をランク付けし、上位の文字起こしを返します。API 呼び出しの詳細については、デベロッパー用ドキュメントを参照してください。

パフォーマンスの期待: 個別の交絡する変動は、お客様のアプリケーションによって異なります。つまり、同じユースケースをサポートしていても、アプリケーションによってパフォーマンスは異なります。2 つの文字起こしアプリケーション A と B を考えてみましょう。アプリケーション A では、テレビのトークショーのビデオキャプション生成が可能で、録画チャンネルごとに複数の音声が使用でき、高品質のブームマイクがあり、バックグラウンドノイズもごくわずかです。アプリケーション B は、コンタクトセンターがお客様の通話を録音するのに役立ち、お客様がマイクの近くで話し、録音チャネルごとに 1 つの声で話し、字幕のないお客様との対話を行うようにします。A と B では入力の種類が異なるため、各アプリケーションが Transcribe を使用して完全にデプロイされていると仮定しても、エラー率は異なる可能性があります。

テスト主導の方法論: 複数のデータセットを使用してパフォーマンスを評価します。パフォーマンスの完璧な全体像を提供する単一の評価データセットは ありません。これは、評価データセットが人口動態変数的構成 (定義されたグループの数とタイプ)、交絡する変動の量 (コンテンツの質、目的への適合)、使用可能なラベルのタイプと品質、およびその他の要因によって異なるためです。Transcribe のパフォーマンスを測定するには、エンドユーザーの集団を代表するさまざまな話者からのオーディオ録音を含む評価データセットでテストします。各録音には、根拠がある文字起こしとその話者の人口動体変数的属性でラベル付けされています。データセットの全体的なパフォーマンスは、単語誤り率や F1 などのいくつかのメトリクスで表されます。F1 は、予測に含まれる正しい単語の割合 (Recall) に対して、予測された正しい単語の割合 (Precision) を均等にバランスさせたパーセンテージ値です。データセット内のグループは、人口動態変数的属性 (性別、年齢、人種など)、交絡する変数 (録音機器の種類、録音機器から各話者までの距離、後処理やバックグラウンドノイズなど)、またはその 2 つの組み合わせによって定義できます。さまざまな評価データセットは、これらの要因やその他の要因によって異なります。このため、すべてのメトリクス (全体とグループの両方) はデータセットごとに異なります。この変動を考慮して、私たちの開発プロセスでは、複数の評価データセットを使用して Transcribe のパフォーマンスを調べ、Transcribe のパフォーマンスが最も低いグループの精度を上げるための手段を取り、一連の評価データセットの改善に取り組み、その後反復処理を行います。

公平性とバイアス: 私たちの目標は、Transcribe – Batch (英語-米国) が、米国英語の話者が使用するさまざまな発音、イントネーション、語彙、文法上の特徴をうまく利用できるようにすることです。私たちは、中西部やニューヨーク市などの地域によって定義される話者コミュニティや、人種、年齢、性別などのアイデンティティの複数の側面によって定義されるコミュニティを検討しています。これを達成するために、上記の反復開発プロセスを使用します。このプロセスの一環として、さまざまな交絡要因のもとで多様な人間の話者を捉えるためのデータセットを構築します。信頼できる人口動体変数的ラベルが付けられているデータセットで定期的にテストを行っています。Transcribe は人口動態的属性全体で優れたパフォーマンスを発揮することがわかりました。一例として、年齢、祖先、性別、地域の方言 (女性+ヨーロッパ人、男性+45 歳未満など) によって定義された、65 の人口統計グループを対象とした自然な発話のデータセットでは、F1 の単語認識精度は、すべての話者グループで 92％ 以上であることがわかりました。話者分割 (ダイアライゼーション) を有効にしたトランスクリプションでは、同じデータセットで、すべての話者グループでダイアライゼーションの精度が 98% 以上であることがわかりました。結果は Transcribe、お客様のワークフロー、評価データセットに依存するため、お客様自身のコンテンツで Transcribe をさらにテストすることをお勧めします。

説明しやすさ: Amazon Transcribe が音声を文字起こしすると、同じ文字起こしの異なるバージョンが作成され、各バージョンに信頼性スコアが与えられます。お客様が代替の文字起こしを有効にした場合、Amazon Transcribe は低い信頼性レベルを持つトランスクリプトの代替バージョンを返します。お客様は、オーディオ入力ごとに生成された候補となる単語やフレーズをより深く理解するために、代替の文字起こしを確認することができます。

堅牢性: 多くの個人にわたるさまざまな種類の変動を捉える大規模なトレーニングデータセットを使用するなど、さまざまな手法を用いて堅牢性を最大化しています。Transcribe ASR への理想的なオーディオ入力には、録音品質が高く、バックグラウンドノイズが少なく、室内の残響が少ないオーディオなどがあります。ただし、Transcribe は、入力が理想的な条件と異なる場合でも回復力があるようにトレーニングされており、ノイズの多い複数の話者の設定でもうまく機能します。

プライバシーとセキュリティ: Amazon Transcribe はオーディオ入力データのみを処理します。オーディオ入力は、サービスによって返される出力に含まれることはありません。入力と出力がお客様間で共有されることはありません。お客様は、AWS Organizations または当社が提供するその他のオプトアウトメカニズムを通じて、顧客コンテンツに関するトレーニングをオプトアウトできます。詳細については、AWS サービス規約のセクション 50.3 および AWS データプライバシー FAQ を参照してください。サービス固有のプライバシーとセキュリティ情報については、Transcribe FAQ のデータプライバシーセクションと Amazon Transcribe セキュリティ ドキュメントを参照してください。

透明性: ユースケースに応じて、Amazon Transcribe をワークフローに組み込んでいるお客様は、ML や ASR テクノロジーの使用をアプリケーションの影響を受けるエンドユーザーやその他の個人に開示し、エンドユーザーがワークフローを改善するためのフィードバックを提供できるようにすることが推奨されます。お客様は、ドキュメントでこの AI Service Card を参照することもできます。

ガバナンス: 私たちは、AWS AI サービスを責任ある方法で構築するための厳格な方法論を採用しています。これには、設計段階で責任ある AI を組み込むという逆算的な製品開発プロセス、責任ある AI サイエンスとデータの専任の専門家による設計コンサルティングと実装評価、日常的なテスト、お客様とのレビュー、ベストプラクティスの開発、普及、およびトレーニングが含まれます。

1. 録音条件: ワークフローには、マイクから遠く離れて話したり、ノイズの多い条件で話すなど、録音条件での変動に対処する手順を含める必要があります。変動が大きい場合は、すべてのエンドユーザーがアクセスできるヘルプや指示を提供し、入力を定期的かつランダムにサンプリングして録音品質を監視することを検討してください。
   
   
2. サンプルレート: お客様には、入力音声のサンプルレート (低帯域幅 (8kHz) または広帯域 (16kHz) 入力のいずれか) を指定するオプションパラメータがあります。
   
   
3. カスタム語彙: Transcribe は、さまざまな話者コミュニティ (方言の地域、人口動態変数に基づくグループ) で使用されている語彙を認識します。お客様がブランド名や固有名詞、頭字語など、領域や状況固有の単語を追加でサポートしたい場合、お客様はカスタム語彙をデプロイしてそのような単語の文字起こしの精度を向上させることができます。詳細については、カスタム語彙のドキュメントを参照してください。
   
   
4. カスタム言語モデル: お客様のアプリケーションが、単一の単語よりも複雑な領域固有の音声を処理する必要がある場合、お客様はカスタム言語モデルを使用して文字起こしの精度を向上させることができます。例えば、気候科学の講演の録音の文字起こしを行う場合、言葉が出てくる文脈 (「ice flow (氷の流れ)」と「ice floe (浮氷)」など) を学習することで、文字起こしの精度を高めることができる可能性があります。この場合、お客様はカスタム言語モデルをトレーニングして専門用語を認識させることができます。詳細については、カスタム言語モデルのドキュメントを参照してください。
   
   
5. 語彙フィルタリングと PII リダクション: これらの最適化により、文字起こしで生成される言語のセキュリティとプライバシーを向上させることができます。語彙フィルタリングにより、お客様は、顧客定義のリストに基づいて、機密性の高い単語や対象者に適さない単語を文字起こしの結果から隠したり、削除したりできます。PII リダクションにより、お客様は、Transcribe – Batch (英語-米国) で識別される PII タイプに基づいて、PII が削除された文字起こしを生成できます。これらには、名前、住所、クレジットカード番号、SSN などが含まれます。PII タイプの完全なリストや、規制対象のワークロードに PII リダクションを使用する際の考慮事項などの詳細については、語彙フィルタリングと PII リダクションのドキュメントを参照してください。
   
   
6. 人間による監視: お客様のアプリケーションワークフローに、個人の権利や重要なサービスへのアクセスに影響する決定など、高いリスクまたは機密性の高いユースケースが含まれる場合は、必要に応じて人間による確認をアプリケーションワークフローに組み込むことをお勧めします。ASR システムは、完全に手動のソリューションによって生じる労力を軽減し、人間がオーディオコンテンツを迅速に確認および評価できるようにするツールとして機能します。
   
   
7. 一貫性: お客様は、許可されているワークフローのカスタマイズやオーディオ入力の種類、および Transcribe の出力を評価するために人間がどのように自分の判断を使用するかについて、ポリシーを設定して実施する必要があります。これらのポリシーは、人口動態変数に基づくグループ全体で一貫している必要があります。オーディオ入力を一貫性なく変更すると、さまざまな人口動態変数グループに不公平な結果をもたらす可能性があります。
   
   
8. パフォーマンスドリフト: お客様が Transcribe に送信する音声の種類が変更されたり、サービスが変更されたりすると、出力が異なる場合があります。これらの変更に対処するために、お客様は Transcribe のパフォーマンスを定期的に再テストし、必要に応じてワークフローを調整することを検討する必要があります。
   

• サービスドキュメントについては、Transcribe を参照してください。
• サポートされている言語のリストについては、対応言語を参照してください。
• コンタクトセンター分析ワークフロー設計の例については、Amazon Transcribe Call Analytics を参照してください。
• プライバシーおよびその他の法的考慮事項の詳細については、法務、コンプライアンス、プライバシーを参照してください。
• ワークフローを最適化する方法については、AWS カスタマーサポート、AWS プロフェッショナルサービス、Amazon SageMaker Ground Truth Plus、Amazon Augmented AI を参照してください。
• AWS AI サービスカードに関する質問やフィードバックがある場合は、こちらのフォームにご記入ください。
  
  

公平性とバイアスとは、AI システムがどのようにしてユーザーのサブポピュレーション (ジェンダー別、民族別など) に影響を与えるかを指します。

説明しやすさとは、 AI システムのアウトプットを理解して評価するメカニズムを持つことを指します。

堅牢性とは、確実に AI システムが動作することを保証するメカニズムを持つことを指します。

プライバシーとセキュリティとは、データが盗難や漏洩から保護されていることを指します。

ガバナンスとは、組織内で責任ある AI プラクティスを定義、実装、実施するためのプロセスを持つことを指します。

透明性とは、利害関係者がシステムの使用について情報に基づいた選択を行えるように、AI システムに関する情報を伝えることを指します。