AI 技術で高校生の未来を支援する『AI-m（エイム）』~ 面接練習の革新

• Amazon API Gateway を使用してリクエストを受け付けます。

• API Gateway Lambda authorizers を通じて認可を行い、許可されたデータは Amazon Simple Storage Service (Amazon S3) に直接格納されます（図中①・②）。

• Amazon S3 への格納完了を通知し（図中③）、Amazon Simple Queue Service (SQS) にリクエストをキューイングします。
  キューイングを実施する理由としては後続処理である「文字起こし」にあります。
  そこでは Amazon ECS クラスターで処理サーバーを構成しているのですが動的スケーリングにするとプロビジョニングに時間がかかってしまい、ユーザー体験の質に影響があるためサーバー台数は固定値で運用しております。サーバー台数が固定であるが故に全サーバーが高負荷になるとリクエストが失敗してしまいます。そのためここでは Amazon SQS を用いてキューイングを行なっております。

• キューイングされたデータは AWS Lambda を介して、Amazon Elastic Container Service（ECS）上で稼働する文字起こしサーバーに渡されます (図中④～⑤）。

• Amazon ECS は、文字起こし処理をスケーラブルに実行します。

1. Amazon S3 への直接格納
   AWS Lambda の 6 MB ペイロード制限を回避するため、Amazon API Gateway から Amazon S3 への直接格納を実現しました。これにより、大きな音声データもスムーズに処理可能です。

2. 高負荷時への対応
   当初、高負荷時は Amazon ECS のスケーリングによって対応することを予定しておりました。しかし動的スケーリングを行うことでプロビジョニング時間が発生してしまい、要件としてのレスポンス速度が担保できなくなってしまいます。
   そこでサーバー台数は固定にし、その分サーバーへの負荷を Elastic Load Balancing (ELB) と前段の Amazon SQS を活用することで、システムへの高負荷を緩和。負荷分散と非同期処理を組み合わせることで、ピーク時のリクエストにも柔軟に対応しています。

このステップでは、文字起こしされたテキストを基にフィードバックテキストを生成します。生成されたフィードバックは、面接者の振り返りや改善に役立てられます。

• アプリケーションからリクエストされたテキストは、Amazon API Gateway を経由し、Amazon SQS にキューイングされます (図中⑥）。
  こちらでもキューイングを実施しているのは STEP 1 と同様に安定したシステム管理や急な高負荷などに対して対応するためです。

• キューイングされたデータは AWS Lambda で処理され、Amazon Bedrock を利用してフィードバックテキストを生成します (図中⑦）。

• Amazon Bedrock では Anthropic 社の Claude 3 Sonnet を使用し、高品質なフィードバック生成を実現しています。
  技術検証の段階では Anthropic 社に限らず Amazon Bedrock に用意してあるさまざまなモデルを対象としており、検証が進むにつれてモデルを絞っていった結果、Anthropic 社の Claude モデルになりました。
  その中でも精度面、コスト面、速度面などを考慮した上で Claude 3 Sonnet に決定いたしました。

Amazon Bedrock 利用中にエラーが発生した場合、フォールバックとして他の生成 AI にリクエストを送信する仕組みを Lambda で構築。サービスの可用性を向上させました。

モデルの使用優先順位を内部で決め、優先順にモデルへのリクエスト処理を行なっていきます。もし Amazon Bedrock 利用中にエラーが発生した場合は優先順位次点のものにリクエストを行うようにすることでなるべくシステムへの影響を軽減できるようにしております。(イメージ図)

Amazon SQS を使用することで、同時に複数のリクエストが発生しても安定したシステム動作を実現しました。