AWS Summit Japan 展示「AI メイクさん」のウラガワ ! - AI エージェントで希望のメイク 3D モデルを作成

みなさんこんにちは！AWS プロフェッショナルサービスの大野、成瀬、パートナーソリューションアーキテクトの喜多です。今回は 2025 年 6 月に行われた AWS Summit Japan - Builders Fair に出展した「AI メイクさん」で利用されている技術について詳細に解説していきます !

X ポスト » | Facebook シェア » | はてブ »

builders.flash メールメンバー登録で、毎月の最新アップデート情報とともに、AWS を無料でお試しいただけるクレジットコードを受け取ることができます。

AI メイクさんはユーザーが試したいメイク (例 : K-pop アイドル風メイク、リップを赤くメイクする等) の要望を AI エージェントにチャット形式で伝えることで、実際に自分の顔に要望通りのメイクがされた 3D モデルを生成することができるアプリケーションです。「新しいメイクに挑戦したいけど、どんなメイクが似合うかわからない」「こんなメイクを試してみたいけど、時間とお金がかかって挑戦できない」「メイクが似合っているかいろんな視点から確認したい」といった課題を解決します。

ここからは、AI メイクさんで実装されている機能について詳しく説明していきます！AI メイクさんで実装されている機能は主に以下になります。

1. AI エージェント: ユーザーとの自然言語での対話を通じて、メイク済みの 3D モデルを生成するために必要な情報を収集するエージェントです。必要に応じて以下の Tool を自律的に実行します。
   
   a. メイクのトレンドを検索する Web Search Tool
   b. 要望のメイク画像を取得する Image Search Tool
   c. 要望のメイク画像がなかった場合に、生成 AI によって要望通りのメイク画像を生成する Gen Makeup Image Tool
   d. 3D モデル生成処理を実行する Gen 3D Makeup Model Tool
   
   
2. メイク転写: Makeup Transfer を使用して、メイク画像からメイク成分だけを抽出し、ユーザーの顔画像に自然な形でメイクを転写します。
   
   
3. 3D モデル生成: Gaussian Splatting を使用して、顔画像から 3D モデルを生成します。
   

AI エージェントのみの知識では十分な情報がないと AI エージェントが判断した場合には、Web Search Tool を利用してウェブ上から関連する情報を取得します。実装方法としては Tavily MCP を利用しています。例えば、この機能はユーザーが「最新のメイクのトレンドを知りたい」といった要望をした場合に活用されます。ウェブから最新のメイク情報を収集し、AI エージェントはその情報を基にメイクアップ用プロンプトを生成します。このプロンプトは、1.c の Gen Makeup Image Tool のインプットとなります。

ユーザーの要望に沿うメイク画像をあらかじめ準備した画像から検索する Tool です。Amazon OpenSearch Service を使ってベクトル化したメイク画像の説明文に対し、ユーザーの要望をクエリとして検索を行います。要望に沿ったメイク画像が存在すれば対応する画像を取得して 1.d 3D モデル生成処理を開始します。メイク画像が見つからなければ、1.c の Gen Makeup Image Tool を使用してメイク画像を生成します。

ユーザーの要望を満たすメイク画像を画像生成 AI を用いて作成する Tool です。AI エージェントは、ユーザーとの対話を通して、ユーザーの要望に沿ったメイク画像を生成するためのプロンプト（例: ギャル風メイク → Japanese gyaru-style makeup to this exact face with matte foundation, dramatic winged eyeliner, ...）を作成します。同時に AI エージェントは、ユーザーの要望が顔全体に対するメイクか顔のパーツごとに対するメイクかによって画像生成に使用するモデルを選択し、Tool を実行します。顔画像全体のメイク画像生成には Amazon Bedrock を通じて、 Stable Diffusion 3.5 Large、顔のパーツごとのメイク画像生成には Amazon Nova Canvas の Inpainting 機能 を利用しています。

1.a から 1.c の Tool を利用してメイク画像を準備することができたら AI エージェントはこの Tool を実行し、Step Functions で実装されている 3D モデル生成処理を実行します。3D モデル生成処理は大きく分けて、ユーザーの顔画像にこれまでの過程で取得したメイク画像からメイク情報を反映する Makeup Transfer と、複数枚の画像から 3D シーンを再構成する Gaussian Splatting があります。

ユーザーが顔画像をアップロードすると、それをトリガーとして 3D Gaussian Splatting を用いて 3D モデルを生成します。Gaussian Splatting は、複数枚の画像から 3D シーンを再構成する最新の手法で、短時間でフォトリアルな 3D モデルを生成できるのが特長です（詳細は こちらの記事 をご覧ください）。AWS Summit ではデモにかかる時間を考慮して、1 枚の画像のみを撮影し、360° Image Generation 手法を用いて生成した 120 枚の 360 度画像を使って学習を行っています。動画や複数枚の写真を撮影することで、さらに高品質な 3D モデルの生成も可能です。Gaussian Splatting は こちら の実装を、360° Image Generation は こちら の実装を参考にしました。

メイクの要望を反映した 3D モデルを高速で生成するために、メイク済み画像を用いて元画像 3D モデルから追加で学習を行います。この際、形状に関係するパラメータを固定し色情報のみを再学習することで、わずか 15 枚のメイク済み画像から短時間でメイクの情報を反映できます。この15 枚のメイク済み画像は 3.a で生成された 120 枚から抽出して並列に Makeup Transfer を適用して作成されます。この工夫により、120 枚の 360 度画像にメイクを行って再度メイク済みモデルを学習するのに比べ、処理時間を約 1/6 (約 2 分 → 20 秒) に短縮できました。

いかがだったでしょうか ? Strands Agents を用いた AI エージェントや Amazon Bedrock、Makeup Transfer と Gaussian Splatting といった最新手法を活用することで、AI と対話して理想のメイクを実現する 「AI メイクさん」を実装することができました。

今後の展望としては、メイク画像の出来栄えをエージェント自身に判断させ、自律的に評価改善サイクルを実行させたり、具体的な化粧品とメイク画像を紐づけて化粧品単位でのメイクを実施するとともに化粧品のレコメンドをおこなうといったことが挙げられます。皆さんもここで紹介した技術を参考に面白いアプリケーションを作ってみてください。