PulpoAR uses machine learning to build an augmented reality shopping experience for beauty products

Rayan Godoi 氏が別のスタートアップで働いていたとき、彼と将来の共同創設者たちは、壁に書かれた文字を見始めました。この壁は本物でしたが、文字はその上にコンピューターで生成された画像を重ね合わせたものでした。拡張現実こそが未来の道だと気づいたのです。当時の彼らの仕事は、デバイスをオンラインの世界に接続することでした。「2014 年に拡張現実を使って AR フィルターを構築する方法を学びました。そして、そのテクノロジーが現実世界とデジタル世界を本当に融合させていることに気付きました」と Godoi 氏は回想します。

目の当たりにしている Google、Apple、Facebook などの業界大手が行っている AR や VR 技術への投資が、突然、ますます理にかなったものであると感じました。世界はデジタルと現実のハイブリッドに向けて急速に加速しており、Godoi 氏と彼のパートナーは、その (拡張) 現実の創造に一役買いたいと考えました。「私たちはこれら 2 つの世界の融合を加速させたいと思っています。私たちはいずれかの分野から始めなければなりませんでしたが、美容の市場には大きな可能性があると気付きました」と Godoi 氏は説明します。

「企業がすでに求めていたために、すぐに取り組みを開始できた主なアプリケーションの 1 つは、拡張現実を使用した製品の仮想試着でした」と、2018 年の時点でのチームの気付きについて彼は振り返ります。

その後まもなく、PulpoAR が誕生しました。「ショッピングの道のりは崩壊しました」と Godoi 氏は説明します。e コマースは昨年、世界の小売売上高の 20% 近くを占め、過去最大のシェアを記録しました。しかし、消費者がオンラインで買い物をする場合には新製品を試着することができません。それが多くの買い物客、特に美容業界での買い物客の会計ボタンのクリックを妨げる障壁となっています。そこで PulpoAR の出番です。「私たちは、お客様がいつでもどこでも、正確かつリアルにメイクアップを試着できる拡張ショッピングソリューションを開発しています」

店舗での美容製品の試着体験を忠実に再現できるサービスを構築するために、PulpOAR チームは数え切れないほどの画像を収集し、機械学習モデルにそれらを分析してプログラムで識別するように学習させる必要がありました。「当社はさまざまなプラットフォームを使用していました。私たちはさまざまな方法でモデルをトレーニングしていました。写真にタグを付けて、写真を見て認識するように学習させました。しかし、別の方法でこれをできることに気づき、AWS から入手できるツールを使い始めました」と最高技術責任者である Bugrahan Bayat 氏は回想します。

現在、チームは Amazon SageMaker と AWS Lambda を使用して ML モデルを実行しています。SageMaker は顔検出、セグメンテーション、画像処理でアルゴリズムをトレーニングし、Lambda はサービスのサーバーレスコンピューティングプラットフォームとして機能し、シームレスな制作とスケールを実現しています。

PulpoAR はオペレーションの 100% を AWS で行っています。ユーザーが撮影した写真は、Lambda 関数でアップロード、分析されてからお客様のブラウザに送り返されます。「当社のテクノロジーには大量のデバイス処理能力が必要なため、クラウドソリューションは当社にとって非常に重要です。AWS のおかげで、どのデバイスでも同じ処理能力にアクセスできるようになったので、ユーザーはより良い結果を得ることができるようになりました」と Bayat 氏は説明します。

AWS のツールのサーバーレス処理能力と信頼性が PulpoAR の成長の鍵となりました。AWS がなければ、「スケールはまったく不可能だったでしょう。高品質のコンピュータービジョンを実現するには、何百万枚もの画像を実行する必要がありました。これは AWS の機能でのみ可能で、それは確かです」と Godoi 氏は語っています。

現在、同社は Sephora、MAC Cosmetics、Flormar などのパートナーを通じて、月間 200 万回の試着を処理しています。「月間 6,000 万回まで増やしたいと思っています。バックエンドのスケーラブルなアーキテクチャがあってこそ、それを達成できます」と Bayat 氏は言います。

これまでの間、自社のテクノロジーを、行動に基づく推奨エンジンなど、他のイノベーションと組み合わせる方法を検討しています。「髪が黒く、あごが広く、目が青い人がこの口紅を 30 秒以上試着している場合、このアイライナーをお勧めします。しかし、その人が青い目や黒い髪でない場合、またはあごが狭い場合は、別の製品をお勧めします。生体認証データと行動データを組み合わせて新製品を推奨できれば、近い将来、非常に興味深い展開になると考えています」と、PulpoAR の成長部門責任者である Huseyin Oguz 氏は説明します。

同社はスキンケア分析への拡大も目指しています。「拡張現実を利用して、しわや肌の痕を確認し、肌の健康を増進するための行動や製品、サービスを提案したいと考えています」と Godoi 氏は説明します。

Godoi 氏の考えでは、これらのすべては、会社にとっても人々にとっても、まだ始まりに過ぎません。「当社は最初の製品であるメイクアップの仮想試着を発表し、その後、事業を拡大し、収益を生み出し、新製品の開発を続け、現実世界とデジタル世界の融合を加速させることにしました」ヘルスケア、戦闘訓練、観光、没入型エンターテイメントなど、様々な可能なアプリケーションとともに、今から 10 年後には、拡張現実と仮想現実が「偏在し、どこにでも存在するようになります。誰もがこの種のソリューションを使うようになるでしょう」と Godoi 氏と同僚たちは確信していますが、不思議なことではありません。