AWS Startup ブログ

【開催報告&資料公開】ML@Loft #1

AWS ソリューションアーキテクトの針原 (Twitter: @_hariby) です。先日スタートアップとデベロッパーのための場所、AWS Loft Tokyo において、新たな機械学習イベントが開催されました。本ブログではこの ML@Loft の第一回の様子についてお伝えしたいと思います。次回 5/13 (月) のお申し込みも受け付けています [ML@Loft #2]。

ML@Loft は、機械学習・深層学習システムを AWS 上でプロダクション運用しているデベロッパー・データサイエンティストのための、コミュニティイベントです。当日の様子は有志の運営メンバーにより Togetter にまとめて頂いたように、機械学習のサービス導入のノウハウや様々なツラミについて、赤裸々な意見と熱い議論が繰り広げられました。

当日のタイムテーブル

当日のスケジュールは、前半に Lightning Talk (LT)、後半にラウンドテーブルという構成で進められました。前半に LT 登壇して頂いた方が、後半のラウンドテーブルのファシリテーターを務め、参加者のお悩み事をヒアリング・解決するという流れです。

19:00 – 19:40: LT

1. 宇都宮 聖子・針原 佳貴 (アマゾン ウェブ サービス ジャパン株式会社)「ML@Loft について」

AWS Loft Tokyo では2018年のオープン以来、様々なイベント・セミナーが開催されています。機械学習にまつわるイベントも過去に何回か開催されていて、AWS DeepRacer が発表される前にロボカーをデモで走らせたものや、囲碁 AI・将棋 AI について語る会などが非常に盛り上がりました。そして、SA として日々スタートアップで機械学習に取り組まれているお客様とお話しする中で、AWS デベロッパーの方々同士で、気軽に機械学習・深層学習についてディスカッションできる場所があるといいよね、という声を多く耳にするようになりました。発表を聞くだけでなく、積極的にディスカッションに参加して、悩みをぶつけたりその場で解決できる場所。普段は聞けない本音・つらみを他社のデータサイエンティスト・エンジニアと共有して、今後の仕事に活かせる場所。この度多くの方、特に登壇されるファシリテーターの方々にご協力頂き ML@Loft 第一回を開催できることになりました。定期開催を予定していて、目標は月1回です。コミュニティの皆様とともによりよいイベントを作っていければと思います。

2. 緒方 貴紀 氏 (株式会社ABEJA) 「機械学習の社会実装を加速するための〇〇」

株式会社ABEJA の提供する AI Platform と AI-Ops の恩恵についてイントロで触れた後、機械学習プロダクトの開発・運用におけるツラミや、ML における CI/CD を実現するサイクルを回すために注意すべきポイントについてお話し頂きました。継続的な機械学習ワークフローの運用を成功させるためには、データ収集・アノテーションの量と質が精度に与える影響が重要であることや、運用時の定期的な精度検証のフローについて、多くの知見を Head of Research 緒方さんに話してもらいました。

3. 大竹 雅登 氏・辻 隆太郎 氏 (dely株式会社)「Upgrade UX with Data」

これまで、既存サービスの改善にデータを用いるという考え方は一般的でしたが、これからはパーソナライズすることを前提に、データがなくては成り立たないサービスを作るのが重要だ、というのが CTO 大竹さんのメッセージでした。これにより実現されるのは、ユーザーが能動的に選ばなくてもパーソナライズされた商品が届くサービスです。その例として Stitch Fix やクラシルを挙げて、これらのサービスを作るために重要だと考えられる4つのポイント (以下のスライド参照) を説明されました。

では、具体的な機械学習システムとしてその考え方をどのように実装しているのか。データサイエンティスト辻さんから4つの観点についてお話し頂きました (こちらも詳しくは以下のスライドを参照下さい)。データから価値を生むため、分析で得られた知見をプロダクトへの安定的なフィードバックループに組み込むためのアーキテクチャについて、議論されました。そして、Amazon SageMaker を中心に構成された柔軟性の高い機械学習ワークフローについて紹介頂きました。

4. 吉田 勇太 氏 (株式会社ブレインパッド) 「機械学習システム開発プロジェクトの予算・予定・人情」

ブレインパッドにおける多くの機械学習プロジェクトでの経験を踏まえ、リードデータサイエンティスト吉田さんからは機械学習プロジェクトを成功に導くための期待値調整について話をして頂きました。この一見取り留めのないテーマについて、予算の出所、予算取得のスケジュール、PoC/MVP の要求水準、実運用につなげるためのチーム構成とった観点からその本質をあぶり出して頂きました。さらに、スケジュール感を共有する上での注意点、機械学習の導入を進めるために人の心を掴むことの重要性など、多方面での配慮が欠かせないという味わい深い内容でした。

19:40 – 20:40: ラウンドテーブル

上記 LT 登壇の方々に加え、岩田 匠 氏 (株式会社ABEJA)・上総 虎智 氏 (株式会社ブレインパッド) にもファシリテータとしてラウンドテーブルにご参加頂きました。たまたま来日していた SageMaker Ground Truth のプロダクトマネージャーである Vikram Madan も加わり、以下のような内容のディスカッションが行われました。書ききれないのでごく一部ですが、当日の参加者共有メモから質問・回答形式でご紹介します。

  • オンプレ環境からの移行について何に注意すればいいか？
    • 構造化・非構造化データの扱いや、社内の承認プロセスなどに注意が必要。DBのドキュメントがないと構造把握が大変。
  • AWS のサービスを使ってどういうメリットが有るか？
    • Amazon SageMaker でアルゴリズムの revision 管理が容易になったり、AWS Step Functions で ML ワークフローの管理ができる。
  • レシピのアノテーション大変ですよね？
    • レシピを全件管理しているからこそ、全てのレシピをデータ化できている。統計的に得られたデータと人力で得られたデータの F 値を見ている。
  • レシピへのタグづけのルールなどは整備しているか？
    • 完全に人に任せているわけではなく、チェックを入れている。ほんとは完全に自動化したい。食材の成分表示は客観データとして。タグづけには主観的なイメージを入れている。
  • 機械学習エンジニアの採用時点でどこまでスキルを要求するか？
    • 手をガンガン動かして、データのクリーニングからやってくれる人。
  • dely株式会社 辻さんの話していた EDA スクラムって？
    • 検索エンジニアが成果が評価されづらいと嘆いていたため、成果を見える化する場を作ろうとできたもの。サーベイした論文やその実装についてなどを共有している。
  • ETLとか、分析基盤をこれから入れていきたい、どんなものが流行っている？
    • AWS だと Amazon S3 + Amazon Athena とか、Amazon Redshift が分析基盤の選択肢。ETL は AWS Glue で。
  • 機械学習プロジェクトを受けるにあたって、成功確率を高めるために何に注意すればいいか？
    • モデルの権利をどっちが持つ、というのが一番難しい。ここの点は最初から話しておくべき。
    • モデルの精度が出なくてプロジェクトがコケることより、期待値調整でコケることの方が多い。データをもらってくる時点で握りが必要だが、その時点で無理があると破滅する。
    • そもそもプロジェクトコントロールを誰がやるべきかという問題がある。
    • 受託の時にお金がどこから出るかはお客様のやる気次第。やる気があるなら業務改革費とか、IT予算から出る。
  • ライブラリ、バージョン管理など悩みがある。ライブラリのバージョンアップをしたことによってモデルが動かなくなって困るときがある。
    • ABEJA の場合は、job definition によって管理している。Amazon SageMaker でも training job の履歴が残る。実行環境はコンテナで管理するのがベストプラクティスで、Amazon SageMaker もそういう実装になっている。
  • 業界ごとの ML 利用の典型例などあるか？
    • そもそも何をしたいのをじっくり見定めてほしい、MLは数ある解決策のうちの1つという位置づけ。
    • その上で、例えば金融・ヘルスケアだと法令に準拠したセキュリティ要件を満たすアーキテクチャ、自動車だとエッジ推論のための低レイテンシーな実装、などが考えられる。このあたりの話は AWS Summit Tokyo のセッションでも取り上げられる予定。
  • 推論のスケーラビリティはどのように考えればいいか？
    • メトリクスを監視して、ある基準値を越えたときにオートスケーリングさせればいい。

など、多くのディスカッションがありました。ご参加頂いた皆様、改めてありがとうございました。次回の ML@Loft #2 は、5月13日 (月曜日) 開催予定です！今後も ML@Loft を盛り上げていけるようご協力頂けると幸いです。

このブログの著者

針原 佳貴 (Yoshitaka Haribara)

スタートアップソリューションアーキテクト、好きなサービスは Amazon SageMaker、趣味はドラムです。