投稿日: Nov 26, 2018
Dynamic Training はオープンソースの深層学習プロジェクトで、クラウドの伸縮性とスケールを活用してモデルトレーニングにかかるコストと時間を削減することができます。Dynamic Training の最初のリファレンス実装は Apache MXNet に基づいており、Dynamic Training with Apache MXNet でオープンソース化されています。
従来の分散型トレーニングには、トレーニングプロセスの全期間を通じてトレーニングジョブをアクティブに実行する、固定されたホストのセットが必要でした。Dynamic Training ではこの要件が緩和されており、トレーニングプロセス全体を通じてトレーニングクラスター内のホスト数の増減が可能になっています。つまり、クラウドのコンピューティングの伸縮性を低コストで活用したトレーニングジョブが可能になります。Dynamic Training を使用すると、精度を下げることなく EC2 スポットインスタンスやリザーブドインスタンスを伸縮自在に増減でき、トレーニングのコストを大幅に削減することができます。使用を開始するには、Dynamic Training with Apache MXNet on AWS github リポジトリにアクセスしてください。