Veröffentlicht am: Nov 19, 2021
Heute kündigen wir die allgemeine Verfügbarkeit von Syne Tune an, einer Open-Source-Python-Bibliothek für die Optimierung großer verteilter Hyperparameter und neuronaler Architekturen. Es bietet die Implementierung mehrerer hochmoderner globaler Optimierungsverfahren, wie beispielsweise die Bayes'sche Optimierung, Hyperband und populationsbasiertes Training. Darüber hinaus unterstützt es die Optimierung unter bestimmten Bedingungen und mit mehreren Zielen und ermöglicht es den Benutzern, ihren eigenen globalen Optimierungsalgorithmus einzubringen.
Mit Syne Tune können Benutzer Hyperparameter- und neuronale Architektur-Optimierungsaufträge lokal auf ihrem Rechner oder per Fernzugriff bei Amazon SageMaker ausführen, indem sie nur eine Codezeile ändern. Ersteres ist ein gut geeignetes Backend für kleinere Workloads und schnelle Versuche auf lokalen CPUs oder GPUs. Letzteres eignet sich gut für größere Workloads, die mit einem erheblichen Implementierungsaufwand verbunden sind. Mit Syne Tune kann SageMaker auf einfache Weise als Backend verwendet werden, um eine große Anzahl von Konfigurationen auf parallelen Amazon Elastic Compute Cloud (Amazon EC2)-Instances auszuwerten und so die Arbeitszeit zu verkürzen, während gleichzeitig die zahlreichen Funktionen des Systems genutzt werden können (z. B. vorgefertigte Docker Deep Learning Framework-Images, EC2-Spot-Instances, Nachverfolgung von Versuchsabläufen, Virtual Private Networks).
Weitere Informationen über die Bibliothek erhalten Sie in den Dokumentationen und Beispielen im GitHub-Repository.