Используйте Apache Spark в Бессерверной конфигурации Amazon EMR непосредственно из Студии Amazon SageMaker
Теперь вы можете анализировать данные в петабайтном масштабе и использовать машинное обучение в Бессерверной конфигурации Amazon EMR непосредственно из блокнотов Студии Amazon SageMaker. Бессерверная конфигурация EMR автоматически выделяет и масштабирует необходимые ресурсы, позволяя сосредоточиться на данных и моделях без необходимости настраивать, оптимизировать кластеры или управлять ими. Бессерверная конфигурация EMR автоматически устанавливает и настраивает фреймворки с открытым исходным кодом и обеспечивает оптимизированную по производительности среду выполнения, совместимую со стандартным открытым исходным кодом и более быструю по сравнению со стандартным открытым исходным кодом.
Начиная с этого выпуска, можно создавать и просматривать приложения с Бессерверной конфигурацией EMR прямо в визуальном интерфейсе Студии SageMaker и подключаться к этим приложениям несколькими щелчками мыши. После подключения к приложению с Бессерверной конфигурацией EMR вы можете использовать Spark SQL, Scala, Python для интерактивных запросов, изучения и визуализации данных, а также запускать задания Apache Spark для обработки данных непосредственно из блокнотов Студии. Задания выполняются быстро, поскольку в них используются оптимизированные по производительности версии Spark от EMR. Например, Spark на EMR 7.1 работает в 4,5 раза быстрее, чем его аналог с открытым исходным кодом. Бессерверная конфигурация EMR предлагает детальное автоматическое масштабирование, которое выделяет и быстро масштабирует вычислительные ресурсы и ресурсы памяти в соответствии с требованиями приложения, а вы платите только за то, что используете.
Эти функции поддерживаются в Дистрибуции SageMaker 1.10 и более поздних версий и доступны во всех регионах AWS, в которых доступна Студия SageMaker. Чтобы узнать больше, прочитайте статью в блоге Использование LangChain с PySpark для обработки крупномасштабных документов с помощью Студии Amazon SageMaker и Бессерверной конфигурацией EMR и ознакомьтесь с документацией по Студии SageMaker здесь.