Amazon S3 Object Lambda

Добавляйте собственный код в запросы S3 GET, HEAD и LIST, чтобы изменять и обрабатывать данные, возвращаемые в приложение

С помощью функции S3 Object Lambda вы сможете добавлять собственный код в запросы S3 GET, HEAD и LIST, чтобы изменять и обрабатывать данные, возвращаемые в приложение. Вы можете применить пользовательский код для изменения данных, возвращаемых запросами S3 GET, для фильтрации строк, динамического изменения размера изображений, удаления конфиденциальных данных и многого другого. Вы также можете использовать S3 Object Lambda для изменения результатов запросов S3 LIST, чтобы создать пользовательское представления объектов в корзине и запросы S3 HEAD с целью изменения метаданных объекта, таких как его имя и размер. Выполнение кодов на базе функций AWS Lambda осуществляется в инфраструктуре, полностью управляемой AWS, что устраняет необходимость в создании и хранении производных копий данных или запуске дорогостоящих прокси, при этом в приложения не нужно вносить какие-либо изменения.

В S3 Object Lambda автоматическая обработка выходных данных стандартного запроса S3 GET, HEAD и LIST осуществляется с помощью функций AWS Lambda. Чтобы начать настройку функции Lambda и прикрепить ее к точке доступа S3 Object Lambda, достаточно нескольких щелчков мышью в консоли управления AWS. С этого момента S3 будет автоматически вызывать функцию Lambda для обработки любых данных, полученных через точку доступа S3 Object Lambda, а приложение будет получать преобразованный результат. Вы сможете создавать и выполнять собственные пользовательские функции Lambda, адаптируя процесс преобразования данных S3 объекта Lambda к требованиям конкретного случая.

Introduction to Amazon S3 Object Lambda (1:49)

Руководство по началу работы с объектом Lambda в S3

Преимущества

Гибкость при обработке данных

При помощи S3 Object Lambda можно легко вызывать функции Lambda непосредственно из запросов S3 GET, HEAD и LIST, чтобы обрабатываемые данные отвечали конкретным требованиям ваших приложений. S3 Object Lambda использует полностью управляемую инфраструктуру S3 и AWS Lambda, а также все их функциональные возможности. Вы можете создавать новые или использовать существующие функции AWS Lambda, чтобы обрабатывать данные (например, фильтровать, маскировать, удалять или сжимать их, изменять их формат или объекты для определенных приложений).

Полностью управляемая инфраструктура

Выполнение кодов на базе функций AWS Lambda осуществляется в инфраструктуре, полностью управляемой AWS, что устраняет необходимость в создании и хранении производных копий данных или запуске дорогостоящих прокси, при этом не нужно вносить какие-либо изменения в приложения. Вы можете выполнять функции AWS Lambda с запросами S3 GET, HEAD и LIST для обработки объектов, обновив приложение для использования точки доступа S3 Object Lambda, при этом будет вызываться функция Lambda и предоставляться обработанный объект запрашивающим клиентам.

Простота

С помощью S3 Object Lambda можно очень просто и удобно преобразовывать данные S3 для разных приложений, при этом нет необходимости использовать сложное программное обеспечение и инфраструктуру либо создавать производные копии данных. Вы можете добавлять собственный код к данным обработки, извлеченным из S3, перед тем как передавать их приложению. S3 Object Lambda работает с существующими приложениями, и вам не нужно изменять код. Вы можете без труда отображать несколько представлений данных для различных приложений с помощью стандартного запроса S3 GET, HEAD и LIST.

Как работает S3 Object Lambda?

S3 Object Lambda позволяет легко соблюдать специфические требования любого приложения касательно формата данных без необходимости строить дополнительную инфраструктуру и управлять ею (например, уровень прокси) или создавать и обслуживать множество производных копий данных. В S3 Object Lambda автоматическая обработка выходных данных стандартного запроса S3 GET, HEAD и LIST осуществляется с помощью функций AWS Lambda. AWS Lambda — это бессерверный вычислительный сервис, выполняющий заданный пользователем код без необходимости управления базовыми вычислительными ресурсами.

Чтобы начать настройку функции Lambda и прикрепить ее к точке доступа S3 Object Lambda, достаточно нескольких щелчков мышью в консоли управления AWS. Стандартные запросы S3 GET, HEAD и LIST отправленные через точку доступа S3 Object Lambda, теперь будут вызывать определенную функцию Lambda. С этого момента S3 будет автоматически вызывать функцию Lambda для обработки любых данных, полученных через точку доступа S3 Object Lambda, а приложение будет получать преобразованный результат. Вы сможете создавать и выполнять собственные пользовательские функции Lambda, адаптируя процесс преобразования данных S3 Object Lambda к требованиям конкретного случая. Подробности о S3 Object Lambda см. в руководстве пользователя.

Пример использования S3 Object Lambda: удаление конфиденциальных данных

С помощью S3 Object Lambda можно удалять конфиденциальную информацию из объекта в S3 для определенных приложений. При этом не нужно менять существующий объект или создавать и обслуживать множество производных копий данных. Функция Lambda извлекает объект из стандартного запроса S3 GET, обрабатывает и удаляет конфиденциальные данные, а затем возвращает обезличенный объект приложению. Подробнее о других примерах использования S3 Object Lambda см. в руководстве пользователя.

Клиенты

Druva работает в области защиты данных и управления ими в конечных точках, центрах обработки данных и облачных рабочих нагрузках. Их задача – уменьшить зависимость от сложных инфраструктур и количество трудоемких задач по администрированию.

«В скором времени 4000 наших клиентов будет необходимо соблюдать новые мировые требования, связанные с защитой данных и их безопасностью. Amazon S3 Object Lambda – это меняющая рынок инновация, которая сближает вычислительные ресурсы и централизованные репозитории данных, что, в свою очередь, позволяет нашим клиентам извлечь больше пользы из своих данных. Мы гордимся тем, что работа нашей компании полностью построена на базе AWS, ведь благодаря этому сервису мы можем беспрерывно пользоваться самыми новыми функциями и технологиями. Совместное применение Druva на базе AWS и Amazon S3 Object Lambda предоставляет компаниям ни с чем не сравнимые возможности для интеграции и анализа, а также прямой доступ, что позволяет раскрыть весь потенциал резервного копирования данных».

Стивен Менли, технический директор, Druva

Nasuni – это файловое хранилище, работающее на базе Amazon S3, которое меняет мир и заменяет классические локальные первичные и вторичные хранилища. Nasuni являет собой платформу для хранения данных и использует хранение объектов, чтобы предоставлять более простые, доступные и эффективные облачные решения, при помощи которых можно привести в соответствие быстрорастущие неструктурированные данные и управлять ими.

«S3 Object Lambda – это революционная технология для Nasuni и она будет играть ключевую роль в нашем облачном сервисе для хранения файлов на базе AWS. Мы используем S3 Object Lambda, чтобы создавать простые и масштабируемые API для нашей системы хранения файлов на базе частного объекта. Благодаря этому наши клиенты смогут получать доступ к файлам из своей корзины S3. Им даже не понадобится использовать Nasuni Edge Appliance. Это означает, что они смогут подключить неструктурированные данные из аналитических сервисов Nasuni к AWS (например, к Macie и Kendra) и получать подробную информацию из собственных файловых данных».

Рас Кеннеди, директор отдела контроля производства, Nasuni

Компания PetaGene была учреждена в Кембридже, на родине геномики, в ответ на быстро растущее количество проблем с управлением данными в этой области науки. Компания PetaGene стала известна благодаря высоким производительным характеристикам и удобству в использовании решений, связанных со сжатием и шифрованием геномных данных. При помощи программного обеспечение компании теперь можно шифровать любые данные, делиться выбранными данными и проводить их аудит. Кроме того, PetaGene разработала комплексные и прозрачные методы доступа.

«PetaGene дает возможность компаниям защищать свои данные, а также контролировать и анализировать, какую информацию могут видеть разные пользователи, предоставляя только тот контент в рамках каждого файла, с которым пользователь имеет право ознакомиться. Кроме того, PetaGene использует технологию секвенирования нового поколения (NGS), чтобы уменьшить размер уже сжатых геномных данных в 11 раз без потери качества.

В то же время пользователи уже могут получить прямой доступ к защищенным и / или сжатым данным в оригинальном формате, загрузив себе нашу библиотеку обратного считывания в режиме пользователя. Но благодаря S3 Object Lambda можно получить такой же доступ через стандартный запрос S3 GET, но при этом загружать библиотеку не нужно. Таким образом, нашим пользователям еще проще развертывать защиту данных PetaGene и предоставлять своим конечным пользователям инструменты для сжатия, а также соблюдать соответствующие требования».

Ден Гринфилд, доктор наук, соучредитель и исполнительный директор PetaGene

Ресурсы объекта Lambda в S3

Building Serverless, Modern Applications Using Amazon S3 or Amazon EFS (30:13)

Начать работу

Функцию S3 Object Lambda можно настроить в консоли управления S3, выполнив всего три простых действия. Во-первых, откройте в консоли вкладку точки доступа к функции Lambda для объекта. Во-вторых, создайте адрес точки доступа S3 Object Lambda и в разделе его конфигурации укажите имя для этого ресурса, вызываемую функцию Lambda на основании запросов S3 GET, HEAD или LIST и поддерживающую точку доступа S3. В документации AWS приведены примеры реализации функции Lambda, которые помогут вам начать работу с сервисом. В-третьих, обновите SDK и приложение, чтобы начать использовать новую точку доступа S3 Object Lambda для получения данных из S3 с помощью выбранного вами языка SDK. Функция S3 Object Lambda начнет обработку стандартных запросов S3 GET, HEAD и LIST. Ознакомьтесь с руководством пользователя, чтобы узнать подробную информацию и протестировать функции S3 Object Lambda.