Добавляйте собственный код в запросы S3 GET, чтобы изменять и обрабатывать данные, возвращаемые в приложение

С помощью функции S3 Object Lambda вы сможете добавлять собственный код в запросы S3 GET, чтобы изменять и обрабатывать данные, возвращаемые в приложение. Впервые вы сможете применить пользовательский код для изменения данных, возвращаемых стандартными запросами S3 GET, для фильтрации строк, динамического изменения размера изображений, удаления конфиденциальных данных и многого другого. Выполнение кодов на базе функций AWS Lambda осуществляется в инфраструктуре, полностью управляемой AWS, что устраняет необходимость в создании и хранении производных копий данных или запуске дорогостоящих прокси, при этом в приложения не нужно вносить какие-либо изменения.

В S3 Object Lambda автоматическая обработка выходных данных стандартного запроса S3 GET осуществляется с помощью функций AWS Lambda. Чтобы начать настройку функции Lambda и прикрепить ее к точке доступа S3 Object Lambda, достаточно нескольких щелчков мышью в консоли управления AWS. С этого момента S3 будет автоматически вызывать функцию Lambda для обработки любых данных, полученных через точку доступа S3 Object Lambda, а приложение будет получать преобразованный результат. Вы сможете создавать и выполнять собственные пользовательские функции Lambda, адаптируя процесс преобразования данных S3 Object Lambda к требованиям конкретного случая.

Знакомство с Amazon S3 Object Lambda

Преимущества

Гибкость при обработке данных

При помощи S3 Object Lambda можно легко вызывать функции Lambda непосредственно из запросов S3 GET, чтобы обрабатываемые данные отвечали конкретным требованиям ваших приложений. S3 Object Lambda использует полностью управляемую инфраструктуру S3 и AWS Lambda, а также все их функциональные возможности. Вы можете создавать новые или использовать существующие функции AWS Lambda, чтобы обрабатывать данные (например, фильтровать, маскировать, удалять или сжимать их, изменять их формат или объекты для определенных приложений).

Полностью управляемая инфраструктура

Выполнение кодов на базе функций AWS Lambda осуществляется в инфраструктуре, полностью управляемой AWS, что устраняет необходимость в создании и хранении производных копий данных или запуске дорогостоящих прокси, при этом не нужно вносить какие-либо изменения в приложения. Вы можете выполнять функции AWS Lambda с запросами S3 GET для обработки объектов, обновив приложение для использования точки доступа S3 Object Lambda, при этом будет вызываться функция Lambda и предоставляться обработанный объект запрашивающим клиентам.

Простота

С помощью S3 Object Lambda просто и удобно выполнять функции Lambda для преобразования данных S3 для разных приложений, при этом нет необходимости использовать сложное программное обеспечение и инфраструктуру или создавать производные копии данных. Вы можете добавлять собственный код к данным обработки, извлеченным из S3, перед тем как передавать их приложению. S3 Object Lambda работает с существующими приложениями, и вам не нужно изменять код. Вы можете без труда отображать несколько представлений данных для различных приложений с помощью стандартного запроса S3 GET.

Как работает S3 Object Lambda?

S3 Object Lambda: принципы работы

S3 Object Lambda позволяет легко соблюдать специфические требования любого приложения касательно формата данных без необходимости строить дополнительную инфраструктуру и управлять ею (например, уровень прокси) или создавать и обслуживать множество производных копий данных. В S3 Object Lambda автоматическая обработка выходных данных стандартного запроса S3 GET осуществляется с помощью функций AWS Lambda. AWS Lambda – это бессерверный вычислительный сервис, выполняющий заданный пользователем код без необходимости управления базовыми вычислительными ресурсами. 

Чтобы начать настройку функции Lambda и прикрепить ее к точке доступа S3 Object Lambda, достаточно нескольких щелчков мышью в консоли управления AWS. Стандартные запросы S3 GET, отправленные через точку доступа S3 Object Lambda, теперь будут вызывать определенную функцию Lambda. С этого момента S3 будет автоматически вызывать функцию Lambda для обработки любых данных, полученных через точку доступа S3 Object Lambda, а приложение будет получать преобразованный результат. Вы сможете создавать и выполнять собственные пользовательские функции Lambda, адаптируя процесс преобразования данных S3 Object Lambda к требованиям конкретного случая. Подробности о S3 Object Lambda см. в руководстве пользователя.

Пример использования S3 Object Lambda: удаление конфиденциальных данных

S3 Object Lambda: принципы работы

С помощью S3 Object Lambda можно удалять конфиденциальную информацию из объекта в S3 для определенных приложений. При этом не нужно менять существующий объект или создавать и обслуживать множество производных копий данных. Функция Lambda извлекает объект из стандартного запроса S3 GET, обрабатывает и удаляет конфиденциальные данные, а затем возвращает обезличенный объект приложению. Подробнее о других примерах использования S3 Object Lambda см. в руководстве пользователя.

Клиенты

Druva работает в области защиты данных и управления ими в конечных точках, центрах обработки данных и облачных рабочих нагрузках. Их задача – уменьшить зависимость от сложных инфраструктур и количество трудоемких задач по администрированию.

«В скором времени 4000 наших клиентов будет необходимо соблюдать новые мировые требования, связанные с защитой данных и их безопасностью. Amazon S3 Object Lambda – это меняющая рынок инновация, которая сближает вычислительные ресурсы и централизованные репозитории данных, что, в свою очередь, позволяет нашим клиентам извлечь больше пользы из своих данных. Мы гордимся тем, что работа нашей компании полностью построена на базе AWS, ведь благодаря этому сервису мы можем беспрерывно пользоваться самыми новыми функциями и технологиями. Совместное применение Druva на базе AWS и Amazon S3 Object Lambda предоставляет компаниям ни с чем не сравнимые возможности для интеграции и анализа, а также прямой доступ, что позволяет раскрыть весь потенциал резервного копирования данных».

Стивен Менли, технический директор, Druva

Nasuni – это файловое хранилище, работающее на базе Amazon S3, которое меняет мир и заменяет классические локальные первичные и вторичные хранилища. Nasuni являет собой платформу для хранения данных и использует хранение объектов, чтобы предоставлять более простые, доступные и эффективные облачные решения, при помощи которых можно привести в соответствие быстрорастущие неструктурированные данные и управлять ими.

«S3 Object Lambda – это революционная технология для Nasuni и она будет играть ключевую роль в нашем облачном сервисе для хранения файлов на базе AWS. Мы используем S3 Object Lambda, чтобы создавать простые и масштабируемые API для нашей системы хранения файлов на базе частного объекта. Благодаря этому наши клиенты смогут получать доступ к файлам из своей корзины S3. Им даже не понадобится использовать Nasuni Edge Appliance. Это означает, что они смогут подключить неструктурированные данные из аналитических сервисов Nasuni к AWS (например, к Macie и Kendra) и получать подробную информацию из собственных файловых данных».

Рас Кеннеди, директор отдела контроля производства, Nasuni

Компания PetaGene была учреждена в Кембридже, на родине геномики, в ответ на быстро растущее количество проблем с управлением данными в этой области науки. Компания PetaGene стала известна благодаря высоким производительным характеристикам и удобству в использовании решений, связанных со сжатием и шифрованием геномных данных. При помощи программного обеспечение компании теперь можно шифровать любые данные, делиться выбранными данными и проводить их аудит. Кроме того, PetaGene разработала комплексные и прозрачные методы доступа.

«PetaGene дает возможность компаниям защищать свои данные, а также контролировать и анализировать, какую информацию могут видеть разные пользователи, предоставляя только тот контент в рамках каждого файла, с которым пользователь имеет право ознакомиться. Кроме того, PetaGene использует технологию секвенирования нового поколения (NGS), чтобы уменьшить размер уже сжатых геномных данных в 11 раз без потери качества. 
 
В то же время пользователи уже могут получить прямой доступ к защищенным и / или сжатым данным в оригинальном формате, загрузив себе нашу библиотеку обратного считывания в режиме пользователя. Но благодаря S3 Object Lambda можно получить такой же доступ через стандартный запрос S3 GET, но при этом загружать библиотеку не нужно. Таким образом, нашим пользователям еще проще развертывать защиту данных PetaGene и предоставлять своим конечным пользователям инструменты для сжатия, а также соблюдать соответствующие требования».

Ден Гринфилд, доктор наук, соучредитель и исполнительный директор PetaGene

Начало работы

Функцию S3 Object Lambda можно настроить в консоли управления S3, выполнив всего три простых действия. Во-первых, откройте в консоли вкладку точки доступа к функции Lambda для объекта. Во-вторых, создайте адрес точки доступа S3 Object Lambda и в разделе его конфигурации укажите имя для этого ресурса, вызываемую функцию Lambda на основании запросов S3 GET и поддерживающую точку доступа S3. В документации AWS приведены примеры реализации функции Lambda, которые помогут вам с использованием этого сервиса. В-третьих, обновите SDK и приложение, чтобы начать использовать новую точку доступа S3 Object Lambda для получения данных из S3 с помощью выбранного вами языка SDK. Функция S3 Object Lambda начнет обработку стандартных запросов S3 GET. Ознакомьтесь с руководством пользователя, чтобы узнать подробную информацию и протестировать функции S3 Object Lambda.

Вопросы и ответы по Amazon S3
См. руководство пользователя S3 Object Lambda

Подробные сведения о S3 Object Lambda см. в руководстве пользователя.

Подробнее 
Зарегистрировать аккаунт AWS
Зарегистрировать бесплатный аккаунт

Получите мгновенный доступ к уровню бесплатного пользования AWS. 

Регистрация 
Приступить к разработке с использованием Amazon S3
Начало разработки в консоли

Начните разработку с помощью Amazon S3 в Консоли управления AWS.

Вход