Amazon S3 Object Lambda

Thêm mã của riêng bạn vào các yêu cầu S3 GET, HEAD và LIST để sửa đổi và xử lý dữ liệu khi nó được trả lại cho một ứng dụng

Tổng quan

Với S3 Object Lambda, bạn có thể thêm mã của riêng bạn vào các yêu cầu S3 GET, HEAD và LIST để sửa đổi và xử lý dữ liệu khi nó được trả lại cho một ứng dụng. Bạn có thể sử dụng mã tùy chỉnh để sửa đổi dữ liệu mà các yêu cầu S3 GET trả lại để lọc các hàng, linh hoạt thay đổi kích thước hình ảnh, loại bỏ dữ liệu bí mật và hơn thế nữa. Bạn cũng có thể sử dụng S3 Object Lambda để sửa đổi đầu ra của các yêu cầu S3 LIST để tạo chế độ xem tùy chỉnh về các đối tượng trong một vùng lưu trữ và các yêu cầu S3 HEAD để sửa đổi siêu dữ liệu đối tượng như tên và kích thước đối tượng. Được cung cấp bởi các hàm AWS Lambda, mã của bạn chạy trên cơ sở hạ tầng được AWS quản lý hoàn toàn, loại bỏ nhu cầu tạo và lưu trữ các bản sao phái sinh của dữ liệu hoặc nhu cầu chạy các proxy đắt tiền, tất cả đều không cần thay đổi bất cứ điều gì đối với các ứng dụng của bạn.

S3 Object Lambda sử dụng các hàm AWS Lambda để tự động xử lý đầu ra của một yêu cầu S3 GET, HEAD và LIST tiêu chuẩn. Chỉ với một vài cú nhấp chuột trong Bảng điều khiển quản lý AWS, bạn có thể định cấu hình một hàm Lambda và gắn nó vào một Điểm truy cập S3 Object Lambda. Từ thời điểm đó trở đi, S3 sẽ tự động gọi hàm Lambda của bạn để xử lý bất kỳ dữ liệu nào được truy xuất thông qua Điểm truy cập S3 Object Lambda, trả kết quả đã chuyển đổi về ứng dụng. Bạn có thể tạo ra và thực thi các hàm Lambda tùy chỉnh của riêng mình, điều chỉnh hoạt động chuyển đổi dữ liệu của Lambda đối tượng S3 cho phù hợp với trường hợp sử dụng cụ thể của bạn.

Lợi ích

S3 Object Lambda cung cấp cho bạn sự linh hoạt để gọi các hàm Lambda trực tiếp từ các yêu cầu S3 GET, HEAD và LIST để xử lý dữ liệu nhằm đáp ứng các yêu cầu cụ thể của các ứng dụng của bạn. S3 Object Lambda sử dụng cơ sở hạ tầng được quản lý toàn phần của S3 và AWS Lambda, cũng như tất cả các tính năng và khả năng của nó. Bạn có thể sử dụng các hàm AWS Lambda mới hoặc hiện có để xử lý dữ liệu của mình, chẳng hạn như lọc, che chắn, soạn lại, nén, thay đổi định dạng hoặc sửa đổi các đối tượng cho các ứng dụng cụ thể của bạn.

Được cung cấp bởi các hàm AWS Lambda, mã của bạn chạy trên cơ sở hạ tầng được AWS quản lý hoàn toàn, loại bỏ nhu cầu tạo và lưu trữ các bản sao phái sinh của dữ liệu hoặc nhu cầu chạy các proxy đắt tiền, tất cả đều không cần thay đổi bất cứ điều gì đối với các ứng dụng. Để xử lý các đối tượng, bạn có thể chạy hàm AWS Lambda với các yêu cầu S3 GET, HEAD và LIST bằng cách cập nhật ứng dụng của mình. Sau khi cập nhật, một điểm truy cập S3 Object Lambda sẽ được dùng để gọi hàm Lambda và phân phối đối tượng đã qua xử lý đến các máy khách đang yêu cầu.

Với S3 Object Lambda, bạn có thể dễ dàng biến đổi dữ liệu S3 cho nhiều ứng dụng khác nhau do không cần dùng đến phần mềm và cơ sở hạ tầng phức tạp, hay không cần tạo các bản sao phái sinh của dữ liệu. Bạn có thể thêm mã của riêng mình để xử lý dữ liệu khi dữ liệu đó được truy xuất từ S3 trước khi trả lại cho ứng dụng. S3 Object Lambda tương thích với các ứng dụng hiện tại của bạn nên bạn sẽ không cần thay đổi mã. Bạn có thể dễ dàng trình bày nhiều chế độ xem dữ liệu cho các ứng dụng khác nhau chỉ với một yêu cầu S3 GET, HEAD và LIST tiêu chuẩn.

Lambda đối tượng S3 hoạt động như thế nào?

S3 Object Lambda hoạt động như thế nào

S3 Object Lambda giúp bạn dễ dàng đáp ứng các yêu cầu định dạng dữ liệu riêng biệt của bất kỳ ứng dụng nào mà không cần phải xây dựng và vận hành cơ sở hạ tầng bổ sung, chẳng hạn như lớp proxy hoặc không cần phải tạo và duy trì nhiều bản sao phái sinh dữ liệu của bạn. S3 Object Lambda sử dụng các hàm AWS Lambda để tự động xử lý đầu ra của một yêu cầu S3 GET, HEAD và LIST tiêu chuẩn. AWS Lambda là một dịch vụ điện toán phi máy chủ chạy mã do khách hàng xác định mà không yêu cầu quản lý các tài nguyên điện toán cơ bản. 

Chỉ với một vài cú nhấp chuột trong Bảng điều khiển quản lý AWS, bạn có thể định cấu hình một hàm Lambda và gắn nó vào một Điểm truy cập S3 Object Lambda. Lúc này, các yêu cầu S3 GET, HEAD và LIST tiêu chuẩn được thực hiện thông qua một điểm truy cập S3 Object Lambda sẽ gọi hàm Lambda được chỉ định. Từ thời điểm đó trở đi, S3 sẽ tự động gọi hàm Lambda của bạn để xử lý bất kỳ dữ liệu nào được truy xuất thông qua Điểm truy cập S3 Object Lambda, trả kết quả đã chuyển đổi về ứng dụng. Bạn có thể tạo ra và thực thi các hàm Lambda tùy chỉnh của riêng mình, điều chỉnh chuyển đổi dữ liệu của S3 Object Lambda cho phù hợp với trường hợp sử dụng cụ thể của bạn. Để tìm hiểu thêm, hãy đọc hướng dẫn sử dụng Lambda đối tượng S3.

Trường hợp sử dụng S3 Object Lambda: Xử lý lại dữ liệu nhạy cảm

Cách thức hoạt động của Lambda đối tượng S3

Lambda đối tượng S3 có thể được sử dụng để xử lý lại thông tin nhạy cảm từ một đối tượng trong S3 cho các ứng dụng cụ thể mà không cần thay đổi đối tượng hiện có hoặc tạo và duy trì nhiều bản sao phái sinh của dữ liệu. Hàm Lambda sẽ truy xuất đối tượng từ một yêu cầu S3 GET tiêu chuẩn, xử lý dữ liệu để loại bỏ các chi tiết nhạy cảm và trả đối tượng đã được xử lý lại về ứng dụng. Để tìm hiểu thêm về các trường hợp sử dụng, hãy đọc hướng dẫn sử dụng Lambda đối tượng S3.

Khách hàng

  • Pixieset

    Pixieset là nền tảng toàn diện dành cho các nhiếp ảnh gia hiện đại, cung cấp thư viện ảnh, trang web, cửa hàng trực tuyến và công cụ phần mềm quản lý studio cho khách hàng.

    Pixieset chuyển đổi hình ảnh nhanh chóng với Lambda đối tượng Amazon S3

    Pixieset mang sứ mệnh hỗ trợ các nhiếp ảnh gia và nhà sáng tạo trên khắp thế giới trong quá trình điều hành và phát triển doanh nghiệp của họ. Khách hàng của chúng tôi tải ảnh lên, sau đó những tấm ảnh này được chia sẻ với khách hàng của họ trên những thiết bị xem khác nhau, chẳng hạn như điện thoại thông minh, máy tính bảng hoặc máy tính để bàn. Nhằm tối ưu hóa quá trình phân phối ảnh, chúng tôi hiện đang tạo các bản sao có độ phân giải khác nhau ngay sau khi hình ảnh được tải lên Amazon S3 bằng AWS Lambda. Chúng tôi rất vui mừng về việc tích hợp Lambda đối tượng Amazon S3 với Amazon CloudFront vì chúng tôi có thể nhanh chóng áp dụng chuyển đổi và hình nền mờ ngay trong quá trình truy cập hình ảnh từ Amazon CloudFront. Chúng tôi có thể tận dụng lợi thế của việc lưu bộ đệm ẩn toàn cầu mà không cần lưu trữ nhiều bản sao của cùng một hình ảnh nữa.

    Sam Lin, Trưởng bộ phận kỹ thuật của Pixieset
  • Audible

    Audible là nhà sáng tạo và nhà cung cấp hàng đầu trong lĩnh vực kể chuyện bằng âm thanh cao cấp, cung cấp cho khách hàng một phương thức mới để nâng cao và làm phong phú thêm cho cuộc sống của họ mỗi ngày. Kho tàng nội dung của Audible bao gồm hơn 790.000 sách nói, podcast và danh mục nội dung Audible Originals. Audible có hàng triệu thành viên trên khắp thế giới đăng ký một trong 10 dịch vụ bản địa hóa được xây dựng cho khách hàng ở Úc, Canada, Pháp, Đức, Ấn Độ, Ý, Nhật Bản, Tây Ban Nha, Vương quốc Anh và Hoa Kỳ.  

    Audible sử dụng Lambda đối tượng Amazon S3 để linh động sửa đổi các bản kê khai nhằm cung cấp khả năng phát trực tuyến hiệu quả nhất

    Blog: Cách Audible sử dụng Lambda đối tượng Amazon S3 để cải thiện hiệu năng phát lại truyền trực tuyến

    Người dùng truy cập và phát trực tuyến nội dung trên Audible từ nhiều loại thiết bị và khu vực địa lý khác nhau, với kết nối Internet từ mạnh đến bị hạn chế. Chúng tôi sử dụng Lambda đối tượng Amazon S3 để chủ động sửa đổi bản kê khai và kích thước của phân đoạn nhằm mang đến cho người dùng trải nghiệm giải trí bằng âm thanh và phát trực tuyến có chất lượng cao và hiệu quả nhất, cho dù đang ở nhà hay đang ở ngoài. Nhờ Lambda đối tượng S3, chúng tôi có thể cải thiện hiệu năng phát lại và qua đó, nâng cao hơn nữa trải nghiệm của khách hàng thông qua quá trình đổi mới công nghệ và lập trình ưu việt.

    Saurabh Gandhi, Giám đốc Cấp cao phụ trách Phát triển Phần mềm –Audible
  • Trend Micro

    Trend Micro là công ty hàng đầu về an ninh mạng toàn cầu, giúp đảm bảo an toàn cho hoạt động trao đổi thông tin kỹ thuật số trên thế giới. Với chuyên môn về bảo mật, nghiên cứu mối đe dọa toàn cầu và đổi mới liên tục trong nhiều thập kỷ, nền tảng an ninh mạng của Trend Micro bảo vệ hàng trăm nghìn tổ chức và hàng triệu cá nhân trên các đám mây, mạng, thiết bị và điểm cuối. Nền tảng an ninh mạng của Trend Micro cung cấp một loạt các kỹ thuật phòng thủ mối đe dọa tiên tiến và mạnh mẽ được tối ưu hóa cho AWS.

    Blog: Cách Trend Micro sử dụng Lambda đối tượng Amazon S3 để bảo mật dữ liệu nhạy cảm

    Đối với chúng tôi, không gì tuyệt hơn là sự đơn giản khi mới bắt đầu. Nhờ sử dụng Lambda đối tượng S3 trong giải pháp Bảo mật lưu trữ tệp, chúng tôi đã có thể hoàn thiện chứng minh khái niệm trong vòng chưa đầy một ngày, với phiên bản đầy đủ đầu tiên bao gồm khả năng tích hợp vào bộ plugin hiện có được hoàn thành một ngày sau đó.

    Mike Milner, Giám đốc phụ trách Quản lý Sản phẩm – Trend Micro
  • Druva

    Druva cung cấp khả năng bảo vệ và quản lý dữ liệu trên các điểm cuối, trung tâm dữ liệu và khối lượng công việc đám mây, giúp loại bỏ sự phụ thuộc vào cơ sở hạ tầng phức tạp và quản trị tốn thời gian.

    4.000 khách hàng của chúng tôi cần đáp ứng các yêu cầu ngày càng mở rộng về bảo vệ, tuân thủ và bảo mật dữ liệu toàn cầu. Amazon S3 Object Lambda là một sự đổi mới thay đổi thị trường mang tài nguyên điện toán đến gần hơn với kho dữ liệu tập trung, giúp khách hàng của chúng tôi có thể khai thác nhiều giá trị hơn từ dữ liệu của họ. Là một nền tảng được xây dựng hoàn toàn trên AWS, Druva tự hào vì liên tục nâng cao trải nghiệm người dùng với các tính năng và công nghệ mới nhất của AWS. Sự kết hợp giữa Nền tảng đám mây Druva do AWS cung cấp và Lambda đối tượng Amazon S3 sẽ mang lại cho các tổ chức cơ hội tích hợp chưa từng có, cũng như khả năng truy cập và phân tích trực tiếp để khai thác toàn bộ tiềm năng từ dữ liệu sao lưu của họ.

    Stephen Manley, Giám đốc công nghệ của Druva
  • Nasuni

     

    Nasuni đang tạo sự đột phá trong quá trình lưu trữ tệp thông qua cách tiếp cận dựa trên đám mây được Amazon S3 hỗ trợ, thay thế cho lưu trữ chính và phụ tại chỗ truyền thống. Nasuni cung cấp nền tảng lưu trữ tệp sử dụng lưu trữ đối tượng, mang đến giải pháp đám mây đơn giản hơn, chi phí thấp hơn và hiệu quả hơn, có quy mô để xử lý tốc độ tăng trưởng dữ liệu phi cấu trúc nhanh.

    Lambda đối tượng Amazon S3 là một công cụ đột phá cho Nasuni và sẽ là công nghệ cốt lõi trong dịch vụ lưu trữ tệp đám mây của chúng tôi trên AWS. Chúng tôi sử dụng S3 Object Lambda để tạo một API đơn giản, có thể mở rộng cho hệ thống tệp dựa trên lưu trữ đối tượng độc quyền của chúng tôi. Các khách hàng doanh nghiệp của chúng tôi có thể sử dụng tính năng này để truy cập tệp của họ trực tiếp từ vùng lưu trữ S3 của họ thay vì đi qua Thiết bị biên Nasuni. Điều này có nghĩa là họ có thể dễ dàng kết nối dữ liệu phi cấu trúc từ Nasuni với các dịch vụ phân tích AWS như Macie và Kendra, cho phép các doanh nghiệp có được thông tin chi tiết từ dữ liệu tệp của họ.

    Russ Kennedy, Giám đốc Sản xuất - Nasuni
  • PetaGene

    PetaGene được thành lập tại Cambridge, nơi khai sinh ra ngành nghiên cứu gen, nhằm giải quyết các vấn đề quản lý dữ liệu đang phát triển nhanh chóng của ngành nghiên cứu gen. PetaGene đã trở nên nổi tiếng với hiệu suất và khả năng sử dụng hàng đầu trong ngành của các giải pháp mã hóa và nén bộ gen -- Phần mềm của công ty này hiện cung cấp các giải pháp mã hóa, chia sẻ dữ liệu và kiểm tra có chọn lọc cho tất cả các loại dữ liệu và các giải pháp này cũng được hưởng lợi từ các phương pháp truy cập minh bạch liền mạch tương tự.

    PetaGene cho phép các tổ chức bảo vệ dữ liệu để họ có thể kiểm soát và kiểm tra nội dung mà những người dùng khác nhau có thể xem, chỉ hiển thị nội dung trong mỗi tệp mà người dùng được phép xem. PetaGene cũng nén hiệu quả dữ liệu gen NGS đã được nén nhỏ hơn tới 11 lần mà không bị mất bất kỳ dữ liệu nào. Mặc dù người dùng đã có thể truy cập một cách minh bạch dữ liệu được bảo vệ và/hoặc đuợc nén ở định dạng gốc ban đầu bằng cách tải thư viện đọc lại chế độ người dùng của chúng tôi vào môi trường của họ, với S3 Object Lambda, người dùng có thể truy cập dữ liệu ở định dạng gốc ban đầu thông qua các yêu cầu S3 GET tiêu chuẩn mà không cần người dùng cài đặt thư viện. Điều này giúp khách hàng triển khai các sản phẩm nén, tuân thủ và bảo vệ dữ liệu của PetaGene cho người dùng cuối của họ dễ dàng hơn nữa.

    Tiến sĩ Dan Greenfield, Người đồng sáng lập kiêm Giám đốc Điều hành – PetaGene

Tài nguyên về Lambda đối tượng S3

Tùy chỉnh dữ liệu với Lambda đối tượng Amazon S3 (14:45)
Xây dựng ứng dụng hiện đại, phi máy chủ bằng cách sử dụng Amazon S3 hoặc Amazon EFS (30:13)

Bắt đầu

S3 Object Lambda có thể được thiết lập trong Bảng điều khiển quản lý S3, với ba bước đơn giản. Bước 1: Điều hướng đến tab Điểm truy cập Object Lambda trên bảng điều khiển. Bước hai, tạo một Điểm truy cập S3 Object Lambda và trong cấu hình của nó, cung cấp tên cho tài nguyên này, hàm Lambda để gọi đối với các yêu cầu S3 GET, HEAD và LIST của bạn và một điểm truy cập hỗ trợ S3. Các ví dụ về triển khai hàm Lambda có trong tài liệu AWS để giúp bạn bắt đầu sử dụng dịch vụ này. Bước ba, cập nhật SDK và ứng dụng của bạn để sử dụng Điểm truy cập S3 Object Lambda mới nhằm truy xuất dữ liệu từ S3 bằng cách sử dụng SDK ngôn ngữ mà bạn chọn. Lambda đối tượng S3 sẽ bắt đầu xử lý các yêu cầu S3 GET, HEAD và LIST tiêu chuẩn của bạn.

Truy cập hướng dẫn bắt đầu sử dụng Lambda đối tượng S3đọc hướng dẫn sử dụng để biết thêm thông tin về cách bắt đầu.