Quản lý và giám sát lưu trữ
Quản lý và giám sát lưu trữ
Cấu trúc phẳng không theo cấp bậc và nhiều tính năng quản lý khác nhau của Amazon S3 đang hỗ trợ khách hàng thuộc mọi quy mô và lĩnh vực tổ chức dữ liệu theo những cách thức có giá trị đối với doanh nghiệp và đội ngũ của họ. Tất cả đối tượng được lưu trữ trong bộ chứa S3 và có thể được tổ chức với tên chung gọi là tiền tố. Bạn có thể bổ sung tối đa 10 cặp khóa-giá trị gọi là thẻ đối tượng S3 cho mỗi đối tượng. Bạn cũng có thể tạo, cập nhật và xóa các cặp này trong suốt vòng đời của đối tượng. Để theo dõi các đối tượng và thẻ, vùng lưu trữ cũng như tiền tố tương ứng của chúng, bạn có thể sử dụng báo cáo Kiểm kê S3 để liệt kê các đối tượng được lưu trữ của bạn trong một vùng lưu trữ S3 hoặc với một tiền tố cụ thể, cùng với siêu dữ liệu và trạng thái mã hóa tương ứng. Có thể cấu hình Kho S3 để tạo báo cáo hàng ngày hoặc hàng tuần.
Quản lý lưu trữ
Với tên vùng lưu trữ S3, tiền tố, thẻ đối tượng và Kiểm kê S3, bạn có nhiều cách để phân loại và báo cáo về dữ liệu của mình, từ đó có thể cấu hình các tính năng khác của S3 để thực hiện thao tác. Dù bạn lưu trữ hàng nghìn hay một tỷ đối tượng, Thao tác hàng loạt trong S3 giúp bạn dễ dàng quản lý dữ liệu trong Amazon S3 ở mọi quy mô. Với Thao tác hàng loạt trong S3, bạn có thể sao chép đối tượng giữa các vùng lưu trữ, thay thế tập thẻ đối tượng, sửa đổi kiểm soát quyền truy cập và khôi phục đối tượng được lưu trữ từ các lớp lưu trữ S3 Glacier truy xuất linh hoạt và S3 Glacier lưu trữ sâu, với một yêu cầu API S3 duy nhất hoặc chỉ với vài bước trong bảng điều khiển S3. Bạn cũng có thể sử dụng Thao tác hàng loạt trong S3 để chạy hàm AWS Lambda trên các đối tượng của mình nhằm chạy logic kinh doanh tùy chỉnh, chẳng hạn như xử lý dữ liệu hoặc chuyển mã tệp hình ảnh. Để bắt đầu, hãy chọn một vùng lưu trữ nguồn và các bộ lọc hoặc chỉ định một danh sách đối tượng mục tiêu bằng báo cáo Kiểm kê S3 hoặc bằng cách cung cấp một danh sách tùy chỉnh, rồi chọn thao tác mong muốn từ menu điền sẵn. Khi một yêu cầu Thao tác hàng loạt trong S3 được hoàn thành, bạn sẽ nhận được thông báo và một báo cáo hoàn thành bao gồm tất cả thay đổi đã được thực hiện. Tìm hiểu thêm về Thao tác hàng loạt trong S3 bằng cách xem video hướng dẫn.
Amazon S3 cũng hỗ trợ các tính năng giúp duy trì quyền kiểm soát phiên bản dữ liệu, ngăn việc xóa ngẫu nhiên và sao chép dữ liệu trong cùng một khu vực hoặc sang Khu vực AWS khác. Với Lập phiên bản S3, bạn có thể duy trì, truy xuất và khôi phục mọi phiên bản của đối tượng được lưu trữ trong Amazon S3, cho phép bạn phục hồi từ các hoạt động vô tình của người dùng và sự cố ứng dụng. Để ngăn việc vô tình xóa đối tượng, hãy bật Xóa bằng xác thực nhiều yếu tố (MFA) trên một vùng lưu trữ S3. Nếu bạn tìm cách xóa một đối tượng được lưu trữ trong vùng lưu trữ hỗ trợ Xóa MFA, việc này yêu cầu hai hình thức xác thực: thông tin đăng nhập tài khoản AWS của bạn và chuỗi chữ số sê-ri hợp lệ, khoảng trắng và mã sáu chữ số hiển thị trên thiết bị xác thực được phê duyệt, chẳng hạn như chuỗi khóa phần cứng hoặc khóa bảo mật Universal 2nd Factor (U2F).
Với Sao chép trên S3, bạn có thể sao chép đối tượng (cùng siêu dữ liệu và thẻ đối tượng tương ứng) vào một hoặc nhiều vùng lưu trữ đích trong cùng một Khu vực hoặc sang Khu vực AWS khác để giảm độ trễ, đảm bảo tính tuân thủ, bảo mật, phục hồi sau thảm họa và trong các trường hợp sử dụng khác. Bạn có thể cấu hình S3 Cross-Region Replication (CRR) để sao chép các đối tượng từ một vùng lưu trữ S3 nguồn sang một hoặc nhiều vùng lưu trữ đích trong nhiều Khu vực AWS. S3 Same-Region Replication (SRR) sao chép các đối tượng giữa các vùng lưu trữ trong cùng Khu vực AWS. Mặc dù giải pháp sao chép trực tiếp như CRR và SRR sẽ tự động sao chép các đối tượng mới được tải lên khi chúng được ghi vào vùng lưu trữ của bạn, Sao chép hàng loạt S3 cho phép bạn sao chép các đối tượng hiện có. Bạn có thể sử dụng Sao chép hàng loạt S3 để lấp đầy một vùng lưu trữ mới được tạo bằng các đối tượng hiện có, thử lại các đối tượng mà trước đây không sao chép được, di chuyển dữ liệu giữa các tài khoản hoặc thêm vùng lưu trữ mới vào hồ dữ liệu của bạn. Amazon S3 Replication Time Control (S3 RTC) giúp bạn đáp ứng các yêu cầu tuân thủ để sao chép dữ liệu bằng cách cung cấp SLA và khả năng xem các lần sao chép.
Để truy cập các tập dữ liệu được sao chép trong vùng lưu trữ S3 trên các tài khoản và Khu vực AWS, hãy sử dụng Điểm truy cập đa khu vực Amazon S3 nhằm tạo một điểm cuối toàn cầu duy nhất để các ứng dụng và máy khách của bạn sử dụng, bất kể vị trí của chúng. Điểm cuối toàn cầu này cho phép bạn thiết lập các ứng dụng đa Khu vực có cùng kiến trúc đơn giản để bạn sử dụng trong một Khu vực và sau đó chạy những ứng dụng này tại bất kỳ đâu trên thế giới. Điểm truy cập đa khu vực Amazon S3 có thể tăng hiệu năng lên đến 60% khi truy cập các tập dữ liệu được sao chép trên nhiều tài khoản và Khu vực AWS. Dựa trên Trình tăng tốc toàn cầu của AWS, Điểm truy cập đa khu vực S3 xem xét các yếu tố như tình trạng nghẽn mạng và vị trí của ứng dụng yêu cầu để định tuyến một cách linh hoạt các yêu cầu của bạn qua mạng AWS đến bản sao dữ liệu có độ trễ thấp nhất. Bằng cách sử dụng các biện pháp kiểm soát chuyển đổi dự phòng Điểm truy cập đa khu vực S3, bạn có thể chuyển đổi dự phòng giữa các tập dữ liệu được sao chép của mình trên các Khu vực AWS, cho phép bạn chuyển lưu lượng yêu cầu dữ liệu S3 của mình sang một Khu vực AWS thay thế trong vòng vài phút.
Bạn cũng có thể thực thi các chính sách ghi một lần đọc nhiều lần (WORM) với Khóa đối tượng S3. Tính năng quản lý mới này của S3 ngăn chặn việc xóa phiên bản đối tượng trong một khoảng thời gian lưu giữ do khách hàng xác định, cho phép bạn thực thi các chính sách lưu giữ như một lớp bảo vệ dữ liệu bổ sung hoặc nhằm thực hiện các nghĩa vụ tuân thủ. Bạn có thể di chuyển khối lượng công việc từ hệ thống WORM vào Amazon S3 và cấu hình S3 Object Lock ở cấp đối tượng và bộ chứa để ngăn việc xóa phiên bản đối tượng trước khi đến Giữ lại tới ngày xác định sẵn hoặc Ngày lưu giữ theo pháp lý. Các đối tượng có S3 Object Lock lưu giữ tùy chọn bảo vệ WORM, ngay cả khi được di chuyển sang lớp lưu trữ khác với chính sách Vòng đời S3. Để biết đối tượng nào có S3 Object Lock, bạn có thể tham khảo báo cáo Kho S3, trong đó có nêu trạng thái WORM của các đối tượng. S3 Object Lock có thể được cấu hình ở một trong hai chế độ. Khi triển khai ở Chế độ quản lý, các tài khoản AWS có các quyền IAM cụ thể có thể xóa S3 Object Lock khỏi một đối tượng. Nếu yêu cầu khả năng không thay đổi mạnh hơn để tuân thủ quy định, thì bạn có thể sử dụng Chế độ tuân thủ. Ở Chế độ tuân thủ, bất kỳ người dùng nào, kể cả tài khoản gốc đều không thể xóa được tùy chọn bảo vệ này.
Giám sát lưu trữ
Ngoài các khả năng quản lý này, bạn có thể sử dụng các tính năng Amazon S3 và dịch vụ AWS khác để giám sát và kiểm soát cách các tài nguyên S3 của mình. Gán thẻ cho vùng lưu trữ S3 để phân bổ chi phí trên nhiều khía cạnh kinh doanh (chẳng hạn như trung tâm chi phí, tên ứng dụng hoặc chủ sở hữu), sau đó sử dụng Báo cáo phân bổ chi phí AWS để xem mức sử dụng và chi phí do các thẻ vùng lưu trữ tổng hợp. Bạn cũng có thể sử dụng Amazon CloudWatch để theo dõi tình trạng vận hành của các tài nguyên AWS và cấu hình thông báo thanh toán cho các khoản phí ước tính đạt đến ngưỡng do người dùng xác định. Sử dụng AWS CloudTrail để theo dõi và báo cáo các hoạt động ở cấp vùng lưu trữ và cấp đối tượng cũng như cấu hình Thông báo sự kiện của S3 để kích hoạt quy trình làm việc và thông báo hoặc gọi AWS Lambda khi có thay đổi cụ thể được thực hiện đối với các tài nguyên S3 của bạn. Thông báo sự kiện S3 tự động chuyển mã tệp phương tiện khi các tệp này được tải lên S3, xử lý tệp dữ liệu khi khả dụng và đồng bộ hóa đối tượng với các kho dữ liệu khác. Thêm vào đó, bạn có thể xác minh tính toàn vẹn của dữ liệu được chuyển tới và gửi đi từ Amazon S3, đồng thời truy cập thông tin về giá trị tổng kiểm bất cứ lúc nào bằng S3 API GetObjectAttributes hoặc báo cáo Kho S3. Bạn có thể lựa chọn từ 4 thuật toán giá trị tổng kiểm được hỗ trợ (SHA-1, SHA-256, CRC32 hoặc CRC32C) để kiểm tra tính toàn vẹn của dữ liệu trong yêu cầu tải lên và tải xuống của bạn, tùy thuộc vào nhu cầu ứng dụng của bạn.
Tìm hiểu thêm về quản lý và giám sát lưu trữ S3.
Phân tích và thông tin chi tiết về lưu trữ
Ống kính lưu trữ S3
Ống kính lưu trữ S3 mang lại khả năng hiển thị trên toàn tổ chức về việc sử dụng kho lưu trữ đối tượng, xu hướng hoạt động và đưa ra các đề xuất có thể thực hiện được để cải thiện hiệu quả chi phí và áp dụng các biện pháp tốt nhất về bảo vệ dữ liệu. Ống kính lưu trữ S3 là giải pháp phân tích lưu trữ đám mây đầu tiên mang lại một cái nhìn duy nhất về hoạt động và việc sử dụng kho lưu trữ đối tượng trên hàng trăm, thậm chí hàng nghìn tài khoản trong một tổ chức, với các chi tiết để tạo thông tin chuyên sâu về tài khoản, vùng lưu trữ hoặc thậm chí cấp độ tiền tố. Đúc kết từ hơn 16 năm kinh nghiệm giúp khách hàng tối ưu hóa dung lượng lưu trữ của họ, Ống kính lưu trữ S3 phân tích các chỉ số trong toàn tổ chức để đưa ra các đề xuất theo bối cảnh nhằm tìm cách giảm chi phí lưu trữ và áp dụng các phương pháp tốt nhất về bảo vệ dữ liệu.
Phân tích lớp lưu trữ S3
Amazon S3 Storage Class Analysis phân tích các kiểu truy cập dung lượng lưu trữ nhằm giúp bạn quyết định thời điểm chuyển đúng dữ liệu sang lớp lưu trữ phù hợp. Tính năng này của Amazon S3 quan sát các kiểu truy cập dữ liệu để giúp bạn xác định thời điểm chuyển dung lượng lưu trữ truy cập kém thường xuyên hơn sang lớp lưu trữ có chi phí thấp hơn. Bạn có thể sử dụng kết quả để góp phần cải thiện chính sách S3 Lifecycle của mình. Bạn có thể định cấu hình phân tích lớp lưu trữ để phân tích tất cả các đối tượng trong một vùng lưu trữ. Hoặc, bạn có thể định cấu hình bộ lọc nhằm nhóm các đối tượng lại với nhau để phân tích theo tiền tố chung, theo thẻ đối tượng hoặc theo cả tiền tố và thẻ. Để tìm hiểu thêm, hãy truy cập trang thông tin chuyên sâu và phân tích về dung lượng lưu trữ.
Lớp lưu trữ
Lớp lưu trữ
Với Amazon S3, bạn có thể lưu trữ dữ liệu ở nhiều lớp lưu trữ S3 được xây dựng có mục đích cho các trường hợp sử dụng và kiểu mẫu truy cập cụ thể: S3 phân bậc thông minh, S3 tiêu chuẩn, S3 Express một vùng, S3 tiêu chuẩn – truy cập không thường xuyên (S3 tiêu chuẩn – IA), S3 một vùng – truy cập không thường xuyên (S3 một vùng – IA), S3 Glacier truy xuất tức thì, S3 Glacier truy xuất linh hoạt, S3 Glacier lưu trữ sâu và S3 Outposts.
Mỗi lớp lưu trữ S3 đều hỗ trợ một cấp độ truy cập dữ liệu cụ thể với chi phí hoặc vị trí địa lý tương ứng.
Đối với dữ liệu có các kiểu mẫu truy cập thay đổi, không xác định hoặc không thể đoán trước, chẳng hạn như hồ dữ liệu, phân tích hoặc ứng dụng mới, hãy sử dụng S3 phân bậc thông minh để tự động tối ưu hóa chi phí lưu trữ. S3 Intelligent-Tiering tự động di chuyển dữ liệu của bạn giữa ba bậc truy cập có độ trễ thấp, được tối ưu hóa cho việc truy cập thường xuyên, không thường xuyên và hiếm khi xảy ra. Khi tập con các đối tượng được lưu trữ theo thời gian, bạn có thể kích hoạt bậc truy cập lưu trữ được thiết kế cho kiểu truy cập không đồng bộ.
Với các kiểu truy cập dễ dự đoán hơn, bạn có thể lưu trữ dữ liệu sản xuất tối quan trọng trong S3 tiêu chuẩn cho truy cập thường xuyên, tăng tốc các ứng dụng quan trọng về hiệu năng bằng cách lưu trữ dữ liệu được truy cập thường xuyên nhất của bạn trong S3 nhanh một vùng, tiết kiệm chi phí bằng cách lưu trữ dữ liệu truy cập không thường xuyên trong S3 tiêu chuẩn – IA hoặc S3 một vùng – IA và lưu trữ dữ liệu với chi phí thấp nhất trong các lớp lưu trữ – S3 Glacier truy xuất tức thì, S3 Glacier truy xuất linh hoạt và S3 Glacier lưu trữ sâu. Bạn có thể sử dụng Phân tích lớp lưu trữ S3 để theo dõi kiểu mẫu truy cập trên các đối tượng và khám phá dữ liệu cần di chuyển sang lớp lưu trữ có chi phí thấp hơn. Sau đó, bạn có thể sử dụng thông tin này để cấu hình một chính sách Vòng đời S3 giúp thực hiện quá trình truyền dữ liệu. Chính sách S3 Lifecycle có thể dùng để kết thúc hiệu lực của đối tượng khi hết vòng đời của chúng.
Nếu bạn có yêu cầu về vị trí lưu dữ liệu mà Khu vực AWS hiện có không thể đáp ứng, bạn có thể sử dụng lớp lưu trữ S3 Outposts để lưu trữ dữ liệu S3 tại chỗ bằng cách sử dụng S3 trên Outposts.
Tìm hiểu thêm bằng cách truy cập Lớp lưu trữ S3, Phân tích lớp lưu trữ S3 và Quản lý vòng đời S3.
Quản lý truy cập và bảo mật
Quản lý truy cập
Để bảo vệ dữ liệu của bạn trong Amazon S3, theo mặc định, người dùng chỉ có quyền truy cập vào tài nguyên S3 mà họ tạo. Bạn có thể cấp quyền truy cập cho người dùng khác bằng cách sử dụng một hoặc một tổ hợp các tính năng quản lý quyền truy cập sau: AWS Identity and Access Management (IAM) để tạo người dùng và quản lý quyền truy cập tương ứng của họ; Danh sách kiểm soát truy cập (ACL) để cho phép người dùng được ủy quyền truy cập vào từng đối tượng; chính sách vùng lưu trữ để cấu hình quyền cho tất cả đối tượng trong một vùng lưu trữ S3 duy nhất; Điểm truy cập S3 để đơn giản hóa việc quản lý quyền truy cập dữ liệu vào các tập dữ liệu dùng chung bằng cách tạo các điểm truy cập có tên và quyền cụ thể cho từng ứng dụng hoặc tập ứng dụng; Cấp quyền truy cập trong S3 để quản lý quyền dữ liệu trên quy mô lớn bằng cách tự động cấp quyền truy cập S3 cho người dùng cuối dựa trên danh tính công ty của họ; và Xác thực chuỗi truy vấn để cấp quyền truy cập trong thời gian giới hạn cho người khác bằng URL tạm thời. Amazon S3 cũng hỗ trợ Bản ghi kiểm tra liệt kê các yêu cầu được đưa ra đối với tài nguyên S3 để bạn có được cái nhìn toàn diện về đối tượng truy cập và dữ liệu được truy cập.
Bảo mật
Amazon S3 cung cấp các tính năng bảo mật linh hoạt để chặn người dùng trái phép truy cập dữ liệu của bạn. Sử dụng điểm cuối VPC để kết nối với tài nguyên S3 từ Amazon Virtual Private Cloud (Amazon VPC) và môi trường tại chỗ. Amazon S3 mã hóa tất cả dữ liệu mới tải lên vùng lưu trữ (tính đến 5 tháng 1 năm 2023). Amazon S3 hỗ trợ cả mã hóa phía máy chủ (với bốn tùy chọn quản lý khóa) và mã hóa phía máy khách để tải lên dữ liệu (xem Hướng dẫn sử dụng Amazon S3 để biết thêm thông tin về mã hóa dữ liệu với S3). Sử dụng Kiểm kê S3 để kiểm tra trạng thái mã hóa của các đối tượng S3 (xem quản lý lưu trữ để biết thêm thông tin về Kiểm kê S3).
Chặn truy cập công cộng trong S3 là một tập hợp các biện pháp kiểm soát bảo mật đảm bảo các vùng lưu trữ và đối tượng của S3 không cho phép truy cập công khai. Block Public Access được bật theo mặc định cho tất cả các vùng lưu trữ mới. Với vài cú nhấp chuột trong bảng điều khiển quản lý Amazon S3, bạn có thể áp dụng cài đặt S3 Block Public Access cho tất cả vùng lưu trữ trong tài khoản AWS của mình hoặc cho vùng lưu trữ S3 cụ thể. Khi cài đặt này được áp dụng cho một tài khoản AWS, tất cả vùng lưu trữ và đối tượng mới hoặc hiện có được liên kết với tài khoản đó sẽ kế thừa cài đặt này để ngăn chặn truy cập công khai. Cài đặt S3 Block Public Access ghi đè các quyền truy cập S3 khác, giúp quản trị viên tài khoản dễ dàng thực thi chính sách “không truy cập công khai”, bất kể cách thức thêm đối tượng, cách tạo vùng lưu trữ hoặc có quyền truy cập hiện tại hay không. Kiểm soát S3 Block Public Access có thể kiểm tra được, cung cấp một lớp kiểm soát bổ sung và sử dụng các mục kiểm tra quyền bộ chứa AWS Trusted Advisor, nhật ký AWS CloudTrail và cảnh báo Amazon CloudWatch. Bạn nên bật tính năng Block Public Access cho tất cả tài khoản và vùng lưu trữ mà bạn không muốn cho truy cập công khai.
Quyền sở hữu đối tượng trong S3 là tính năng giúp vô hiệu hóa Danh sách kiểm soát truy cập (ACL), thay đổi quyền sở hữu cho tất cả đối tượng thành chủ sở hữu vùng lưu trữ và đơn giản hóa hoạt động quản lý quyền truy cập đối với dữ liệu được lưu trữ trong S3. Khi bạn cấu hình chế độ cài đặt Do chủ sở hữu vùng lưu trữ thực thi trong Quyền sở hữu đối tượng trong S3, ACL sẽ không còn ảnh hưởng đến quyền đối với vùng lưu trữ của bạn và các đối tượng trong đó. Toàn bộ việc kiểm soát truy cập sẽ được xác định bằng các chính sách dựa trên tài nguyên, chính sách người dùng hoặc kết hợp những chính sách này. Trước khi tắt ACL, hãy xem lại ACL vùng lưu trữ và đối tượng của bạn. Để xác định các yêu cầu Amazon S3 cần có ACL để cấp quyền, bạn có thể sử dụng trường aclRequired trong bản ghi truy cập máy chủ Amazon S3 hoặc AWS CloudTrail.
Khi sử dụng Điểm truy cập S3 được giới hạn ở một Đám mây riêng ảo (VPC), bạn có thể dễ dàng tạo tường lửa cho dữ liệu S3 trong mạng riêng của mình. Ngoài ra, bạn cũng có thể dùng Chính sách kiểm soát dịch vụ AWS để yêu cầu giới hạn mọi Điểm truy cập S3 mới trong tổ chức của bạn chỉ được truy cập vào VPC.
Trình phân tích truy cập của IAM cho S3 là tính năng giúp bạn đơn giản hóa hoạt động quản lý quyền khi bạn thiết lập, xác minh và tinh chỉnh các chính sách cho vùng lưu trữ và điểm truy cập S3 của mình. Access Analyzer for S3 giám sát các chính sách truy cập vùng lưu trữ hiện có của bạn để xác minh rằng chúng chỉ cung cấp quyền truy cập cần thiết vào tài nguyên S3 của bạn. Access Analyzer for S3 đánh giá các chính sách truy cập vùng lưu trữ của bạn để bạn có thể nhanh chóng khắc phục mọi vùng lưu trữ có hoạt động truy cập không cần thiết. Khi xem xét kết quả và nhận thấy có khả năng tồn tại quyền truy cập chung vào vùng lưu trữ, bạn có thể áp dụng tính năng Block Public Access chỉ với một cú nhấp chuột trong bảng điều khiển S3. Để phục vụ mục đích kiểm tra, bạn có thể tải các kết quả phát hiện của Access Analyzer for S3 xuống dưới dạng báo cáo CSV. Ngoài ra, bảng điều khiển S3 sẽ báo cáo các cảnh báo, lỗi và đề xuất bảo mật từ IAM Access Analyzer khi bạn tạo các chính sách S3 của mình. Bảng điều khiển tự động chạy hơn 100 lượt kiểm tra chính sách để xác thực các chính sách của bạn. Việc kiểm tra này giúp bạn tiết kiệm thời gian, hướng dẫn bạn xử lý lỗi và hỗ trợ bạn áp dụng các phương pháp bảo mật tốt nhất.
IAM giúp bạn phân tích quyền truy cập và giảm quyền một cách dễ dàng hơn để đạt được đặc quyền tối thiểu bằng cách cung cấp dấu thời gian về lần gần đây nhất một người dùng hoặc vai trò sử dụng S3 và các thao tác có liên quan. Hãy sử dụng thông tin “lần truy cập gần nhất” này để phân tích truy cập S3, xác định quyền không được sử dụng và tự tin loại bỏ các quyền này. Để tìm hiểu thêm, hãy xem Tinh chỉnh quyền bằng dữ liệu của lần truy cập gần nhất.
Bạn có thể dùng Amazon Macie để khám phá và bảo vệ dữ liệu nhạy cảm được lưu trữ trong Amazon S3. Macie tự động tập hợp một kho S3 hoàn chỉnh và liên tục đánh giá tất cả các vùng lưu trữ để cảnh báo những vùng lưu trữ có thể truy cập công khai, vùng lưu trữ không được mã hóa hoặc vùng lưu trữ được chia sẻ hay trùng với tài khoản AWS bên ngoài tổ chức của bạn. Sau đó, Macie áp dụng các kỹ thuật máy học và đối chiếu kiểu với các vùng lưu trữ bạn chọn để xác định và cảnh báo bạn về những dữ liệu nhạy cảm, chẳng hạn như thông tin nhận dạng cá nhân (PII). Ngay khi tạo, các kết quả phát hiện về bảo mật sẽ được đẩy ra Sự kiện Amazon CloudWatch để dễ dàng tích hợp với các hệ thống quy trình công việc hiện có, cũng như kích hoạt chế độ khắc phục tự động qua các dịch vụ như AWS Step Functions để thực hiện hành động như đóng vùng lưu trữ công khai hoặc thêm thẻ tài nguyên.
AWS PrivateLink dành cho S3 cung cấp kết nối riêng tư giữa Amazon S3 và môi trường tại chỗ. Bạn có thể cung cấp điểm cuối VPC giao diện cho S3 trong VPC của mình để kết nối các ứng dụng tại chỗ của bạn trực tiếp với S3 qua AWS Direct Connect hoặc AWS VPN. Các yêu cầu tới điểm cuối VPC giao diện cho S3 được tự động chuyển đến S3 qua mạng Amazon. Bạn có thể đặt các nhóm bảo mật và cấu hình chính sách điểm cuối VPC cho điểm cuối VPC giao diện của mình để tăng thêm kiểm soát truy cập.
Tìm hiểu thêm bằng cách truy cập quản lý quyền truy cập và bảo mật S3, sách điện tử về bảo mật và bảo vệ dữ liệu S3 và bảo vệ dữ liệu trong Amazon S3.
Xử lý dữ liệu
Lambda đối tượng S3
Với Lambda đối tượng S3, bạn có thể thêm mã của riêng mình vào các yêu cầu GET, HEAD và LIST của S3 để sửa đổi và xử lý dữ liệu khi được trả về ứng dụng. Bạn có thể sử dụng mã tùy chỉnh để sửa đổi dữ liệu mà các yêu cầu GET S3 tiêu chuẩn trả lại để lọc các hàng, linh hoạt thay đổi kích thước hình ảnh, loại bỏ dữ liệu bí mật và hơn thế nữa. Bạn cũng có thể sử dụng S3 Object Lambda để sửa đổi đầu ra của các yêu cầu S3 LIST để tạo chế độ xem tùy chỉnh về các đối tượng trong một vùng lưu trữ và các yêu cầu S3 HEAD để sửa đổi siêu dữ liệu đối tượng như tên và kích thước đối tượng. Được cung cấp bởi các hàm AWS Lambda, mã của bạn chạy trên cơ sở hạ tầng được AWS quản lý hoàn toàn, loại bỏ nhu cầu tạo và lưu trữ các bản sao phái sinh của dữ liệu hoặc nhu cầu chạy các proxy đắt tiền, tất cả đều không cần thay đổi bất cứ điều gì đối với các ứng dụng.
Lambda đối tượng S3 sử dụng các hàm AWS Lambda để tự động xử lý đầu ra cho yêu cầu GET, HEAD hoặc LIST tiêu chuẩn của S3. AWS Lambda là một dịch vụ điện toán phi máy chủ chạy mã do khách hàng xác định mà không yêu cầu quản lý các tài nguyên điện toán cơ bản. Chỉ với một vài cú nhấp chuột trong Bảng điều khiển quản lý AWS, bạn có thể định cấu hình một hàm Lambda và gắn nó vào một Điểm truy cập S3 Object Lambda. Từ thời điểm đó trở đi, S3 sẽ tự động gọi hàm Lambda của bạn để xử lý bất kỳ dữ liệu nào được truy xuất thông qua Điểm truy cập S3 Object Lambda, trả kết quả đã chuyển đổi về ứng dụng. Bạn có thể tạo ra và thực thi các hàm Lambda tùy chỉnh của riêng mình, điều chỉnh hoạt động chuyển đổi dữ liệu của Lambda đối tượng S3 cho phù hợp với trường hợp sử dụng cụ thể của bạn.
Truy vấn tại chỗ
Truy vấn tại chỗ
Amazon S3 có các dịch vụ bổ sung giúp truy vấn dữ liệu mà không cần sao chép và tải dữ liệu vào một nền tảng phân tích riêng hay kho dữ liệu. Điều đó nghĩa là bạn có thể chạy phân tích dữ liệu trực tiếp trên dữ liệu được lưu trữ trong Amazon S3.
Amazon S3 tương thích với các dịch vụ phân tích AWS là Amazon Athena và Amazon Redshift Spectrum. Amazon Athena truy vấn dữ liệu của bạn trong Amazon S3 mà không cần trích xuất và tải dữ liệu vào một dịch vụ hay nền tảng riêng. Dịch vụ này sử dụng biểu thức SQL tiêu chuẩn để phân tích dữ liệu của bạn, phân phối kết quả trong vài giây và thường dùng để khám phá dữ liệu đặc thù. Amazon Redshift Spectrum cũng chạy truy vấn SQL trực tiếp dựa trên dữ liệu đang được lưu trữ trong Amazon S3 và thích hợp hơn đối với truy vấn phức tạp và tập dữ liệu lớn (lên tới hàng exabyte). Do Amazon Athena và Amazon Redshift chia sẻ định dạng dữ liệu và danh mục dữ liệu chung, nên bạn có thể sử dụng cả hai dịch vụ này với cùng tập dữ liệu trong Amazon S3.
Tìm hiểu thêm về cách truy vấn dữ liệu của bạn trong Amazon S3 bằng cách đọc bài đăng trên .
Truyền dữ liệu
Truyền dữ liệu
AWS cung cấp một hồ sơ gồm các dịch vụ truyền dữ liệu nhằm mang đến giải pháp thích hợp cho mọi dự án di chuyển dữ liệu. Mức độ kết nối là yếu tố chính trong việc di chuyển dữ liệu. AWS có các dịch vụ có thể xác định nhu cầu của bạn trong việc lưu trữ đám mây kết hợp, truyền dữ liệu trực tuyến và ngoại tuyến.
Lưu trữ đám mây lai: Cổng lưu trữ AWS là dịch vụ lưu trữ đám mây lai cho phép bạn kết nối và mở rộng ứng dụng tại chỗ của mình đến Kho lưu trữ AWS một cách liền mạch. Khách hàng sử dụng Storage Gateway để thay thế liền mạch thư viện băng từ bằng lưu trữ đám mây, cung cấp tính năng chia sẻ tệp dựa trên lưu trữ đám mây hoặc tạo bộ đệm có độ trễ thấp để truy cập vào dữ liệu trong AWS dành cho ứng dụng tại chỗ.
Truyền dữ liệu trực tuyến: AWS DataSync giúp bạn truyền hàng trăm terabyte và hàng triệu tệp đến Amazon S3 một cách dễ dàng và hiệu quả, nhanh hơn tới 10 lần so với các công cụ nguồn mở. DataSync tự động xử lý hoặc loại bỏ nhiều tác vụ thủ công, bao gồm tạo tập lệnh cho tác vụ sao chép, lập lịch trình và giám sát hoạt động truyền dữ liệu, xác thực dữ liệu và tối ưu hóa việc sử dụng mạng. Ngoài ra, bạn có thể sử dụng AWS DataSync để sao chép các đối tượng giữa một nhóm thuộc S3 trên Outposts và một vùng lưu trữ trong Khu vực AWS. Bộ hỗ trợ truyền AWS cung cấp khả năng truyền tệp được quản lý toàn phần, đơn giản và liền mạch sang Amazon S3 bằng SFTP, FTPS và FTP. Tính năng tăng tốc truyền của Amazon S3 cho phép truyền tệp một cách nhanh chóng qua khoảng cách lớn giữa máy khách và vùng lưu trữ Amazon S3 của bạn.
Truyền dữ liệu ngoại tuyến/khả năng kết nối kém hoặc không có khả năng kết nối: Hệ thống AWS Snow được xây dựng nhằm mục đích sử dụng tại các vị trí biên, nơi công suất mạng bị hạn chế hoặc không tồn tại, cũng như cung cấp các khả năng lưu trữ và điện toán trong môi trường khắc nghiệt. AWS Snowcone là một thiết bị vô cùng nhỏ, có tính di động cực cao, chắc chắn và bảo mật thuộc Hệ thống AWS Snow. Thiết bị này cung cấp khả năng điện toán biên, kho lưu trữ dữ liệu và truyền dữ liệu mọi lúc mọi nơi, trong môi trường khắc nghiệt với khả năng kết nối kém hoặc không có khả năng kết nối. Dịch vụ AWS Snowball sử dụng các thiết bị lưu trữ và điện toán biên di động, chắc chắn để thu thập, xử lý và di chuyển dữ liệu. Khách hàng có thể vận chuyển thiết bị Snowball vật lý để di chuyển dữ liệu ngoại tuyến sang AWS.
Khách hàng cũng có thể làm việc với nhà cung cấp bên thứ ba từ AWS Partner Network (APN) để triển khai kiến trúc lưu trữ kết hợp, tích hợp Amazon S3 vào ứng dụng và quy trình làm việc hiện có, cũng như truyền dữ liệu đến và đi từ AWS.
Tìm hiểu thêm bằng cách truy cập dịch vụ di chuyển dữ liệu lên đám mây AWS, Cổng lưu trữ AWS, AWS DataSync, Bộ hỗ trợ truyền AWS, Tính năng tăng tốc truyền của Amazon S3, và Hệ thống AWS Snow.
Trao đổi dữ liệu
Trao đổi dữ liệu
Trao đổi dữ liệu trên AWS dành cho Amazon S3 đẩy nhanh thời gian thu thập thông tin chuyên sâu bằng khả năng truy cập trực tiếp vào dữ liệu Amazon S3 của nhà cung cấp dữ liệu. Trao đổi dữ liệu trên AWS dành cho Amazon S3 giúp bạn dễ dàng tìm kiếm, đăng ký và sử dụng các tệp dữ liệu của bên thứ ba để tối ưu hóa chi phí lưu trữ, đơn giản hóa việc quản lý cấp phép dữ liệu, v.v. Dịch vụ này dành cho những người đăng ký muốn dễ dàng sử dụng các tệp dữ liệu của bên thứ ba để phân tích dữ liệu cùng các dịch vụ AWS mà không cần tạo hoặc quản lý các bản sao dữ liệu. Tính năng này cũng có ích cho các nhà cung cấp dữ liệu muốn cấp quyền truy cập tại chỗ vào dữ liệu được lưu trữ trong vùng lưu trữ Amazon S3 của họ.
Khi người đăng ký dữ liệu được cấp quyền truy cập tập dữ liệu Trao đổi dữ liệu trên AWS dành cho Amazon S3, họ có thể bắt đầu phân tích dữ liệu mà không phải thiết lập vùng lưu trữ S3 của riêng mình, sao chép tệp dữ liệu vào các vùng lưu trữ S3 đó hoặc trả phí lưu trữ liên quan. Bạn có thể phân tích dữ liệu cùng các dịch vụ AWS như Amazon Athena, Cửa hàng tính năng của Amazon SageMaker hoặc Amazon EMR. Người đăng ký sẽ truy cập vào cùng các đối tượng S3 được nhà cung cấp dữ liệu duy trì, do đó họ sẽ luôn sử dụng dữ liệu mới nhất hiện có mà không cần thiết kế hay vận hành bổ sung. Các nhà cung cấp dữ liệu có thể dễ dàng thiết lập dịch vụ Trao đổi dữ liệu trên AWS dành cho Amazon S3 trên các vùng lưu trữ S3 hiện có để chia sẻ quyền truy cập trực tiếp vào toàn bộ vùng lưu trữ S3 hoặc các loại tiền tố và đối tượng S3 cụ thể. Sau khi thiết lập, dịch vụ Trao đổi dữ liệu trên AWS sẽ tự động quản lý các gói đăng ký, cấp quyền, tính phí và thanh toán.
Hiệu năng
Hiệu năng
Amazon S3 cung cấp hiệu năng hàng đầu trong ngành cho lưu trữ đối tượng đám mây. Amazon S3 hỗ trợ các yêu cầu song song, có nghĩa là bạn có thể mở rộng quy mô hiệu năng S3 của mình theo cụm điện toán mà không cần thực hiện bất kỳ tùy chỉnh nào đối với ứng dụng của bạn. Hiệu năng mở rộng quy mô cho mỗi tiền tố, vì vậy bạn có thể sử dụng song song nhiều tiền tố tùy ý để đạt được thông lượng cần thiết. Không có giới hạn về số lượng tiền tố. Hiệu năng của Amazon S3 hỗ trợ ít nhất 3.500 yêu cầu mỗi giây để thêm dữ liệu và 5.500 yêu cầu mỗi giây để truy xuất dữ liệu. Mỗi tiền tố S3 có thể hỗ trợ các tỷ lệ yêu cầu này, giúp dễ dàng tăng hiệu năng một cách đáng kể.
Để đạt được hiệu năng tỷ lệ yêu cầu S3 này, bạn không cần chọn ngẫu nhiên các tiền tố đối tượng để đạt được hiệu năng nhanh hơn. Điều đó có nghĩa là bạn có thể sử dụng các kiểu đặt tên logic hoặc tuần tự trong đặt tên đối tượng S3 mà không có bất kỳ tác động nào lên hiệu năng. Tham khảo Hướng dẫn về hiệu năng cho Amazon S3 và Mẫu thiết kế hiệu năng cho Amazon S3 để biết thông tin mới nhất về tối ưu hóa hiệu năng cho Amazon S3.
Tính nhất quán
Amazon S3 tự động cung cấp tính nhất quán cao cho phép đọc sau khi ghi cho tất cả các ứng dụng mà không cần thay đổi hiệu năng hoặc tính khả dụng, không phải hy sinh khả năng cô lập theo khu vực cho các ứng dụng và không mất thêm phí. Với Tính nhất quán mạnh mẽ của S3, S3 đơn giản hóa việc di chuyển khối lượng công việc phân tích tại chỗ bằng cách loại bỏ nhu cầu thực hiện thay đổi đối với ứng dụng và giảm chi phí bằng cách loại bỏ nhu cầu cần thêm cơ sở hạ tầng để cung cấp tính nhất quán mạnh mẽ.
Mọi yêu cầu về lưu trữ S3 đều nhất quán. Sau khi ghi thành công đối tượng mới hoặc ghi đè đối tượng hiện có, bất kỳ yêu cầu đọc tiếp theo nào sẽ ngay lập tức nhận được phiên bản mới nhất của đối tượng. S3 cũng cung cấp tính nhất quán cao cho các hoạt động trong danh sách, vì vậy sau khi ghi, bạn có thể thực hiện ngay việc lập niêm yết các đối tượng trong một vùng lưu trữ với bất kỳ thay đổi nào được phản ánh.
Mục đích sử dụng và hạn chế
Khi sử dụng dịch vụ này, bạn phải tuân theo Thỏa thuận khách hàng của Amazon Web Services.