Tích hợp là cách chính để giảm chi phí hoạt động, đặc biệt là khi chi phí được tích hợp vào hệ thống dữ liệu của bạn. Thông qua việc tích hợp dữ liệu chính giữa Dịch vụ OpenSearch của Amazon và các dịch vụ AWS khác, bạn có thể tận dụng các lợi ích chính của Dịch vụ OpenSearch trên dữ liệu của mình, bất kể vị trí lưu trữ, thường giảm chi phí vận hành và độ phức tạp trong quản lý dữ liệu. Ngoài ra, việc tải nhập dữ liệu cho phép chuyển đổi, dọn dẹp, ánh xạ và tải dữ liệu một cách hiệu quả, để dữ liệu có sẵn ngay sau khi truy vấn mà không làm quá tải hệ thống điện toán và mạng của cụm.
Với Dịch vụ OpenSearch của Amazon, bạn có thể dễ dàng thực hiện tất cả những điều này bằng cách tận dụng khả năng Tải nhập dữ liệu OpenSearch của Amazon và tích hợp với các dịch vụ AWS khác nhau, bao gồm Firehose dữ liệu Amazon Kinesis, Logstash, Amazon CloudWatch hoặc AWS IoT. Và với tích hợp không ETL, bao gồm Amazon S3 và DynamoDB, bạn có thể hoàn thành nhiều công việc hơn nữa. Các tích hợp và kết nối này cung cấp cho bạn nhiều lựa chọn tích hợp và công cụ tải nhập dữ liệu phù hợp với các yêu cầu trong trường hợp sử dụng của bạn.
Tải nhập dữ liệu bằng cách sử dụng Amazon OpenSearch Ingestion
Amazon OpenSearch Ingestion là một khả năng của Dịch vụ OpenSearch của Amazon để thu thập, chuyển đổi và định tuyến dữ liệu đến các miền Dịch vụ OpenSearch của Amazon. OpenSearch Ingestion thúc đẩy hiệu quả chi phí và giúp đảm bảo chất lượng dữ liệu. OpenSearch Ingestion Service chạy các kênh phân phối OpenSearch Data Prepper như một quy trình phi máy chủ tự động điều chỉnh quy mô theo nhu cầu xử lý của khối lượng công việc tải nhập của bạn. Tìm hiểu thêm »
Tích hợp không ETL giữa Dịch vụ OpenSearch của Amazon và Amazon S3
Tích hợp không ETL giữa Dịch vụ OpenSearch của Amazon và Amazon S3 là một cách mới để kết nối với dữ liệu của một người, cho phép khách hàng sử dụng các khả năng tương tác phong phú của Dịch vụ OpenSearch trực tiếp trên dữ liệu được truy vấn thường xuyên được lưu trong hồ dữ liệu Amazon S3 của họ với tích hợp không ETL. Kết nối không ETL với S3 loại bỏ nhu cầu xây dựng hoặc quản lý các quy trình ETL phức tạp, cho phép khách hàng thực hiện các truy vấn quan trọng để thu thập thông tin chi tiết và trực quan hóa dữ liệu bảo mật và khả năng quan sát, đồng thời giảm chi phí và mức độ phức tạp khi sao chép dữ liệu hoặc quản lý nhiều công cụ phân tích. Tìm hiểu thêm >>
Tích hợp không ETL với DynamoDB
Tích hợp không ETL giữa Dịch vụ OpenSearch của Amazon và Amazon DynamoDB cho phép bạn sử dụng các khả năng tìm kiếm nâng cao như tìm kiếm toàn văn bản và vectơ trên dữ liệu hoạt động của bạn trong Amazon DynamoDB. Tích hợp không ETL này sử dụng OpenSearch Ingestion để đồng bộ hóa liền mạch dữ liệu của bạn từ Amazon DynamoDB với Dịch vụ OpenSearch của Amazon mà không phải ghi bất kỳ mã tùy chỉnh nào. Tích hợp không ETL này giúp giảm gánh nặng hoạt động và chi phí liên quan đến việc đồng bộ hóa dữ liệu giữa hai kho lưu trữ này, cho phép bạn tập trung vào các ứng dụng của mình. Tìm hiểu thêm>>
Tải nhập dữ liệu thông qua Firehose dữ liệu Amazon Kinesis
Với Amazon Kinesis Firehose, bạn có thể dễ dàng chuyển đổi dữ liệu phát trực tiếp thô từ các nguồn dữ liệu của mình thành những định dạng mà chỉ mục Elasticsearch hoặc OpenSearch của bạn yêu cầu và nạp vào Amazon OpenSearch Service mà không phải xây dựng đường ống xử lý dữ liệu riêng.
Để sử dụng tính năng này, bạn chỉ cần lựa chọn một chức năng AWS Lambda từ thẻ cấu hình luồng phân phối Amazon Kinesis Firehose trong Bảng điều khiển quản lý AWS. Amazon Kinesis Firehose sẽ tự động áp dụng chức năng AWS Lambda vào mọi bản ghi dữ liệu đầu vào và nạp dữ liệu đã chuyển đổi vào chỉ mục Amazon OpenSearch Service của bạn.
Amazon Kinesis Firehose cung cấp các bản thiết kế Lambda đã tạo sẵn có thể được sử dụng mà không cần thay đổi hoặc tùy chỉnh để chuyển đổi những nguồn dữ liệu phổ biến, ví dụ như nhật ký Apache và nhật ký hệ thống, sang định dạng JSON và CSV. Bạn cũng có thể cấu hình Amazon Kinesis Firehose để dịch vụ này tự động thử lại những tác vụ thất bại và sao lưu dữ liệu phát trực tiếp thô. Tìm hiểu thêm »
Thu nạp dữ liệu thông qua Logstash
Amazon OpenSearch Service hỗ trợ tích hợp với Logstash, một công cụ xử lý dữ liệu nguồn mở với khả năng thu thập dữ liệu từ các nguồn khác nhau, chuyển đổi dữ liệu và nạp dữ liệu vào Elasticsearch hoặc OpenSearch. Bạn có thể dễ dàng triển khai Logstash trên Amazon EC2 và thiết lập miền Amazon OpenSearch Service của mình thành kho backend chứa tất cả nhật ký được gửi đi thông qua quá trình thực hiện Logstash. Logstash hỗ trợ một thư viện các bộ lọc đã được tạo sẵn để dễ dàng thực hiện những phép chuyển đổi phổ biến như phân tích cú pháp dữ liệu nhật ký phi cấu trúc thành dữ liệu có cấu trúc thông qua so khớp mẫu; đổi tên, xóa, thay thế và sửa đổi các trường trong bản ghi dữ liệu của bạn; và tổng hợp các thông số. Tìm hiểu thêm »
Thu nạp dữ liệu thông qua Amazon CloudWatch Logs
Bạn có thể sử dụng Amazon CloudWatch Logs để giám sát cũng như giải quyết sự cố cho các hệ thống và ứng dụng của mình thông qua các tệp nhật ký về hệ thống, ứng dụng và tệp nhật ký tùy chỉnh hiện có. Bạn có thể cấu hình nhóm nhật ký CloudWatch Logs để truyền dữ liệu tới miền Amazon OpenSearch Service gần như trong thời gian thực thông qua gói đăng ký CloudWatch Logs. Việc tích hợp này rất tiện lợi nếu bạn đang sử dụng CloudWatch Logs để thu thập dữ liệu nhật ký và muốn chia sẻ dữ liệu đó với người dùng Amazon OpenSearch Service của mình. Tìm hiểu thêm »
Thu nạp dữ liệu thông qua AWS IoT
AWS IoT là một nền tảng đám mây được quản lý cho phép các thiết bị đã kết nối có thể dễ dàng tương tác một cách bảo mật với các ứng dụng đám mây và những thiết bị khác. Với AWS IoT, bạn có thể ghi lại dữ liệu từ các thiết bị đã kết nối như thiết bị gia dụng, cảm biến tích hợp và thiết bị giải mã tín hiệu truyền hình của TV. Bạn có thể cấu hình AWS IoT để nạp dữ liệu trực tiếp vào Amazon OpenSearch Service thông qua Bảng điều khiển quản lý AWS, từ đó cung cấp cho khách hàng của mình khả năng truy cập vào dữ liệu và chỉ số IoT gần như trong thời gian thực. Tìm hiểu thêm »
Cách lựa chọn cơ chế thu nạp dữ liệu phù hợp
Việc chọn được cơ chế thu nạp dữ liệu phù hợp phụ thuộc vào các yêu cầu trong trường hợp sử dụng của bạn, chẳng hạn như độ trễ dữ liệu và loại dữ liệu. Đối với các khối lượng dữ liệu lớn, chúng tôi đề xuất sử dụng Amazon Kinesis Data Firehose, đây là một dịch vụ được quản lý hoàn toàn, tự động thay đổi quy mô để phù hợp với thông lượng dữ liệu và không cần liên tục quản trị. Dịch vụ này còn có thể chuyển đổi, nén và gộp dữ liệu trước khi nạp vào miền Amazon OpenSearch Service. Thông thường, việc lựa chọn cũng phụ thuộc vào các dịch vụ bạn đang sử dụng. Ví dụ: nếu bạn đang thu thập nhật ký ứng dụng bằng Amazon CloudWatch Logs, bạn chỉ cần nạp dữ liệu đó vào miền Amazon OpenSearch Service của mình mà không cần tốn thêm nhiều công sức.
Các bước tiếp theo
- Bắt đầu sử dụng Amazon OpenSearch Service với Bậc miễn phí AWS »
- Đọc Hướng dẫn bắt đầu sử dụng Amazon OpenSearch Service
OpenSearch bao gồm một số mã Elasticsearch được Apache cấp phép từ Elasticsearch B.V. và mã nguồn khác. Elasticsearch B.V. không phải là nguồn của mã nguồn khác đó. ELASTICSEARCH là nhãn hiệu đã đăng ký của Elasticsearch B.V.
Tìm hiểu thêm về giá của Amazon OpenSearch Service