Tải nhập dữ liệu bằng cách sử dụng Amazon OpenSearch Ingestion

Amazon OpenSearch Ingestion là một khả năng của Dịch vụ OpenSearch của Amazon để thu thập, chuyển đổi và định tuyến dữ liệu đến các miền Dịch vụ OpenSearch của Amazon. OpenSearch Ingestion thúc đẩy hiệu quả chi phí và giúp đảm bảo chất lượng dữ liệu. OpenSearch Ingestion Service chạy các kênh phân phối OpenSearch Data Prepper như một quy trình phi máy chủ tự động điều chỉnh quy mô theo nhu cầu xử lý của khối lượng công việc tải nhập của bạn. Tìm hiểu thêm »

Tải nhập dữ liệu thông qua Firehose dữ liệu Amazon Kinesis

Với Amazon Kinesis Firehose, bạn có thể dễ dàng chuyển đổi dữ liệu phát trực tiếp thô từ các nguồn dữ liệu của mình thành những định dạng mà chỉ mục Elasticsearch hoặc OpenSearch của bạn yêu cầu và nạp vào Amazon OpenSearch Service mà không phải xây dựng đường ống xử lý dữ liệu riêng.

Để sử dụng tính năng này, bạn chỉ cần lựa chọn một chức năng AWS Lambda từ thẻ cấu hình luồng phân phối Amazon Kinesis Firehose trong Bảng điều khiển quản lý AWS. Amazon Kinesis Firehose sẽ tự động áp dụng chức năng AWS Lambda vào mọi bản ghi dữ liệu đầu vào và nạp dữ liệu đã chuyển đổi vào chỉ mục Amazon OpenSearch Service của bạn.

Amazon Kinesis Firehose cung cấp các bản thiết kế Lambda đã tạo sẵn có thể được sử dụng mà không cần thay đổi hoặc tùy chỉnh để chuyển đổi những nguồn dữ liệu phổ biến, ví dụ như nhật ký Apache và nhật ký hệ thống, sang định dạng JSON và CSV. Bạn cũng có thể cấu hình Amazon Kinesis Firehose để dịch vụ này tự động thử lại những tác vụ thất bại và sao lưu dữ liệu phát trực tiếp thô. Tìm hiểu thêm »

 

Thu nạp dữ liệu thông qua Logstash

Amazon OpenSearch Service hỗ trợ tích hợp với Logstash, một công cụ xử lý dữ liệu nguồn mở với khả năng thu thập dữ liệu từ các nguồn khác nhau, chuyển đổi dữ liệu và nạp dữ liệu vào Elasticsearch hoặc OpenSearch. Bạn có thể dễ dàng triển khai Logstash trên Amazon EC2 và thiết lập miền Amazon OpenSearch Service của mình thành kho backend chứa tất cả nhật ký được gửi đi thông qua quá trình thực hiện Logstash. Logstash hỗ trợ một thư viện các bộ lọc đã được tạo sẵn để dễ dàng thực hiện những phép chuyển đổi phổ biến như phân tích cú pháp dữ liệu nhật ký phi cấu trúc thành dữ liệu có cấu trúc thông qua so khớp mẫu; đổi tên, xóa, thay thế và sửa đổi các trường trong bản ghi dữ liệu của bạn; và tổng hợp các thông số. Tìm hiểu thêm »

Thu nạp dữ liệu thông qua Amazon CloudWatch Logs

Bạn có thể sử dụng Amazon CloudWatch Logs để giám sát cũng như giải quyết sự cố cho các hệ thống và ứng dụng của mình thông qua các tệp nhật ký về hệ thống, ứng dụng và tệp nhật ký tùy chỉnh hiện có. Bạn có thể cấu hình nhóm nhật ký CloudWatch Logs để truyền dữ liệu tới miền Amazon OpenSearch Service gần như trong thời gian thực thông qua gói đăng ký CloudWatch Logs. Việc tích hợp này rất tiện lợi nếu bạn đang sử dụng CloudWatch Logs để thu thập dữ liệu nhật ký và muốn chia sẻ dữ liệu đó với người dùng Amazon OpenSearch Service của mình. Tìm hiểu thêm »

Thu nạp dữ liệu thông qua AWS IoT

AWS IoT là một nền tảng đám mây được quản lý cho phép các thiết bị đã kết nối có thể dễ dàng tương tác một cách bảo mật với các ứng dụng đám mây và những thiết bị khác. Với AWS IoT, bạn có thể ghi lại dữ liệu từ các thiết bị đã kết nối như thiết bị gia dụng, cảm biến tích hợp và thiết bị giải mã tín hiệu truyền hình của TV. Bạn có thể cấu hình AWS IoT để nạp dữ liệu trực tiếp vào Amazon OpenSearch Service thông qua Bảng điều khiển quản lý AWS, từ đó cung cấp cho khách hàng của mình khả năng truy cập vào dữ liệu và chỉ số IoT gần như trong thời gian thực. Tìm hiểu thêm »

Cách lựa chọn cơ chế thu nạp dữ liệu phù hợp

Việc chọn được cơ chế thu nạp dữ liệu phù hợp phụ thuộc vào các yêu cầu trong trường hợp sử dụng của bạn, chẳng hạn như độ trễ dữ liệu và loại dữ liệu. Đối với các khối lượng dữ liệu lớn, chúng tôi đề xuất sử dụng Amazon Kinesis Data Firehose, đây là một dịch vụ được quản lý hoàn toàn, tự động thay đổi quy mô để phù hợp với thông lượng dữ liệu và không cần liên tục quản trị. Dịch vụ này còn có thể chuyển đổi, nén và gộp dữ liệu trước khi nạp vào miền Amazon OpenSearch Service. Thông thường, việc lựa chọn cũng phụ thuộc vào các dịch vụ bạn đang sử dụng. Ví dụ: nếu bạn đang thu thập nhật ký ứng dụng bằng Amazon CloudWatch Logs, bạn chỉ cần nạp dữ liệu đó vào miền Amazon OpenSearch Service của mình mà không cần tốn thêm nhiều công sức.

Các bước tiếp theo

OpenSearch bao gồm một số mã Elasticsearch được Apache cấp phép từ Elasticsearch B.V. và mã nguồn khác. Elasticsearch B.V. không phải là nguồn của mã nguồn khác đó. ELASTICSEARCH là nhãn hiệu đã đăng ký của Elasticsearch B.V.

Tìm hiểu thêm về giá của Amazon OpenSearch Service

Truy cập vào trang giá
Bạn đã sẵn sàng xây dựng chưa?
Bắt đầu sử dụng Amazon OpenSearch Service
Bạn có thêm câu hỏi?
Hãy liên hệ chúng tôi