OpenSearch là gì?

OpenSearch là một bộ công cụ tìm kiếm và phân tích phân tán, hướng tới cộng đồng, được cấp phép của Apache 2.0, 100% nguồn mở được sử dụng cho hàng loạt các trường hợp như giám sát ứng dụng theo thời gian thực, phân tích bản ghi và tìm kiếm trang web. OpenSearch cung cấp một hệ thống có quy mô linh hoạt để mang tới khả năng truy cập và phản hồi nhanh khối lượng lớn dữ liệu với công cụ trực quan hóa được tích hợp sẵn, OpenSearch Dashboards, giúp người dùng dễ dàng khám phá dữ liệu của họ. OpenSearch được hỗ trợ bởi thư viện tìm kiếm Apache Lucene và nó hỗ trợ hàng loạt các tính năng tìm kiếm và phân tích, chẳng hạn như tìm kiếm lân cận k gần nhất (KNN), SQL, Phát hiện bất thường, Thư viện Machine Learning Commons, Phân tích dấu vết, tìm kiếm toàn văn bản, v.v.

Tại sao tôi nên sử dụng OpenSearch?

OpenSearch cho phép bạn dễ dàng tải nhập, bảo mật, tìm kiếm, tổng hợp, xem và phân tích dữ liệu cho một số trường hợp sử dụng, chẳng hạn như phân tích bản ghi, tìm kiếm ứng dụng, tìm kiếm doanh nghiệp, v.v. Với OpenSearch, bạn sẽ được hưởng lợi từ việc sở hữu một sản phẩm 100% nguồn mở mà bạn có thể sử dụng, chỉnh sửa, mở rộng, kiếm tiền và bán lại theo mọi cách bạn muốn. Ngày càng có nhiều đối tác của Dự án OpenSearch cung cấp hàng loạt các dịch vụ đa dạng, chẳng hạn như hỗ trợ chuyên môn, các tính năng nâng cao và những dịch vụ OpenSearch được quản lý. Dự án OpenSearch sẽ tiếp tục cung cấp một bộ công cụ tìm kiếm và phân tích chất lượng cao, bảo mật với lộ trình đầy ắp những chức năng mới và sáng tạo.

Lý do khiến OpenSearch được tạo ra là gì?

Các nhà phát triển đón nhận những phần mềm nguồn mở vì nhiều lý do, một trong những lý do quan trọng nhất là quyền được sử dụng phần mềm đó ở bất kỳ đâu và theo bất kỳ cách nào họ muốn. Vào ngày 21 tháng 1 năm 2021, Elastic NV thông báo rằng họ sẽ thay đổi chiến lược cấp phép phần mềm và không phát hành các phiên bản mới của Elasticsearch và Kibana theo Giấy phép Apache, Phiên bản 2.0 (ALv2). Thay vào đó, Elastic sẽ phát hành Elasticsearch và Kibana với mã nguồn có sẵn theo Giấy phép Elastic hoặc Giấy phép công khai phía máy chủ (SSPL). Các giấy phép này không phải là nguồn mở và không đem đến cho người dùng quyền tự do như nhau. Bởi vì một số nhà phát triển muốn phần mềm của họ là nguồn mở đồng thời tránh chỉ theo một nhà cung cấp, chúng tôi đã quyết định tạo ra và duy trì một nhánh rẽ từ phiên bản ALv2 mới nhất của Elasticsearch và Kibana. Nhánh rẽ này có tên là OpenSearch và được phát hành theo giấy phép ALv2.

OpenSearch liên quan như thế nào đến Dịch vụ OpenSearch của Amazon?

Dịch vụ OpenSearch của Amazon là một dịch vụ được AWS quản lý, cho phép bạn chạy và mở rộng các cụm OpenSearch mà không phải bận tâm tới việc quản lý, giám sát và duy trì cơ sở hạ tầng của mình hoặc phải trau dồi kiến thức chuyên môn về cách vận hành các cụm OpenSearch. Chúng tôi đã ra mắt tính năng hỗ trợ cho OpenSearch trong Dịch vụ OpenSearch của Amazon vào tháng 9 năm 2021, bắt đầu với phiên bản 1.0 và đổi tên dịch vụ từ Dịch vụ Elasticsearch của Amazon thành Dịch vụ OpenSearch của Amazon. Kể từ đó, dịch vụ đã hỗ trợ một số tính năng mới được thêm vào OpenSearch qua nhiều phiên bản. Ví dụ như hỗ trợ sao chép liên cụm, phân tích dấu vết, luồng dữ liệu, chuyển đổi, giao diện người dùng với khả năng quan sát mới và sổ ghi chép trong Bảng điều khiển OpenSearch. Ngoài ra, đã có những cải tiến đáng kể đối với k-NN, phát hiện bất thường, PPL, SQL và cảnh báo. Mặc dù Dịch vụ OpenSearch của Amazon tiếp tục hỗ trợ các phiên bản Elasticsearch nguồn mở cũ (cho đến phiên bản 7.10), chúng tôi khuyến khích bạn nên sử dụng OpenSearch trên dịch vụ để được hưởng lợi từ các tính năng mới đang được phát triển trong các phiên bản OpenSearch nguồn mở.

Liệu Dịch vụ OpenSearch của Amazon có hỗ trợ các phiên bản Elasticsearch mới sau phiên bản 7.10 không?

Không. Các phiên bản Elasticsearch sau phiên bản 7.10 không phải nguồn mở và không được phát hành theo giấy phép ALv2. Mặc dù Dịch vụ OpenSearch của Amazon sẽ tiếp tục hỗ trợ các phiên bản Elasticsearch nguồn mở cho đến phiên bản 7.10, trong tương lai, chúng tôi sẽ tận dụng các phiên bản mới của OpenSearch nguồn mở để cung cấp các tính năng và cải tiến cho khách hàng sử dụng Dịch vụ OpenSearch của Amazon cho các trường hợp sử dụng đa dạng của họ như phân tích bản ghi, tìm kiếm và khả năng quan sát.

Liệu OpenSearch có duy trì khả năng tương thích và tính năng tương tự với các phiên bản Elasticsearch mới không?

Lộ trình dành cho OpenSearch nhằm hướng tới cộng đồng và hàng loạt tổ chức đa dạng bao gồm AWS sẽ đóng góp những tính năng mới cho nền tảng mã nguồn mở. OpenSearch được sử dụng cho hàng loạt các trường hợp như giám sát ứng dụng theo thời gian thực, phân tích bản ghi và tìm kiếm trang web. Lộ trình cho OpenSearch nên được nhìn nhận một cách độc lập so với lộ trình của Elasticsearch và trọng tâm của OpenSearch sẽ là cung cấp các tính năng và cải tiến mới mà cộng đồng và khách hàng yêu cầu. Mặc dù OpenSearch có thể bao gồm các tính năng tương tự với những tính năng mới có sẵn trong Elasticsearch (và ngược lại), việc triển khai tất cả các tính năng là độc lập giữa hai dự án. Mục tiêu chính của OpenSearch sẽ là xây dựng những tính năng phù hợp nhất với nhu cầu của cộng đồng OpenSearch cũng như các khách hàng của chúng tôi.

Một số tính năng OpenSearch cung cấp?

Tính năng	Lợi ích
Bảo mật nâng cao	Cung cấp các tính năng mã hóa, xác thực, ủy quyền và kiểm tra. Những tính năng này bao gồm khả năng tích hợp với các web token của Active Directory, LDAP, SAML, Kerberos, JSON, v.v. OpenSearch cũng cung cấp khả năng kiểm soát truy cập chi tiết dựa trên vai trò cho các chỉ mục, tài liệu và trường.
Tính năng tìm kiếm tích hợp sẵn	Cung cấp hàng loạt các tính năng để giúp bạn tùy chỉnh trải nghiệm tìm kiếm của mình, chẳng hạn như Truy vấn toàn văn bản, tự động hoàn tất, cuộn tìm kiếm, chấm điểm và xếp hạng tùy chỉnh, v.v.
Cú pháp truy vấn SQL	Cung cấp cú pháp truy vấn SQL quen thuộc. Sử dụng mệnh đề tổng hợp, group by và where để điều tra dữ liệu của bạn. Đọc dữ liệu dưới dạng tài liệu JSON hoặc bảng CSV để bạn có thể linh hoạt sử dụng định dạng phù hợp nhất với mình.
Hỗ trợ tìm kiếm trong SQL	Cho phép bạn sử dụng cú pháp truy vấn SQL quen thuộc trong khi truy cập vào tập hợp các tính năng tìm kiếm phong phú như khớp gần đúng, thuật toán tăng cường, khớp cụm từ, v.v.
Data Prepper	Data Prepper là bộ thu thập dữ liệu phía máy chủ có khả năng lọc, làm phong phú, chuyển đổi, chuẩn hóa và tổng hợp dữ liệu để phân tích và trực quan hóa hạ nguồn. Data Prepper cho phép người dùng xây dựng các quy trình tùy chỉnh để cải thiện tổng quan hoạt động của ứng dụng.
Phân tích dấu vết	Phân tích dấu vết cung cấp một phương thức để tải nhập và trực quan hóa dữ liệu OpenTelemetry trong OpenSearch. Dữ liệu này có thể giúp bạn tìm và khắc phục các sự cố về hiệu suất trong những ứng dụng phân tán.
Phân tích ứng dụng	Sử dụng phân tích ứng dụng để tạo các ứng dụng có khả năng quan sát tùy chỉnh nhằm theo dõi trạng thái sẵn sàng của hệ thống của bạn, nơi bạn có thể kết hợp các sự kiện ghi với dữ liệu và chỉ số dấu vết thành một cái nhìn duy nhất về tình trạng tổng thể của hệ thống. Điều này cho phép bạn nhanh chóng chuyển đổi giữa bản ghi, dấu vết và chỉ số để tìm hiểu nguồn gốc của bất kỳ vấn đề nào.
Ngôn ngữ xử lý theo ống	Ngôn ngữ xử lý theo ống cung cấp một cú pháp truy vấn quen thuộc với một tập hợp các lệnh toàn diện được phân tách bằng những đường ống (\|) để truy vấn dữ liệu.
Bảng điều khiển vận hành	Xây dựng các bảng điều khiển vận hành để sắp xếp các hình ảnh trực quan về Khả năng quan sát được tạo ra bằng cách sử dụng Ngôn ngữ xử lý theo ống (PPL).
Phân tích sự kiện	Sử dụng các truy vấn Ngôn ngữ xử lý theo ống (PPL) để xây dựng và xem các hình ảnh trực quan khác nhau về dữ liệu của bạn một cách tương tác, bao gồm cả so sánh bản ghi dấu vết.
Thư viện ML Commons	Sử dụng hàng loạt các thuật toán máy học như kmeans và phát hiện dấu vết bất thường để đào tạo mô hình và dự đoán xu hướng trong dữ liệu của bạn. Thư viện ML Commons tích hợp trực tiếp với PPL và API REST.
Báo cáo	Lập lịch, xuất và chia sẻ báo cáo từ bảng thông tin, các tìm kiếm đã lưu, cảnh báo và hình ảnh.
Phát hiện dấu hiệu bất thường	Tận dụng tính năng phát hiện sự bất thường của Máy học dựa trên thuật toán Random Cut Forest (RCF) để tự động phát hiện các điểm bất thường khi dữ liệu của bạn được tải nhập. Kết hợp với tính năng Cảnh báo để giám sát dữ liệu gần với thời gian thực và tự động gửi cảnh báo.
Quản lý chỉ mục	Xác định các chính sách tùy chỉnh để tự động hóa những tác vụ quản lý chỉ mục thông thường, chẳng hạn như cuộn và xóa, đồng thời áp dụng chúng cho các chỉ mục và mẫu chỉ mục.
Chuyển đổi chỉ mục	Tạo chế độ xem tổng hợp về dữ liệu của bạn tập trung vào các trường nhất định để bạn có thể trực quan hóa hoặc phân tích dữ liệu theo nhiều cách khác nhau. Ví dụ: giả sử bạn có dữ liệu hàng không nằm rải rác trên nhiều trường và danh mục và bạn muốn xem tóm tắt dữ liệu được sắp xếp theo hãng hàng không, quý và giá. Bạn có thể sử dụng một tác vụ chuyển đổi để tạo một chỉ mục mới, tóm tắt được sắp xếp theo các hạng mục cụ thể đó.
Tổng hợp chỉ mục	Chọn các trường mà bạn quan tâm và sử dụng tổng hợp chỉ mục để tạo chỉ mục mới với chỉ những trường được tổng hợp thành các vùng lưu trữ thời gian thô. Bạn có thể lưu trữ dữ liệu lịch sử theo tháng hoặc năm với mức chi phí thấp và cùng một hiệu suất truy vấn.
Trình phân tích hiệu suất và Khung RCA	Truy vấn nhiều chỉ số và dữ liệu tổng hợp về hiệu suất cụm. Sử dụng PerfTop, giao diện dòng lệnh (CLI) để nhanh chóng hiển thị và phân tích các chỉ số đó. Sử dụng khung phân tích nguyên nhân gốc rễ (RCA) để điều tra những sự cố về hiệu suất và độ ổn định trong các cụm.
Tìm kiếm không đồng bộ	Chạy các truy vấn phức tạp mà không phải lo lắng về việc hết thời gian truy vấn và với các truy vấn Tìm kiếm không đồng bộ chạy trong nền. Theo dõi tiến trình truy vấn và truy xuất từng phần kết quả khi chúng xuất hiện.
Phân tích dấu vết	Thu nạp và hiển thị trực quan dữ liệu OpenTelemetry cho các ứng dụng phân tán. Hiển thị trực quan luồng sự kiện giữa các ứng dụng nhằm xác định những vấn đề về hiệu suất.
Cảnh báo	Tự động giám sát dữ liệu và gửi cảnh báo tới cho các bên liên quan. Với giao diện trực quan và API mạnh mẽ, dễ dàng thiết lập, quản lý và giám sát các cảnh báo. Tạo các điều kiện cảnh báo có tính cụ thể cao bằng cách sử dụng ngôn ngữ truy vấn toàn diện và khả năng viết tập lệnh của OpenSearch.
Cảnh báo cấp độ vùng lưu trữ	Tạo các chính sách cảnh báo để cảnh báo về các xu hướng theo nhóm trong dữ liệu của bạn. Ví dụ: bạn có thể cảnh báo cho từng máy chủ có CPU trung bình trên ngưỡng mong muốn của bạn.
Sao chép liên cụm	Sao chép các chỉ mục, ánh xạ và siêu dữ liệu từ cụm OpenSearch này sang cụm OpenSearch khác để tạo dự phòng liên cụm hoặc giảm tải truy vấn báo cáo sang một cụm phụ.
Tìm kiếm bằng thuật toán k-NN	Thông qua Machine Learning, chạy thuật toán tìm kiếm K-Nearest Neighbor (K - Láng giềng gần nhất) trên hàng tỷ tài liệu với hàng nghìn kích thước khác nhau một cách dễ dàng như chạy bất kỳ truy vấn OpenSearch thông thường nào. Sử dụng các mệnh đề tổng hợp và lọc để tinh chỉnh thêm cho hoạt động tìm kiếm tương tự. Thuật toán tìm kiếm tương tự k-NN hỗ trợ các trường hợp sử dụng như đề xuất sản phẩm, phát hiện gian lận, tìm kiếm hình ảnh và video, tìm kiếm tài liệu liên quan, v.v.
Sổ ghi chép bảng thông tin	Kết hợp bảng thông tin, hình ảnh, văn bản, v.v. để cung cấp ngữ cảnh và giải thích chi tiết khi phân tích dữ liệu.
Máy khách OpenSearch	OpenSearch hỗ trợ một loạt các máy khách ngôn ngữ như Go, JavaScript, Python, Java, v.v. Sử dụng những máy khách này để xây dựng các ứng dụng tích hợp trực tiếp với OpenSearch.

Đơn vị nào tài trợ và duy trì OpenSearch?

Nhiều tổ chức bao gồm AWS, SAP, CapitalOne, RedHat, Logz.io, Aiven.io, Bonsai, Logit.io, InstaCluster và BAInsight đã công khai ủng hộ OpenSearch.

Chúng tôi khuyến khích và chấp nhận đóng góp từ cộng đồng và có thể làm vậy mà không cần tới Thỏa thuận giấy phép người đóng góp (CLA). Ngoài ra, nếu bạn là một cá nhân đóng góp tích cực và muốn đảm nhận thêm trách nhiệm trong dự án, chúng tôi đã tạo ra một quy trình cho những cá nhân không phải nhân viên AWS có được quyền bảo trì trong kho lưu trữ dự án OpenSearch tại đây.

Tương lai của OpenSearch là gì?

Chúng tôi đã cho ra mắt phiên bản OpenSearch 1.0 được cung cấp rộng rãi đầu tiên vào tháng 7 năm 2021 và kể từ đó đã cho ra mắt thêm nhiều phiên bản mới. Xem chi tiết tại đây. Với sự quan tâm và ủng hộ lớn từ cộng đồng, chúng tôi đã giới thiệu một số tính năng mới cho các trường hợp sử dụng chính xoay quanh phân tích bản ghi, tìm kiếm và khả năng quan sát. Những lĩnh vực này sẽ tiếp tục là trọng tâm cho những cải tiến trong tương lai đối với cả OpenSearch cũng như lớp trực quan hóa Bảng điều khiển OpenSearch của chúng tôi. Vui lòng xem lộ trình để nhanh chóng nắm được tổng quan về các lĩnh vực chính mà OpenSearch đang tập trung.

OpenSearch được cấp phép như thế nào?

Tất cả các phần mềm trong dự án OpenSearch được phát hành theo Giấy phép Apache, Phiên bản 2.0 (ALv2). Giấy phép ALv2 cấp các quyền sử dụng dễ hiểu, tùy ý và phù hợp với những quyền tự do mà mọi người mong đợi ở phần mềm nguồn mở: những quyền tự do như có thể sử dụng, sửa đổi, mở rộng, kiếm tiền và bán lại phần mềm nguồn mở ở bất kỳ đâu và theo bất kỳ cách nào họ muốn. Đối với OpenSearch, chúng tôi tin rằng giấy phép này sẽ cho phép công cụ được áp dụng rộng rãi và mang lại lợi ích cho tất cả các thành viên trong cộng đồng. Chúng tôi cũng đã công bố hướng dẫn sử dụng tùy ý cho nhãn hiệu OpenSearch, vì vậy bạn có thể sử dụng cái tên này để quảng cáo các sản phẩm và dịch vụ của bạn.

Tôi có thể tham khảo thêm thông tin về máy khách OpenSearch và khả năng tương thích API ở đâu?

Vui lòng xem phần Câu hỏi thường gặp trên trang web OpenSearch nguồn mở. Phần Câu hỏi thường gặp cũng là một nguồn thông tin hữu ích về các công cụ và phần bổ trợ, khả năng nâng cấp tương thích, cộng đồng nói chung cũng như cách bạn có thể đóng góp và hưởng lợi từ OpenSearch.

Tài nguyên khác:

OpenSearch bao gồm một số mã Elasticsearch được Apache cấp phép từ Elasticsearch B.V. và mã nguồn khác. Elasticsearch B.V. không phải là nguồn của mã nguồn khác đó. ELASTICSEARCH là nhãn hiệu đã đăng ký của Elasticsearch B.V.

OpenSearch là gì?