Phân tích bản ghi là gì?

Ứng dụng, máy chủ, cơ sở hạ tầng đám mây, IoT & thiết bị di động, DevOps, kiến trúc vi dịch vụ – xu hướng kinh doanh và CNTT lớn nhất đang giúp chúng ta cải thiện hoạt động và trải nghiệm khách hàng hơn bao giờ hết. Tuy nhiên, những xu hướng này đã dẫn đến mức tăng trưởng bùng nổ của dữ liệu do máy tạo ra, bao gồm nhật ký và các chỉ số như giao dịch người dùng, hành vi khách hàng, hoạt động cảm biến, hành vi máy và các mối đe dọa bảo mật. Dữ liệu này phức tạp, nhưng là dữ liệu có giá trị nhất vì nó chứa thông tin hoạt động thông minh cho CNTT, bảo mật và kinh doanh.

Phân tích bản ghi bao gồm tìm kiếm, phân tích và hiển thị dữ liệu máy do hệ thống CNTT và cơ sở hạ tầng công nghệ của bạn tạo ra để có được thông tin chuyên sâu về hoạt động. Các công cụ phân tích dữ liệu truyền thống chỉ đơn giản là không được xây dựng để xử lý sự đa dạng và khối lượng của dữ liệu máy đang gia tăng nhanh chóng. 

Tại sao phân tích bản ghi lại quan trọng?

Dữ liệu bản ghi không ngừng tăng lên. Nếu không có một giải pháp tổng thể, chú trọng đến chi phí, thì chi phí sẽ tiếp tục tăng không kiểm soát được. Dữ liệu do con người tạo ra và dữ liệu do máy tạo ra đang phát triển với tốc độ khủng khiếp, trong đó dữ liệu do con người tạo ra nói chung có tốc độ tăng thận trọng nhưng vẫn gấp 10 lần so với dữ liệu kinh doanh. Dữ liệu do máy tạo được dự đoán sẽ tăng hơn nữa.

Phân tích bản ghi có lịch sử như thế nào?

Kể từ khi chúng tôi bắt đầu tạo các hồ sơ do máy tính tạo, chúng tôi đã cố gắng phân tích hàng loạt các hồ sơ đó. Hồ sơ được tạo ra từ các thiết bị, ứng dụng, mạng (và hơn thế nữa), và sau đó được sắp xếp theo trình tự thời gian thành các bản ghi. Nhiều khi các bản ghi này không được ghi lại đầy đủ hoặc hình thành nhất quán trên các ứng dụng hoặc thiết bị, điều này càng cho thấy sự cần thiết phải phân tích bản ghi.

Thị trường phân tích bản ghi sẽ đi về đâu?

Dữ liệu bản ghi hiếm khi biến mất — nó chỉ được lưu trữ và truy cập theo cách khác. Khi khối lượng tăng lên, chúng ta cần các phương pháp phức tạp hơn để lưu trữ và hiểu rõ dữ liệu đó. Máy học đang được sử dụng để tìm ra các mẫu trong lượng dữ liệu ngày càng tăng này, nhưng có thể thực hiện được nhiều hơn thế để hỗ trợ phân tích bảo mật, phát hiện gian lận, phát hiện bất thường, v.v.

Phân tích bản ghi có lợi ích gì?

Phân tích bản ghi có thể trả lời các câu hỏi phân tích vận hành có giá trị, như danh sách bên dưới. Hãy tưởng tượng bạn có câu trả lời trong thời gian thực cho những câu hỏi sau đây:

  • Cơ sở hạ tầng của tôi có hoạt động không?
  • Độ trễ và tỷ lệ lỗi là gì?
  • Điều gì đã khiến ứng dụng của tôi gặp sự cố?
  • Có bất kỳ hoạt động xác thực đáng ngờ nào không?
  • Địa chỉ IP này đã truy cập dữ liệu nào?
  • Có trường hợp gian lận không?
  • Nội dung/sản phẩm nào mà người dùng của tôi quan tâm?
  • Tính năng nào được sử dụng nhiều nhất hoặc ít nhất?
  • Người dùng nào hoạt động nhiều nhất và tại sao?

Để tìm hiểu sâu hơn về lợi ích của phân tích bản ghi, hãy xem bài nghiên cứu này từ Omdia.

Phân tích bản ghi có những thách thức nào?

Một số thách thức chính mà các công cụ phân tích bản ghi gặp phải bao gồm: 

  • Dữ liệu đa dạng và khối lượng dữ liệu đang tăng lên nhanh chóng

  • Bảo mật và chi phí là những yêu cầu quan trọng
  • Không thể dễ dàng thêm kết quả dự đoán và kết quả thời gian thực vào các kiến trúc cũ hơn

Ai sẽ sử dụng phân tích bản ghi?

Người sử dụng chính thực hiện phân tích bản ghi là kỹ sư DevOps, nhân viên đảm bảo độ tin cậy của trang web và kiến trúc sư doanh nghiệp.

Phân tích bản ghi có tác dụng gì?

Giám sát ứng dụng và cơ sở hạ tầng thời gian thực

Nắm bắt và tập trung tất cả bản ghi và số liệu từ các ứng dụng và silo CNTT của bạn để có khả năng hiển thị sâu vào ngăn xếp ứng dụng và cơ sở hạ tầng của bạn đồng thời đảm bảo thời gian vận hành. Bạn cần lập chỉ mục dữ liệu, cung cấp dữ liệu để phân tích theo thời gian thực, điều này cho phép bạn hiển thị các chỉ số hiệu suất theo thời gian thực.

Phân tích nguyên nhân gốc rễ

Nhanh chóng xác định các vấn đề trong môi trường của bạn (máy chủ, mã), từ đó giảm thời gian trung bình để xác định (MTTI) và thời gian trung bình để giải quyết (MTTR). Với các công cụ hiển thị, bạn có thể tìm kiếm qua hàng triệu sự kiện và tìm mối tương quan trên các ứng dụng và cơ sở hạ tầng của mình để nhanh chóng chẩn đoán nguyên nhân gốc rễ của vấn đề, cải thiện thời gian vận hành.

Phân tích dữ liệu vùng nhấp chuột

Xem trong thời gian thực về hiệu suất của nội dung web và hoạt động tương tác của người dùng với các ứng dụng và trang web của bạn, bao gồm hành vi người dùng, lượng thời gian đã sử dụng, nội dung phổ biến, v.v. Bạn có thể dễ dàng tổng hợp và phân tích bản ghi vùng nhấp chuột của mình để hiểu sâu hơn về khách hàng.

Thông tin bảo mật và quản lý sự kiện (SIEM)

Tập trung và phân tích các sự kiện được tạo ra trên toàn bộ môi trường của bạn bao gồm các ứng dụng, mạng và hệ điều hành để xác định bất kỳ hoạt động độc hại hoặc đáng ngờ nào trong mạng của bạn. Bạn có thể lập chỉ mục dữ liệu ngay khi dữ liệu được tải nhập, cho phép bạn phân tích ngay dữ liệu từ nhiều nguồn, cũng như tìm và ngăn chặn các mối đe dọa nhanh hơn.

Cách tạo chiến lược phân tích bản ghi

Chiến lược phân tích nhật ký của bạn cần giải quyết việc tải nhập, chuyển đổi và làm phong phú dữ liệu, chiến lược lập chỉ mục và phân mảnh dữ liệu, lập kế hoạch cơ sở hạ tầng và cuối cùng là vòng đời dữ liệu và lưu trữ dữ liệu. Dưới đây là các bước chung cần thực hiện: 

  1. Trước tiên, bạn cần xác định chuyển động dữ liệu hoặc quá trình tải nhập dữ liệu. Về cơ bản, bạn phải tìm ra lộ trình tải nhập dữ liệu.

  2. Bước thứ hai, bạn cần lập chuyển đổi dữ liệu của các dòng hoặc chuỗi trong bản ghi. Phân tích bản ghi nhiều thời điểm hoạt động với JSON, một định dạng chuyển đổi dữ liệu một cách thích hợp và làm phong phú dữ liệu nếu cần thiết.

  3. Bước thứ ba, bạn phải xác định chiến lược lập chỉ mục và phân mảnh. Việc tạo đúng chỉ mục là điều cần thiết.

  4. Bước thứ tư, bạn cũng phải lập kế hoạch cơ sở hạ tầng để tìm ra loại phiên bản và số lượng phiên bản bạn cần.

  5. Cuối cùng, để kiểm soát kích thước và chi phí bản ghi, bạn cần một chiến lược tổng thể về vòng đời và lưu trữ dữ liệu.

Tôi nên lưu trữ dữ liệu bản ghi của mình ở đâu?

Dịch vụ OpenSearch của Amazon cung cấp nhiều bậc lưu trữ khác nhau cho dữ liệu bản ghi của bạn. Bạn có thể chọn bậc lưu trữ phù hợp với yêu cầu truy vấn của mình (Thường xuyên lưu trữ, UltraWarm và ít lưu trữ).

AWS cung cấp các dịch vụ gì cho phân tích bản ghi?

Dễ dàng triển khai và quản lý

Dịch vụ OpenSearch của Amazon giúp dễ dàng thiết lập và triển khai cụm của bạn, đồng thời loại bỏ sự phức tạp liên quan đến các tác vụ quản lý, chẳng hạn như cung cấp phần cứng, cài đặt và vá lỗi phần mềm, phục hồi sau lỗi, sao lưu và giám sát, cho phép bạn giảm chi phí vận hành và tập trung vào yêu cầu kinh doanh cốt lõi.

Có được quy mô và độ tin cậy

Với dung lượng lưu trữ phiên bản lên đến 3 PB trong một miền, Dịch vụ OpenSearch của Amazon cho phép bạn dễ dàng thêm hoặc xóa phiên bản mà không mất thời gian ngừng hoạt động. Dịch vụ này cũng cung cấp tính năng mã hóa tích hợp khi đang lưu trữ và truyền, xác thực người dùng và hỗ trợ VPC, cho phép bạn bảo mật dữ liệu của mình.

Tích hợp dễ dàng với các dịch vụ AWS khác

Dịch vụ OpenSearch của Amazon cung cấp các tiện ích tích hợp sẵn với các dịch vụ AWS khác như Firehose dữ liệu Kinesis, Dịch vụ truyền được quản lý dành cho Kafka, IoT, Bản ghi CloudWatch, KMS, Cognito và IAM, để bạn có thể tải nhập, phân tích và hiển thị dữ liệu từ tất cả các nguồn một cách bảo mật.

Giảm chi phí của bạn

Với Dịch vụ OpenSearch của Amazon, bạn chỉ phải trả tiền cho những gì bạn sử dụng. Không áp dụng phí trả trước hay yêu cầu về mức độ sử dụng. Với tính năng giám sát 24x7 và hỗ trợ AWS, bạn không cần có một đội ngũ chuyên gia Elasticsearch để thay đổi quy mô, bảo mật và giám sát cơ sở hạ tầng, nhờ đó giúp giảm được tổng chi phí vận hành.

Phân tích bản ghi với AWS hoạt động như thế nào?

Với AWS, bạn có thể xây dựng các giải pháp khác nhau để củng cố, giám sát và phân tích dữ liệu bản ghi của bạn một cách hiệu quả. Các giải pháp này cung cấp cho bạn một cái nhìn hợp lý về các ứng dụng, hệ thống và thông tin bản ghi AWS của bạn để có được thông tin về hoạt động theo thời gian thực.

Tạo bản ghi tập trung sử dụng Dịch vụ OpenSearch của Amazon

Kết hợp với các dịch vụ khác của AWS, giải pháp được hỗ trợ bởi Dịch vụ OpenSearch của Amazon này cung cấp cho bạn môi trường chìa khóa trao tay, có độ sẵn sàng cao để bắt đầu tạo bản ghi cũng như phân tích môi trường AWS và ứng dụng của bạn một cách nhanh chóng. Bắt đầu sử dụng Dịch vụ OpenSearch của Amazon »

Sơ đồ dưới đây thể hiện kiến trúc tạo bản ghi tập trung. Để tìm hiểu thêm, hãy đọc phần tóm tắt về giải pháp tạo bản ghi tập trung

phân tích bản ghi opensearch

Giám sát theo thời gian thực bằng Amazon Kinesis

Sử dụng Amazon Kinesis cùng với AWS CloudTrail và Amazon CloudWatch, giải pháp này cho phép bạn xây dựng giải pháp phi máy chủ để giám sát các ứng dụng của mình theo thời gian thực. Bắt đầu sử dụng Amazon Kinesis »

Sơ đồ dưới đây trình bày kiến trúc giám sát ứng dụng theo thời gian thực. Để tìm hiểu thêm, hãy làm theo hướng dẫn thực hành này.

Khách hàng đang triển khai phân tích bản ghi như thế nào?

Giám sát ứng dụng và cơ sở hạ tầng thời gian thực

Nắm bắt và tập trung tất cả bản ghi và số liệu từ các ứng dụng và silo CNTT của bạn để có khả năng hiển thị sâu vào ngăn xếp ứng dụng và cơ sở hạ tầng của bạn đồng thời đảm bảo thời gian vận hành. Dịch vụ OpenSearch của Amazon lập chỉ mục dữ liệu, cung cấp dữ liệu để phân tích theo thời gian thực và cho phép bạn hiển thị các chỉ số hiệu suất theo thời gian thực bằng cách sử dụng bảng điều khiển Kibana.

Expedia Group, một trong những công ty du lịch hàng đầu thế giới, sử dụng Dịch vụ OpenSearch của Amazon để giám sát ứng dụng. Dịch vụ OpenSearch của Amazon cho phép Expedia theo dõi một khối lượng lớn bản ghi Docker một cách tiết kiệm, xác định và khắc phục sự cố theo thời gian thực, dễ dàng thay đổi quy mô để phù hợp với các nguồn bản ghi bổ sung và giảm thiểu chi phí vận hành.  Tìm hiểu thêm »

Phân tích nguyên nhân gốc rễ

Nhanh chóng xác định các vấn đề trong môi trường của bạn (máy chủ, mã), từ đó giảm thời gian trung bình để xác định (MTTI) và thời gian trung bình để giải quyết (MTTR). Với Kibana tích hợp sẵn, Dịch vụ OpenSearch của Amazon cho phép bạn tìm kiếm qua hàng triệu sự kiện và tìm mối tương quan trên các ứng dụng và cơ sở hạ tầng của bạn để nhanh chóng chẩn đoán nguyên nhân gốc rễ của vấn đề, nâng cao thời gian vận hành.

Autodesk, nhà cung cấp phần mềm kỹ thuật và thiết kế 3D hàng đầu, sử dụng các dịch vụ AWS bao gồm Dịch vụ OpenSearch của Amazon, Firehose dữ liệu Amazon Kinesis và Phân tích dữ liệu Amazon Kinesis để xây dựng giải pháp ghi hợp nhất tiết kiệm chi phí nhằm tìm và khắc phục các sự cố ứng dụng nhanh hơn cũng như cải thiện trải nghiệm của khách hàng.  Tìm hiểu thêm »

Phân tích dữ liệu vùng nhấp chuột

Xem trong thời gian thực về hiệu suất của nội dung web và hoạt động tương tác của người dùng với các ứng dụng và trang web của bạn, bao gồm hành vi người dùng, lượng thời gian đã sử dụng, nội dung phổ biến, v.v. Bằng việc sử dụng Dịch vụ OpenSearch của Amazon và Firehose dữ liệu Amazon Kinesis hoặc Dịch vụ truyền được quản lý của Amazon dành cho Kafka, bạn có thể dễ dàng tổng hợp và phân tích bản ghi vùng nhấp chuột của mình để hiểu sâu hơn về khách hàng.

Hearst Corporation, một công ty truyền thông lớn, đã xây dựng một nền tảng phân tích dữ liệu vùng nhấp chuột bằng cách sử dụng Dịch vụ OpenSearch của Amazon, Luồng Amazon Kinesis và Firehose Amazon Kinesis để truyền và xử lý 30 terabyte dữ liệu mỗi ngày. Với nền tảng này, Hearst đã có thể cung cấp toàn bộ luồng dữ liệu – từ lượt nhấp trang web đến dữ liệu tổng hợp – cho biên tập viên chỉ trong vài phút.  Tìm hiểu thêm »

Thông tin bảo mật và quản lý sự kiện (SIEM)

Tập trung và phân tích các sự kiện được tạo ra trên toàn bộ môi trường của bạn bao gồm các ứng dụng, mạng và hệ điều hành để xác định bất kỳ hoạt động độc hại hoặc đáng ngờ nào trong mạng của bạn. Dịch vụ OpenSearch của Amazon cho phép bạn lập chỉ mục dữ liệu ngay khi dữ liệu được tải nhập, cho phép bạn phân tích ngay dữ liệu từ nhiều nguồn, cũng như tìm và ngăn chặn các mối đe dọa nhanh hơn.

Các bước tiếp theo để phân tích bản ghi AWS

Xem các tài nguyên được đề xuất sau: 

  1. Bắt đầu dùng thử Dịch vụ OpenSearch của Amazon
  2. Tham gia hội thảo về Cách xây dựng giải pháp phân tích bản ghi
  3. Bạn cũng có thể bắt đầu sử dụng bậc miễn phí của Dịch vụ OpenSearch của Amazon. Sử dụng lên đến 750 giờ mỗi tháng trên các phiên bản t2 và t3 small.search với Bậc miễn phí của AWS.

Các bước tiếp theo trên AWS

Tham khảo các tài nguyên bổ sung liên quan đến sản phẩm
Tìm hiểu thêm về AWS OpenSearch 
Đăng ký tài khoản miễn phí

Nhận ngay quyền sử dụng Bậc miễn phí của AWS.

Đăng ký 
Bắt đầu xây dựng trong bảng điều khiển

Bắt đầu xây dựng trong bảng điều khiển quản lý AWS.

Đăng nhập