Chiến lược quản lý và phân tích nhật ký toàn diện có ý nghĩa sống còn đối với hoạt động của tổ chức, giúp tổ chức hiểu được mối quan hệ giữa các sự kiện vận hành, bảo mật và quản lý thay đổi cũng như duy trì hiểu biết toàn diện về cơ sở hạ tầng của tổ chức. Khách hàng AWS có quyền truy cập vào các thông số đặc thù theo dịch vụ và tệp nhật ký để hiểu rõ cách thức hoạt động của mỗi dịch vụ AWS và nhiều dịch vụ thu thập dữ liệu bổ sung như lệnh gọi API, thay đổi cấu hình và sự kiện tính phí. Các tệp nhật ký từ máy chủ web, ứng dụng và hệ điều hành cũng cung cấp dữ liệu quý giá, mặc dù có định dạng khác nhau và theo phương thức ngẫu nhiên và phân tán. Để tổng hợp, quản lý và phân tích hiệu quả các nhật ký khác nhau này, nhiều khách hàng AWS chọn triển khai giải pháp ghi nhật ký tập trung bằng công cụ tự quản lý hoặc dịch vụ của Mạng lưới đối tác AWS (APN). Các giải pháp này cho phép hiển thị đồng bộ các thông tin về ứng dụng, hệ thống và nhật ký AWS để mang lại sự tối ưu trong vận hành.

Trang web này trình bày các biện pháp thực hành tốt nhất ở cấp cao cho quản lý nhật ký cũng như thông tin và các nội dung cần xem xét để lựa chọn giải pháp ghi nhật ký tập trung bằng cách sử dụng dịch vụ AWS hoặc dịch vụ của bên thứ ba. Trang web này cũng giới thiệu giải pháp AWS để ghi nhật ký tập trung và trực quan hóa dữ liệu bằng cách sử dụng AWS managed services.

Các phần sau đây trình bày kiến thức cơ bản về Amazon Elastic Compute Cloud (Amazon EC2), Amazon Simple Storage Service (Amazon S3), Amazon CloudWatch (CloudWatch), Amazon Elasticsearch Service (Amazon ES) cũng như hiểu biết chung về ghi nhật ký ứng dụng và hệ thống.

  • Bản tóm tắt giải pháp

    Khi hoạch định chiến lược quản lý nhật ký tập trung, trước tiên hãy xác định yêu cầu của doanh nghiệp và yêu cầu về tuân thủ, chẳng hạn như giám sát nhật ký và quy trình xem xét, mức độ chi tiết của kiểm soát truy cập và các yêu cầu về tổng hợp nhật ký, cảnh báo, báo cáo và thời gian lưu giữ. Tìm giải pháp có quy mô linh hoạt và có thể hỗ trợ các loại nhật ký mới khi bạn mở rộng quy mô sử dụng dịch vụ AWS và công nghệ đám mây. Xem xét sử dụng các biện pháp thực hành tốt nhất bổ sung sau đây để triển khai giải pháp quản lý nhật ký:

    • Định nghĩa trước các yêu cầu về thời gian lưu giữ nhật ký và chính sách vòng đời, đồng thời lên kế hoạch di chuyển tệp nhật ký sang điểm lưu trữ có mức chi phí hợp lý hơn trong thời gian sớm nhất có thể.
    • Tích hợp các công cụ và tính năng có khả năng tự động hóa việc thực thi chính sách vòng đời. Ví dụ: Amazon Simple Storage Service (Amazon S3) là điểm lưu trữ nhật ký có mức chi phí hợp lý, bao gồm các tính năng vòng đời tích hợp sẵn nên cho phép khách hàng tự động chuyển nhật ký sang bậc lưu trữ có mức chi phí thấp hơn (Amazon S3 Tiêu chuẩn – Truy cập không thường xuyên, Amazon Glacier) khi cần.
    • Trước khi triển khai giải pháp có thiết kế tùy chỉnh, chẳng hạn như ngăn xếp ELK mã nguồn mở chạy Elasticsearch, LogstashKibana trên máy chủ cục bộ, hãy xem xét thêm các tác vụ, chi phí và yếu tố lệ thuộc có liên quan đến quản lý và duy trì các thành phần của giải pháp. Kiến trúc tùy chỉnh có thể đem đến thiết kế linh hoạt tuy nhiên các dịch vụ được quản lý và công cụ có thể giảm đáng kể sự phức tạp trong vận hành.
    • Tự động hóa khâu cài đặt và cấu hình các thành phần vận chuyển nhật ký để thu thập nhật ký hệ thống và ứng dụng một cách ổn định cũng như hỗ trợ thay đổi quy mô phiên bản Amazon EC2 một cách linh hoạt. Sử dụng mã lập trình dữ liệu người dùng Amazon EC2 hoặc phần mềm quản lý cấu hình để thực hiện các tác vụ này. Hoặc, thêm thành phần này thành một phần của Amazon Machine Image (AMI)
    • Những tổ chức vận hành kiến trúc lai cần chọn giải pháp có khả năng tích hợp cả khối lượng công việc tại chỗ và AWS. Cho dù bạn chọn tổng hợp nhật ký AWS và tại chỗ hoặc quản lý chúng riêng, triển khai giải pháp quản lý nhật ký có thể đem đến khả năng quan sát cần thiết trên tất cả các môi trường vận hành.

    Đám mây AWS cung cấp cơ sở hạ tầng và công cụ linh hoạt để hỗ trợ cả dịch vụ phức tạp của đối tác và giải pháp ghi nhật ký tập trung tự quản lý. Nhìn chung, quy mô dịch vụ cần giám sát cũng như trải nghiệm, ngân sách của tổ chức và yêu cầu công việc, sở thích về tính đầy đủ và tính dễ dàng sẽ quyết định cách tiếp cận nào là phù hợp nhất. Các phần sau đây mô tả một số sản phẩm của bên thứ ba dùng để quản lý nhật ký cũng như các dịch vụ và công nghệ mã nguồn mở chính của AWS để đưa vào giải pháp ghi nhật ký tập trung tự quản lý.

    Mạng lưới đối tác AWS cung cấp nhiều giải pháp quản lý nhật ký toàn diện khác nhau để giúp các tổ chức thuộc mọi quy mô hoặc giai đoạn phát triển dễ dàng quản lý, phân tích, duy trì và lưu trữ nhật ký. Khi lựa chọn sản phẩm bên thứ ba, hãy tìm giải pháp dễ cấu hình, có phương pháp sử dụng dữ liệu linh hoạt và tích hợp tính năng tìm kiếm, giám sát, cảnh báo sự kiện và trực quan hóa dữ liệu (ví dụ: bảng thông tin dữ liệu theo thời gian thực). Cách tiếp cận này có thể thích hợp với khách hàng trong các tình huống sau đây:

    • Khách hàng có sẵn công cụ đối tác để quản lý nhật ký tại chỗ và muốn mở rộng giải pháp của mình nhằm tích hợp nhật ký từ tài nguyên trên đám mây. Những tổ chức đã tận dụng công nghệ đối tác thông thường có thể dễ dàng tổng hợp dữ liệu nhật ký tại chỗ và trên đám mây để trực quan hóa hiệu năng ứng dụng lai trên một giao diện người dùng.
    • Họ có các yêu cầu cảnh báo hoặc báo cáo cao cấp nhưng không có tài nguyên phát triển và quản trị hệ thống chuyên biệt để tạo hoặc quản lý tính năng này.
    • Họ có các yêu cầu về mã hóa, quản lý người dùng, bảo mật hoặc thay đổi quy mô mà Amazon ES và Kibana hiện chưa có khả năng đáp ứng.
      Ví dụ: một số giải pháp đối tác được thiết kế có khả năng thỏa mãn các yêu cầu bảo mật như mã hóa dữ liệu nhật ký đang được lưu trữ hoặc cách ly mạng thành một VPC. Các giải pháp này có thể là lựa chọn hiệu quả nhất cho những khách hàng quản lý thông tin cá nhân hoặc thông tin sức khỏe được bảo vệ và những ai phải tuân thủ tiêu chuẩn PCI và HIPAA.

    Xem tab Dịch vụ đối tác để biết danh sách các sản phẩm đối tác thông thường.

    Nhiều khách hàng chọn xây dựng giải pháp ghi nhật ký tập trung của riêng mình bằng cách sử dụng AWS managed services. Đây là cách hiệu quả về mặt chi phí và linh hoạt về quy mô để giúp các tổ chức đáp ứng nhu cầu quản lý nhật ký của mình. Thiết kế serverless có thể góp phần giảm thiểu chi phí liên quan đến quản lý các thành phần riêng lẻ của giải pháp. Phần này giới thiệu dịch vụ AWS thường được sử dụng trong kiến trúc quản lý nhật ký.

    Xem tab Giải pháp AWS dành cho giải pháp ghi nhật ký tập trung theo yêu cầu để khách hàng có thể triển khai trong vài phút bằng cách sử dụng AWS CloudFormation. Giải pháp tự động này sử dụng các dịch vụ AWS gốc và công cụ mã nguồn mở để thu thập, tổng hợp và trực quan hóa dữ liệu nhật ký.

    Elasticsearch là công cụ tìm kiếm và phân tích mã nguồn mở thông dụng của Elastic, nhanh chóng mang lại hiệu quả đầu tư và được đông đảo cộng đồng nguồn mở hỗ trợ mạnh mẽ. AWS cung cấp Amazon Elasticsearch Service (Amazon ES) dưới dạng dịch vụ được quản lý để giúp dễ dàng triển khai và vận hành Elasticsearch trên Đám mây AWS. Amazon ES quản lý công suất, thay đổi quy mô, vá lỗi và quản trị cụm Elasticsearch trong khi vẫn cho phép truy cập trực tiếp đến Elasticsearch API. Dịch vụ này được tích hợp với CloudWatch Logs, do đó không có thêm yêu cầu phải viết mã để di chuyển hoặc chuyển đổi dữ liệu nhật ký.

    Amazon ES cung cấp quyền truy cập tích hợp và được quản lý đến Kibana, một plugin trực quan hóa dữ liệu dành cho Elasticsearch. Khách hàng có thể tạo nhiều biểu đồ và bảng thông tin Kibana dành cho lượng dữ liệu lớn đồng thời có thể tải cũng như sử dụng bảng thông tin do cộng đồng người dùng Kibana và AWS phát triển. Lưu ý rằng Kibana không cấp quyền kiểm soát truy cập gốc và phải được bảo mật bằng cơ chế bổ sung, chẳng hạn như proxy web Nginx (xem Blog về bảo mật của AWS để biết thông tin chi tiết). Công cụ quản lý và trực quan hóa nhật ký của bên thứ ba có thể phù hợp hơn với những khách hàng không thể vận hành theo các giới hạn này.

    Amazon CloudWatch Logs cho phép khách hàng giám sát, lưu trữ và truy cập tệp nhật ký từ phiên bản Amazon EC2, AWS CloudTrail và các nguồn khác. Khách hàng có thể truy vấn dữ liệu nhật ký từ CloudWatch Logs bằng cách sử dụng bảng điều khiển Amazon CloudWatch, lệnh CloudWatch Logs trên AWS CLI, CloudWatch Logs API hoặc CloudWatch Logs SDK. Có thể dễ dàng cài đặt và cấu hình thành phần CloudWatch Logs trên phiên bản Linux và Windows để gửi tệp nhật ký ứng dụng và hệ thống sang CloudWatch. Biện pháp thực hành tốt nhất là sử dụng vai trò EC2 để cấp các quyền cần thiết cho thành phần CloudWatch Logs.

    Amazon CloudWatch cũng có thể thu thập thông số về hiệu suất chi tiết của hệ thống từ phiên bản EC2 và cung cấp các thông số này cho bảng thông tin và đối tượng sử dụng API như Amazon Simple Notification Service và thành phần kích hoạt Auto Scaling.

    Khách hàng có thể đăng ký nhận dữ liệu đầu vào sự kiện CloudWatch Logs trong thời gian thực để họ tự xử lý bằng Amazon Kinesis và AWS Lambda hoặc phân phối trực tiếp đến Amazon ES bằng cách sử dụng chức năng Lambda do AWS cung cấp. Chức năng này giúp kết nối CloudWatch Logs với Amazon ES (xem Xử lý dữ liệu nhật ký theo thời gian thực bằng đăng ký nhận tin trong Hướng dẫn sử dụng Amazon CloudWatch Logs).

    Những khách hàng có lượng dữ liệu nhật ký lớn cần xử lý có thể sử dụng Amazon Kinesis Firehose làm cơ chế tiếp nhận và phân phối nhật ký serverless. Amazon Kinesis Firehose là dịch vụ được quản lý cho phép khách hàng phân phối luồng dữ liệu theo thời gian thực tới các điểm nhận như Amazon ES, Amazon S3 và Amazon Redshift. Firehose được thiết kế có khả năng xử lý lượng lớn dữ liệu nhận về đồng thời có thể tạo và gửi yêu cầu đánh chỉ mục hàng loạt đến tên miền Amazon ES.

    Khác với thành phần xử lý nhật ký tự quản lý, chẳng hạn như cụm Logstash, Firehose không yêu cầu phải quản lý bất kỳ máy chủ, ứng dụng hoặc tài nguyên nào. Khách hàng cấu hình các bộ tạo dữ liệu riêng lẻ để gửi dữ liệu nhật ký đến luồng phân phối dữ liệu Firehose một cách liên tục và Firehose quản lý phần còn lại.

    Nhiều tổ chức chọn xuất dữ liệu nhật ký từ CloudWatch Logs sang Amazon S3. Amazon S3 cung cấp cho khách hàng điểm bền vững, có quy mô linh hoạt để lưu trữ dữ liệu nhật ký và tổng hợp tệp nhật ký cho việc xử lý và phân tích tùy chỉnh. Amazon S3 là lựa chọn tốt nhất cho mục đích lưu giữ và sao lưu dữ liệu nhật ký dài hạn, đặc biệt với những tổ chức có chương trình tuân thủ yêu cầu dữ liệu nhật ký phải ở dạng có thể kiểm tra được ở định dạng gốc.

    Sau khi dữ liệu nhật ký được đưa lên bộ chứa Amazon S3, định nghĩa các quy tắc vòng đời để tự động thực thi chính sách lưu giữ và chuyển các đối tượng này sang lớp lưu trữ có mức chi phí hợp lý khác chẳng hạn như Amazon S3 Tiêu chuẩn – Truy cập không thường xuyên (Tiêu chuẩn – IA) hoặc Amazon Glacier.

    Tải xuống phiên bản PDF của Bản tóm tắt giải pháp này
  • Giải pháp AWS

    AWS cung cấp giải pháp ghi nhật ký tập trung để thu thập, phân tích và hiển thị nhật ký trên AWS giữa nhiều tài khoản và Khu vực AWS khác nhau. Giải pháp này sử dụng Amazon Elasticsearch Service (Amazon ES), là một dịch vụ được quản lý giúp đơn giản hóa công tác triển khai, vận hành và thay đổi quy mô cụm Elasticsearch trên Đám mây AWS cũng như Kibana, một nền tảng phân tích và trực quan hóa được tích hợp với Amazon ES. Kết hợp với AWS managed services, giải pháp này cung cấp cho khách hàng  một môi trường nhiều tài khoản, có thể tùy chỉnh để bắt đầu ghi nhật ký và phân tích môi trường AWS và ứng dụng.

    Biểu đồ dưới đây trình bày kiến trúc ghi nhật ký tập trung để bạn có thể tự động triển khai bằng cách sử dụng hướng dẫn triển khai của giải pháp và biểu mẫu AWS CloudFormation đi kèm.

    1. Mẫu sơ cấp sẽ triển khai miền Amazon ES. Miền này là phần cứng, phần mềm và dữ liệu do các điểm cuối Amazon ES cung cấp.
    2. Chức năng tùy chỉnh của AWS Lambda được triển khai để tải dữ liệu nhật ký từ Amazon CloudWatch sang miền Amazon ES, được cấu hình có sẵn một bộ bảng thông tin Kibana mặc định để làm điểm bắt đầu cho trực quan hóa dữ liệu.
    3. Bể người dùng Amazon Cognito cung cấp xác thực người dùng bảng điều khiển Kibana.
    4. Mẫu thứ cấp cho phép người dùng lập chỉ mục nhật ký từ các tài khoản và khu vực thứ cấp trên miền Amazon ES trong tài khoản hoặc khu vực sơ cấp.
    5. Mẫu demo triển khai nhật ký minh họa mà khách hàng có thể sử dụng cho mục đích kiểm thử
    Triển khai giải pháp
    Hướng dẫn triển khai

    Những điều bạn sẽ đạt được:

    Triển khai giải pháp ghi nhật ký tập trung bằng cách sử dụng AWS CloudFormation. Biểu mẫu CloudFormation sẽ tự động khởi chạy và cấu hình các thành phần cần thiết để tải tệp nhật ký từ nhiều tài khoản và Khu vực AWS khác nhau lên Amazon ES để phân tích và trực quan hóa trên bảng thông tin có thể tùy chỉnh, thân thiện với người dùng.

    Mở rộng tính năng ghi nhật ký ngoài nhật ký dịch vụ AWS mặc định. Giải pháp linh hoạt này bao gồm các ví dụ để thu thập tệp nhật ký cấp độ máy chủ và nhật ký lưu lượng VPC, đồng thời được thiết kế có khả năng thay đổi quy mô theo nhu cầu công việc gia tăng của bạn.

    Kiểm soát quyền truy cập vào bảng điều khiển bằng cách sử dụng sử dụng Amazon Cognito để đơn giản hóa quá trình xác thực tới Amazon ES.

    Đơn giản hóa việc trực quan hóa dữ liệu bằng cách sử dụng tính năng hỗ trợ tích hợp sẵn của Amazon ES dành cho Kibana, bao gồm một tập hợp mặc định các bảng điều khiển được định sẵn cấu hìnhđể giúp bạn nắm bắt sơ bộ các tính năng tùy chỉnh của Kibana.

    Những gì bạn cần trước khi bắt đầu:

    Một tài khoản AWS: Bạn sẽ cần có một tài khoản AWS để bắt đầu cung cấp tài nguyên. Đăng ký AWS.

    Trình độ: Giải pháp này được thiết kế dành cho các chuyên gia về kết nối mạng và cơ sở hạ tầng CNTT, những người có kinh nghiệm thực tế trong xây dựng kiến trúc trên Đám mây AWS.

    Hỏi: Giải pháp này hoạt động với những nguồn nhật ký nào?

    Giải pháp này sử dụng Amazon Cognito, chỉ được hỗ trợ tại các khu vực AWS nhất định. Do đó, bạn phải khởi chạy mẫu sơ cấp của giải pháp này tại khu vực có hỗ trợ Cognito. Để biết hiện khu vực nào được hỗ trợ, hãy xem Cung cấp dịch vụ AWS theo khu vực. Bạn có thể triển khai mẫu spoke của giải pháp này tại bất kỳ khu vực nào trong tài khoản thứ cấp. Sau khi triển khai, giải pháp này sẽ theo dõi nhật ký của tất cả khu vực trong các tài khoản áp dụng.

    Hỏi: Giải pháp này hỗ trợ định dạng nhật ký nào?

    Amazon VPC Flow Logs, AWS CloudTrail, AWS Lambda, Common Log Format, Space Delimited, JSON, nhật ký máy chủ web Apache và định dạng khác (do người dùng định nghĩa).

    Câu hỏi: Giải pháp này có thể đánh chỉ mục nhật ký từ nhiều tài khoản không?

    Có. Giải pháp này có biểu mẫu spoke mà bạn có thể triển khai trên nhiều tài khoản phụ để đánh chỉ mục nhật ký trong những tài khoản trên miền Amazon ES trong tài khoản chính.

    Câu hỏi: Tôi có thể triển khai giải pháp ghi nhật ký tập trung ở mọi Khu vực AWS không?

    Có. Miền Amazon ES do giải pháp này tạo ra có thể chấp nhận dữ liệu nhật ký từ các tài khoản AWS và Khu vực AWS khác. Bạn có thể khởi chạy biểu mẫu spoke ở các khu vực khác để sử dụng giải pháp này để đánh chỉ mục nhật ký giữa các khu vực.

  • Dịch vụ đối tác

    Amazon Partner Network (APN) cung cấp nhiều giải pháp quản lý nhật ký toàn diện khác nhau cho tổ chức thuộc bất kỳ quy mô hay giai đoạn phát triển nào. Tìm hiểu AWS Marketplace để biết danh sách hoàn chỉnh các dịch vụ đối tác, bao gồm cả các lựa chọn thông dụng từ những đối tác sau.

    splunk

    Phần mềm Splunk cho phép các tổ chức lớn và nhỏ tìm kiếm, giám sát, phân tích và trực quan hóa dữ liệu từ các trang web, ứng dụng, máy chủ, mạng, cảm biến và thiết bị di động.
    Tìm hiểu thêm »

    sumologic

    Quản lý và phân tích nhật ký Sumo Logic cho phép doanh nghiệp thu thập, quản lý và phân tích dữ liệu nhật ký để cải thiện công tác quản lý cũng như giám sát ứng dụng và cơ sở hạ tầng của mình.
    Tìm hiểu thêm »

    datadog

    Datadog là dịch vụ giám sát có khả năng chuyển đổi dữ liệu thông số và sự kiện do ứng dụng, công cụ và dịch vụ tạo ra thành hiểu biết chuyên sâu có thể tạo nên hành động.
    Tìm hiểu thêm »

    elastic

    Từ chỗ là công ty đứng sau Elasticsearch, Logstash và Kibana, Elastic Cloud là giải pháp Elasticsearch được quản lý toàn phần có thể chạy trên Đám mây AWS và có các tính năng bảo mật cao cấp, giám sát và cảnh báo.
    Tìm hiểu thêm »

    loggly

    Loggly là giải pháp quản lý nhật ký trên đám mây được thiết kế cho một số trường hợp sử dụng vận hành, bao gồm cảnh báo, giám sát và khắc phục vấn đề trong sản xuất, v.v. Giải pháp này cung cấp tính năng tìm kiếm, lọc, vẽ đồ thị và phân tích toàn diện.
    Tìm hiểu thêm »

    logz.io

    Logz.io là nền tảng phân tích nhật ký thông minh có khả năng kết hợp ELK Stack thành dịch vụ đám mây và machine learning tinh vi để thu thập hiểu biết chuyên sâu mới và có thể tạo nên hành động từ dữ liệu do máy tạo ra.
    Tìm hiểu thêm »

Bạn cần thêm tài nguyên để bắt đầu sử dụng AWS? Truy cập Trung tâm tài nguyên để bắt đầu sử dụng để tham khảo sách hướng dẫn, dự án và video để bắt đầu sử dụng AWS.

Hãy cho chúng tôi biết cảm nghĩ của bạn