日誌分析是常見的大數據使用案例,讓您為數位行銷、應用程式監控、詐欺偵測、廣告技術、遊戲和 IoT 等各式各樣的應用程式,分析取自網站、行動裝置、伺服器、感應器等等的日誌資料。在這個專案中,您將使用 Amazon Web Services 建立一個端到端的日誌分析解決方案,用來收集、擷取、處理及載入批次資料和串流資料,並將處理過的資料近乎即時地放入使用者現用的分析系統中供他們使用。這個解決方案高度可靠、經濟實惠、可自動擴展以因應不同的資料量,而且幾乎不需要 IT 管理。
您可以完成的工作:
在資料來源設定 Kinesis 代理器,以收集資料並將資料持續傳送到 Amazon Kinesis Data Firehose。
使用 Kinesis Data Firehose 建立端對端的資料交付串流。交付串流會將您的資料從代理器傳輸到目的地,包括 Amazon Kinesis Data Analytics、Amazon Elasticsearch Service 和 Amazon S3。
在 Amazon Kinesis Data Analytics 中使用 SQL 查詢處理傳入的日誌資料。
從 Kinesis Data Analytics 載入已處理的資料到 Amazon Elasticsearch Service 以編製資料的索引。
使用 Kibana 分析和視覺化已處理的資料。
開始之前,您會需要:
AWS 帳戶:您需要有 AWS 帳戶才能開始佈建用來託管網站的資源。註冊 AWS。
IT 經驗:需要對 Web 技術有基本的了解並熟悉 SQL 才能順利完成這個專案。
AWS 經驗:不需要具備使用 AWS 的相關經驗即可順利完成這個專案。
帳單估算:
進一步了解 Amazon Web Services (AWS) 上的串流資料解決方案。
存取開發人員指南和 API 參考,進一步了解 Amazon Kinesis 的詳細資訊。
需要更多資源以開始使用 AWS? 請瀏覽入門資源中心以進一步了解。