使用 Amazon Kinesis Data Firehose 執行資料擷取

使用 Amazon Kinesis Firehose,您可以將資料來源的原始串流資料輕鬆轉換為 Elasticsearch 索引要求的格式,並將其載入 Amazon Elasticsearch Service,無須建立自己的資料處理管道。

若要使用這項功能,只需從 AWS 管理主控台中的 Amazon Kinesis Firehose 交付串流組態標籤選取一個 AWS Lambda 函數。Amazon Kinesis Firehose 將自動套用 AWS Lambda 函數到每筆輸入資料記錄,並將轉換後的資料載入 Amazon Elasticsearch 索引。

Amazon Kinesis Firehose 提供預先建立的 Lambda 藍圖,這些藍圖可無須更改直接使用,或自訂以將 Apache 日誌和系統日誌這類常見的資料來源轉換為 JSON 和 CSV 格式。您也可以設定 Amazon Kinesis Firehose 自動重試失敗的任務,以及備份原始串流資料。進一步了解 »

 

使用 Logstash 執行資料擷取

Amazon Elasticsearch Service 支援與 Logstash 整合,它是一個開放原始碼資料處理工具,可從來源收集資料、進行轉換,然後載入 Elasticsearch。您可輕鬆地在 Amazon EC2 上部署 Logstash,並設定 Amazon Elasticsearch 網域做為後端存放區,用來儲存透過 Logstash 實作時產生的所有日誌。Logstash 支援預先建立的篩選條件庫,以輕鬆執行一般轉換,例如透過模式比對將非結構化日誌資料剖析為結構化資料;重新命名、移除、取代和修改資料記錄中的欄位;以及彙總指標。 進一步了解 »

使用 Amazon CloudWatch Logs 執行資料擷取

Amazon CloudWatch Logs 可讓您透過現有系統、應用程式和自訂日誌檔來監控系統和應用程式,以及進行故障排除。您可以透過 CloudWatch Logs 訂閱設定 CloudWatch Logs 日誌群組,以近乎即時的速度將資料串流到 Amazon Elasticsearch Service 網域。如果您已經使用 CloudWatch Logs 來收集日誌資料,而且想要將此資料與 Amazon Elasticsearch Service 使用者共享,則這個整合非常方便。 進一步了解 »

使用 AWS IoT 執行資料擷取

AWS IoT 是一個受管的雲端平台,可讓連線裝置輕鬆安全地與雲端應用程式及其他裝置進行互動。有了 AWS IoT,您可以從連線裝置 (例如,家用電器、內嵌感應器以及電視機上盒) 擷取資料。您可以使用 AWS 管理主控台設定 AWS IoT,將資料直接載入 Amazon Elasticsearch Service,讓您的客戶近乎即時地存取 IoT 資料和指標。 進一步了解 »

如何選擇正確的導入機制

您要根據特定使用案例的需求 (例如,資料延遲和資料類型),選擇適當的擷取機制。對於大量資料,我們建議使用 Amazon Kinesis Firehose,它是一種全受管的服務,可自動擴展以因應資料的輸送量,而且不需要全程管理。它也可以先轉換、壓縮和分批資料,然後再將資料載入 Amazon Elasticsearch Service 網域。選擇時通常也要將已使用的服務列入考慮。例如,假設您已經使用 Amazon CloudWatch Logs 收集應用程式日誌,您只需將該資料載入 Amazon Elasticsearch Service 網域即可,無須執行其他操作。

後續步驟

進一步了解 Amazon Elasticsearch Service 定價

瀏覽定價頁面
準備好開始建立?
開始使用 Amazon Elasticsearch Service
還有其他問題嗎?
聯絡我們