使用 Amazon Kinesis Data Firehose 进行数据摄取

利用 Amazon Kinesis Firehose,您可以轻松地将来自数据源的原始流数据转换为 Elasticsearch 索引所需的格式,并将其加载到 Amazon Elasticsearch Service,而无需构建自己的数据处理管道。

要使用该功能,只需从 AWS 管理控制台中的 Amazon Kinesis Firehose 传输流配置选项卡中选择一个 AWS Lambda 函数即可。Amazon Kinesis Firehose 会自动将该 AWS Lambda 函数应用到每个输入数据记录,并将转换后的数据加载到您的 Amazon Elasticsearch 索引。

Amazon Kinesis Firehose 提供了无需更改或自定义即可使用的预构建 Lambda 蓝图,用于将 Apache 日志和系统日志等常见数据源转换为 JSON 格式和 CSV 格式。您还可以对 Amazon Kinesis Firehose 进行配置,使其自动重试失败的任务并备份原始流数据。了解更多 »

 

使用 Logstash 进行数据摄取

Amazon Elasticsearch Service 支持与 Logstash 集成,Logstash 是一种开源数据处理工具,可从源中收集数据、转换数据,然后将其加载到 Elasticsearch。您可以在 Amazon EC2 上轻松部署 Logstash,并将您的 Amazon Elasticsearch 域设置为通过 Logstash 实施传入的所有日志的后端存储。Logstash 支持一系列预先构建的过滤器,可以轻松执行常见转换,例如:通过模式匹配将非结构化日志数据解析为结构化数据;重命名、删除、替换和修改数据记录中的字段;以及整合指标。 了解更多 »

使用 Amazon CloudWatch Logs 进行数据摄取

Amazon CloudWatch Logs 支持您使用现有系统、应用程序和自定义日志文件来监控系统与应用程序,并进行故障排除。您可以配置 CloudWatch Logs 日志组,以近乎实时的速度通过 CloudWatch Logs 订阅将数据流式传输至您的 Amazon Elasticsearch Service 域。如果您目前使用 CloudWatch Logs 来收集日志数据,且想要与您的 Amazon Elasticsearch Service 用户共享该数据,这项集成会非常实用。 了解更多 »

使用 AWS IoT 进行数据摄取

AWS IoT 是一款托管式云平台,使互联设备可以轻松安全地与云应用程序及其他设备交互。借助 AWS IoT,您可以从消费电器、嵌入式传感器和电视机顶盒等连接的设备中捕捉数据。您可以使用 AWS 管理控制台配置 AWS IoT,以便将数据直接加载到 Amazon Elasticsearch Service,从而让您的客户能够以近乎实时的速度访问 IoT 数据和指标。 了解更多 »

如何选择正确的摄取机制

选择正确的摄取机制取决于您的使用案例要求,例如数据延迟和数据类型。对于大规模数据,我们建议使用 Amazon Kinesis Firehose,这是一项完全托管的服务,可以自动扩展以便与数据吞吐量匹配,不需要持续管理。该服务还可以在将数据加载到 Amazon Elasticsearch Service 域之前,对其进行转换、压缩和批处理。通常,这一选择归根结底还是在于您正在使用的服务。例如,如果您目前使用 Amazon CloudWatch Logs 收集应用程序日志,则只需将数据加载到 Amazon Elasticsearch Service 域,而无需额外执行过多操作。

后续步骤

了解有关 Amazon Container Service 定价的更多信息

访问定价页面
准备好开始构建了吗?
开始使用 Amazon Elasticsearch Service
还有更多问题?
联系我们