Amazon Elasticsearch Service 是一项完全托管的服务,可以提供各种易于使用的实时 Elasticsearch API,还可以实现生产工作负载所需的可用性、可扩展性和安全性。Amazon Elasticsearch Service 非常适合用于日志分析、应用程序监控、交互式搜索及其他分析使用案例。但是,从数据源中收集、转换数据并将其映射和加载到您的 Elasticsearch 索引中可能非常困难且耗时。您必须将原始数据转换为 JSON 或 CSV 等结构化数据格式、清除数据并将其映射到目标数据字段。您还必须批量处理数据并进行缓存,才能进行有效加载,这样数据可立即用于查询,而不会过度加载您群集的计算和网络资源。要轻松完成这一操作,您可以根据您的特定使用案例要求,将 Amazon Elasticsearch Service 的内置集成与 Amazon Kinesis FirehoseLogstashAmazon CloudWatch LogsAWS IoT 相结合使用。


您可以配置 Amazon Kinesis Firehose 以便准备流数据,然后再将其加载到 Amazon Elasticsearch Service 中。利用该功能,您可以轻松地将来自数据源的原始流数据转换为 Elasticsearch 索引所需的格式,无需构建自己的数据处理管道。

要使用该功能,只需从 AWS 管理控制台中的 Amazon Kinesis Firehose 传输流配置选项卡中选择一个 AWS Lambda 函数即可。Amazon Kinesis Firehose 会自动将 AWS Lambda 函数应用到每个输入数据记录并将转换的数据加载到您的 Amazon Elasticsearch 索引。

Amazon Kinesis Firehose 可以提供预构建的 Lambda 蓝图,用于将 Apache 日志和系统日志等常见数据源转换为 JSON 格式和 CSV 格式。您可以原样使用预构建的蓝图、对其进行进一步自定义或者编写自己的自定义函数。您也可以对 Amazon Kinesis Firehose 进行配置,使其自动重试失败的任务并备份原始流数据。了解更多 »


Amazon Elasticsearch Service 支持与 Logstash 集成,Logstash 是一种开源数据处理工具,可从源中收集数据、转换数据,然后将其记载到 Elasticsearch。您可以在 Amazon EC2 上轻松部署 Logstash,并将您的 Amazon Elasticsearch 域设置为通过 Logstash 实施传入的所有日志的后端存储。Logstash 支持预先构建的过滤器,便于实现通用转换 (例如,通过模式匹配将非结构化日志数据解析为结构化数据);重命名、删除、替换和修改数据记录中的字段;以及整合指标。了解更多 »


Amazon CloudWatch Logs 支持您使用现有系统、应用程序和定制日志文件来监控系统与应用程序,并进行故障排除。您可以配置 CloudWatch Logs 日志组,以近乎实时的方式通过 CloudWatch Logs 订阅将数据流式传输至您的 Amazon Elasticsearch Service 域中。如果您目前使用 CloudWatch Logs 来收集日志数据,且想要与您的 Amazon Elasticsearch Service 用户共享该数据,此次集成会非常实用。了解更多 »


AWS IoT 是一款托管的云平台,使互联设备可以轻松安全地与云应用程序及其他设备交互。借助 AWS IoT,您可以从互联设备 (例如,消费类设备、嵌入式传感器和电视机顶盒) 中捕获数据,并从 AWS 管理控制台配置 AWS IoT,以将数据直接加载到 Amazon Elasticsearch Service。这使您能够为您的客户提供一种近乎实时的方式来访问 IoT 数据和指标。了解更多 »

选择正确的摄取机制取决于您的特定使用案例要求,例如,数据延迟和数据类型。对于大规模数据,我们建议使用 Amazon Kinesis Firehose,这是一项完全托管的服务,可以自动扩展以便与数据吞吐量匹配,不需要持续管理。该服务还可以在将数据加载到 Amazon Elasticsearch Service 域之前,对其进行转换、压缩和批处理。通常,该选择归根结底还是在于您正在使用的服务。例如,如果您已经使用 Amazon CloudWatch Logs 收集应用程序日志,则您只需将数据加载到 Amazon Elasticsearch Service 域,而无需额外执行过多操作。

您可以从使用我们的免费套餐开始,它提供每月高达 750 小时的单可用区 t2.micro.elasticsearch 或 t2.small.elasticsearch 实例使用时间和每月 10GB 的可选 Amazon EBS 存储。

免费试用