Tag: AWS Glue

该博客介绍了如何利用亚马逊云科技的服务组件快速搭建电动车电池告警预测平台，包括存储海量测试数据，构建基于Xgboost分类算法的电池故障报警预测模型，推理预测数据以及可视化的数据展示。

本文首先介绍了AWS Glue以及该服务的功能和使用场景，然后介绍了AWS Glue 中的Python Shell作业，可以基于Python完成一些基础的ETL操作。接下来，我们又介绍了Pandas on AWS – AWS Data Wrangler这款在AWS上进行数据分析的利器，并通过一个示例场景（CSV转换Parquet）来介绍了如何在Python Shell作业引入AWS Data Wrangler来简化在AWS平台上的无服务器化的ETL任务。

本文以VPC流日志为例，指导如何使用Glue爬网程序构建VPC流日志的数据目录，并使用GLUE ETL 作业把源数据进行分区并转换成Parquet格式，加速Athena查询VPC流日志的速度并减少扫描量以降低分析的成本。

因此，我很高兴地宣布 AWS Glue DataBrew 现已推出，该服务是一个可视化数据准备工具，可帮助您将清理和标准化数据的速度最高提高 80%，使您可以更加专注于您所能获得的商业价值。

近两年，机器学习已经渗透到各行各业，各种人工智能和机器学习的应用蓬勃发展，在其背后实际上会有一个完善的机器学习平台和流水线来支撑模型的开发、测试和迭代。但是这样一个系统性的平台，往往需要通过整合基础架构层和平台层来完成。在本篇Blog中，我们将展现如果通过AWS的服务构建云原生的机器学习流水线。

使用Glue ETL功能简单快捷的输出分区数据。

本篇博客会带您一步一步地在AWS上部署Apache Superset并在Superset上创建一个展示新冠肺炎情况的Dashboard（示例如下）。新冠肺炎数据存储于Amazon S3上并通过Amazon Athena来直接查询。

我们将讨论在较高层面构建 Intuit 数据湖所包含的技术和过程，包括设置账户和资源所使用的整体结构与自动化等。请关注我们这个空间的未来动态，阅读由其他合作构建 Intuit 数据湖的团队和工程师发布的关于该系统特定方面的更详细博文。

在此博文中，我们解释了将带 Redshift Spectrum 的 Amazon Redshift 扩展为现代数据仓库的原因。我将介绍我们的数据增长及平衡成本和性能的需求如何促使我们采用 Redshift Spectrum。我还将分享我们的环境中的关键性能指标，并讨论提供可扩展和快速环境的额外 AWS 服务，并提供数据供我们日益增长的用户群进行立即查询。

AWS 成本和使用情况报告 (CUR) 会追踪您的 AWS 使用情况，并提供与之相关联的预计费用。您可以配置此报告为以小时或日为间隔显示数据；在账单收费期最后结束前，它至少每天会更新一次。成本和使用情况报告会自动发送到由您指定的 Amazon S3 存储桶，可以在那里直接下载。您还可以将该报告整合到 Amazon Redshift，也可以通过 Amazon Athena 进行查询，或者把它上传到 Amazon QuickSight。