发布于: Apr 6, 2022
Amazon Athena 现已支持使用 Amazon Ion 格式存储的数据,这是一种由 Amazon 开发的,开源且类型丰富的自我描述格式。Amazon Ion 提供可互换的二进制格式和文本格式,这些格式兼具文本的易用性和二进制编码的高效性。目前,内部 Amazon 团队,以及 Amazon Quantum Ledger Database(Amazon QLDB)等 AWS 服务都在使用 Ion 格式,并且开源 SQL 查询语言 PartiQL 中也使用了该格式。
现在,您可以使用 Athena 的全新 Amazon Ion Serializer/Deserializer(SerDe)来创建和读取 Ion 表,这些表可以查询和连接 Parquet、Avro 和 CSV 等其他格式的数据。Ion 格式非常适用于稀疏填充的层级数据,例如病史记录、零售业订单文档,此类数据模型复杂且难以对结构化查询进行优化。使用 Athena 和 Ion,相应领域的专业人员仍可以轻松读取原始数据,还可以使用标准 SQL 查询来查询和分析原始数据,并且此类格式结构紧凑、空间利用率高,因此可以节省进行日志保留和数据传输的成本。
要了解更多信息,请参阅 Amazon Ion SerDe。请参阅 Amazon Athena SerDe 参考获取受支持的 SerDes 的完整列表。