如何在 Amazon Athena 中自动创建表以搜索 AWS CloudTrail 日志记录?

上次更新日期:2021 年 7 月 1 日

我想在大量 AWS CloudTrail 日志中进行搜索。为避免出现错误,我不想手动创建 Amazon Athena 表。

解决方法

使用 CloudTrail 控制台自动创建 Athena 表。有关更多信息,请参阅使用 Amazon Athena 搜索 AWS CloudTrail 日志

创建 Athena 表

1.    打开 CloudTrail 控制台,然后从导航窗格中选择 Trails(跟踪)。记下 S3 存储桶名称。

2.    在导航窗格中,选择 Event history(事件历史记录),然后选择 Create Athena table(创建 Athena 表)。

3.    在 Create a table in Amazon Athena(在 Amazon Athena 中创建表)窗口中,打开 Storage location(存储位置)菜单,然后选择带有 CloudTrail 日志文件的 Amazon Simple Storage Service (Amazon S3) 存储桶。

注意:您可以使用 Athena 对 CloudTrail 日志的分区投影来提高单个 AWS 区域中特定时间范围的搜索性能。

4.    选择 Create table(创建表)。

5.    选择 Go to Athena(转至 Athena)。

注意:您可能会收到一条错误消息“Your account does not have sufficient permissions to create tables in Amazon Athena。” 如果您确已收到,请按照添加 AWS Identity and Access Management (IAM) 策略(控制台)中的说明附加 AmazonAthenaFullAccess 托管策略

您可以针对您的日志使用以下一项或多项示例查询。使用您的 Athena 表名替换 your_athena_tablename,并使用您的 20 个字符的访问密钥替换 access_key_id。您的访问密钥通常以 AKIA 或 ASIA 字符开头。

运行 Athena 查询

1.    打开 Athena 控制台,选择 New query(新查询),然后选择相应对话框以清除示例查询。

2.    输入您的查询然后选择 Run Query(运行查询)。

显示指定访问密钥的所有记录的 AWS API 活动

SELECT eventTime, eventName, userIdentity.principalId
FROM your_athena_tablename 
WHERE userIdentity.accessKeyId like 'access_key_id'

识别 EC2 实例的任何安全组更改

SELECT eventname, useridentity.username, sourceIPAddress, eventtime, requestparameters
FROM your_athena_tablename
WHERE (requestparameters like '%sg-5887f224%' or requestparameters like '%sg-e214609e%' or requestparameters like '%eni-6c5ca5a8%')
and eventtime > '2017-02-15T00:00:00Z'
order by eventtime asc;

显示最近 24 小时的任何控制台登录

SELECT useridentity.username, sourceipaddress, eventtime, additionaleventdata
FROM your_athena_tablename 
WHERE eventname = 'ConsoleLogin'
and eventtime >= '2017-02-17T00:00:00Z'
and eventtime < '2017-02-18T00:00:00Z';

显示最近 24 小时的任何失败的控制台登录尝试

SELECT useridentity.username, sourceipaddress, eventtime, additionaleventdata
FROM your_athena_tablename
WHERE eventname = 'ConsoleLogin'
and useridentity.username = 'HIDDEN_DUE_TO_SECURITY_REASONS'
and eventtime >= '2017-02-17T00:00:00Z'
and eventtime < '2017-02-18T00:00:00Z';

确定 CloudTrail 的月度成本增加量

SELECT eventName,count(eventName) AS NumberOfChanges,eventSource
FROM your_athena_tablename 
WHERE eventtime >= '2019-01-01T00:00:00Z'and eventtime < '2019-01-31T00:00:00Z'
GROUP BY eventName, eventSource
ORDER BY NumberOfChanges DESC

注意:eventtime 定义值限制为一个月。要获取多个月份的结果,请运行其他查询。

识别缺失的 IAM 权限

SELECT count (*) as TotalEvents, useridentity.arn, eventsource, eventname, errorCode, errorMessage
FROM your_athena_tablename
WHERE (errorcode like '%Denied%' or errorcode like '%Unauthorized%')
AND eventtime >= '2019-10-28T00:00:00Z'
AND eventtime < '2019-10-29T00:00:00Z'
GROUP by eventsource, eventname, errorCode, errorMessage, useridentity.arn
ORDER by eventsource, eventname

如果结果未显示失败的 API 调用,则通过类似于下面这样的方法扩大查询范围:

SELECT count (*) as TotalEvents, useridentity.arn, eventsource, eventname, errorCode, errorMessage
FROM your_athena_tablename
WHERE errorcode <> ''
AND eventtime >= '2019-10-28T00:00:00Z'
AND eventtime < '2019-10-29T00:00:00Z'
GROUP by eventsource, eventname, errorCode, errorMessage, useridentity.arn
ORDER by eventsource, eventname