如何在 Amazon Athena 中自动创建表以搜索 AWS CloudTrail 日志?

上次更新时间:2019 年 12 月 12 日

我想在大量 AWS CloudTrail 日志中进行搜索。为避免出现错误,我不想手动创建 Amazon Athena 表。

解决方法

使用 CloudTrail 控制台自动创建 Athena 表。有关更多信息,请参阅使用 Amazon Athena 搜索 AWS CloudTrail 日志

创建 Athena 表

  1. 打开 CloudTrail 控制台,然后从导航窗格中选择 Trails (跟踪)。记下 S3 存储桶名称。
  2. 在导航窗格中,选择事件历史记录,然后选择在 Amazon Athena 中运行高级查询
  3. 在 Amazon Athena 中创建表窗口中,打开 存储位置菜单,然后选择带有 CloudTrail 日志文件的 Amazon Simple Storage Service (Amazon S3) 存储桶。
  4. 选择创建表
  5. 选择转至 Athena

注意:您可能会收到一条错误消息“Your account does not have sufficient permissions to create tables in Amazon Athena。” 如果您确已收到,请按照附加 IAM 策略(控制台)中的说明附加 AmazonAthenaFullAccess 托管策略

您可以针对您的日志使用以下一项或多项示例查询。使用您的 Athena 表名替换 your_athena_tablename,并使用您的 20 个字符的访问密钥替换 access_key_id。您的访问密钥通常以 AKIA 或 ASIA 字符开头。

运行 Athena 查询

打开 Athena 控制台,选择 New query (新查询),然后选择相应对话框以清除示例查询。

输入您的查询,然后选择运行查询

显示特定访问密钥的所有已记录的 AWS API 活动

SELECT eventTime, eventName, userIdentity.principalId
FROM your_athena_tablename 
WHERE userIdentity.accessKeyId like 'access_key_id'

确定您的 EC2 实例的任何安全组更改

SELECT eventname, useridentity.username, sourceIPAddress, eventtime, requestparameters
FROM your_athena_tablename
WHERE (requestparameters like '%sg-5887f224%' or requestparameters like '%sg-e214609e%' or requestparameters like '%eni-6c5ca5a8%')
and eventtime > '2017-02-15T00:00:00Z'
order by eventtime asc;

显示过去 24 小时内的任何控制台登录

SELECT useridentity.username, sourceipaddress, eventtime, additionaleventdata
FROM your_athena_tablename 
WHERE eventname = 'ConsoleLogin'
and eventtime >= '2017-02-17T00:00:00Z'
and eventtime < '2017-02-18T00:00:00Z';

显示过去 24 小时内的任何失败的控制台登录尝试

SELECT useridentity.username, sourceipaddress, eventtime, additionaleventdata
FROM your_athena_tablename
WHERE eventname = 'ConsoleLogin'
and useridentity.username = 'HIDDEN_DUE_TO_SECURITY_REASONS'
and eventtime >= '2017-02-17T00:00:00Z'
and eventtime < '2017-02-18T00:00:00Z';

确定 CloudTrail 的月度成本增加量

SELECT eventName,count(eventName) AS NumberOfChanges,eventSource
FROM your_athena_tablename 
WHERE eventtime >= '2019-01-01T00:00:00Z'and eventtime < '2019-01-31T00:00:00Z'
GROUP BY eventName, eventSource
ORDER BY NumberOfChanges DESC

注意:eventtime 定义值限制为一个月。要获取多个月份的结果,请运行其他查询。

确定缺失的 AWS Identity and Access Management (IAM) 权限

SELECT count (*) as TotalEvents, useridentity.arn, eventsource, eventname, errorCode, errorMessage
FROM your_athena_tablename
WHERE (errorcode like '%Denied%' or errorcode like '%Unauthorized%')
AND eventtime >= '2019-10-28T00:00:00Z'
AND eventtime < '2019-10-29T00:00:00Z'
GROUP by eventsource, eventname, errorCode, errorMessage, useridentity.arn
ORDER by eventsource, eventname

如果结果未显示失败的 API 调用,则通过类似于下面这样的方法扩大查询范围:  

SELECT count (*) as TotalEvents, useridentity.arn, eventsource, eventname, errorCode, errorMessage
FROM your_athena_tablename
WHERE errorcode <> ''
AND eventtime >= '2019-10-28T00:00:00Z'
AND eventtime < '2019-10-29T00:00:00Z'
GROUP by eventsource, eventname, errorCode, errorMessage, useridentity.arn
ORDER by eventsource, eventname