数据迁移服务（上云或云云迁移），首发于服务器安全维护工作室。

兼职企业运维技术顾问，首发于服务器安全维护工作室。

云服务器专业安全代维 服务器代维 阿里云代维 云主机代维 运维外包服务，首发于服务器安全维护工作室。

为保证客户服务器正常运行，一二三服务器代运维团队对数据迁移、解决方案、架构设计、操作系统设置、数据库设置、网站程序设置、远程监测、安全服务等一系列服务器运维问题提供。购买时可提供按次、包月、包年服务。

服务器代运维_服务器托管_服务器维护，首发于服务器安全维护工作室。

下面我们将借助AWS Elemental MediaLive ， MediaPackage，CloudFront服务构建一套完整的直播OTT转码打包分发服务，通过这个实验您可以直观的体会到AWS的媒体服务是多么便捷，而您所需要的仅仅是一个AWS Global账号和一天可以上网的电脑。

1.  准备直播源

MediaLive支持RTP，RTMP(Push), RTMP(Pull),HLS四种输入源，如果您已经有RTMP直播源可以直接用在本实验中。

本次实验以HLS为例，使用存储在S3上的一个预先转码完成的文件做为输入源，对于MediaLive来说，这个输入源就是一个直播源。

例如https://s3-us-west-2.amazonaws.com/mytestbucket-og-media-3/keynote-hls/testvideo.m3u8

确认此目录已经开启公开访问（关于S3的更多信息请参阅https://docs.aws.amazon.com/zh_cn/AmazonS3/latest/dev/Welcome.html）

2.  创建MediaPackage Channel

a.  登陆AWS Global 控制台，在Services中选择MediaPackage，

b.  在Channel页面，选择 Create Channel

c.  输入ID，即自行命名这个Channel，例如ch1。可选填Description栏

d.  Input type选择Apple HLS

e.  点击Create channel

f.  点击新创建的Channel，在Channel Overview页面选择Add/edit endpoint

g.  在endpoints页面点击Add，填写 ID，例如ch1-ep1，点击Save

h.  重复上述步骤创建第二个Channel和对应的endpoint

i.  记下channel的Input URL，username和password

3.  创建MediaLive Channel

a.  在控制台Services 中选择MediaLive

b.  选择Channels页面，点击Create Channel

c.  在Channel Name中填入自行创建的通道名

d.  在IAM Role 选择Create role from template。选中Remember ARN

（关于IAM Role更多信息请参见https://docs.aws.amazon.com/zh_cn/IAM/latest/UserGuide/id_roles.html）

创建MediaLive Input

e.  在Channel input部分点击Create input

f.  在Input name 创建一个名字

g.  Input type选择HLS

h.  将第一步准备的HLS源的地址填入Input source A和Input source B的URL中。注意，出于高可用性的考虑，MediaLive Input要求2个互为主备的输入源，本试验使用两个不同的存储桶的HLS URL做为输入源，在实际生产环境中也要两个不同的输入源地址来提供高可靠性。

i.  点击Create

创建HLS Output Group

j.  在channel template部分，选择HTTP live streaming模版，将会自动添加不同分辨率和码率的10个输出。也可以不使用模版，通过手动添加自定义output

k.  点击Output groups下的模版名TN2224，点击Credentials(optional)，选中Create AWS Elemental MediaLive parameter 将第2步创建的两个channel的URL，Username，password依次填入HLS Group destination A和HLS Group destination B。见下图

l.  点击 Create channel

4.  启动channel并查看

a.  Channel创建完成后是idle状态，选中之后点击Start

b.  使用第2步创建的endpoint，使用VLC player来播放这个直播流，，例如：

https://103xxxxxxxxe303.mediapackage.us-west-2.amazonaws.com/out/v1/c78bcxxxxxxxxxxxxxxxxxxxxxx45/index.m3u8

c.  如果不能看到直播视频流，请查看并确认MediaLive Channel 和MediaPackage Channel 的network in&out都有流量

MediaLive Channel网络状态

MediaPackage Channel网络状态

5.  使用CloudFront创建CDN发布

a.  登陆AWS Global 控制台，在Services中选择CloudFront，选择Distributions，点击Create Distribution

b.  使用Web方式，点击Get Start

c.  在Origin Domain Name中填入第2步创建的MediaPackage end point域名，例如：https://103xxxxxxxxe303.mediapackage.us-west-2.amazonaws.com

在Origin Path 中填入MediaPackage end point中的路径，例如： /out/v1/c78bcxxxxxxxxxxxxxxxxxxxxxx45

Origin Protocol Policy 选择HTTPS only

其他选项可以不修改，（更多CloudFront相关信息，请参阅https://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/cf_dg.pdf）

点击Create Distribution

d.  等待创建完成后，status由In progress变为Deployed，即可使用CLoudFront分配的域名，加上index.m3u8即可例如d2xxxxxxxxxxx4n4m.cloudfront.net/index.m3u8

使用VLC player打开这个地址即可播放，这样就完成了播放流的CDN发布，CloudFront会选择距你延时最小的边缘站点进行加速。

现在，您的直播业务就已经完成了构建，并具有全球分发和加速能力。AWS媒体服务具备内置可靠性和弹性。该服务可透明地管理多个可用区中的资源，并自动监控其运行状况，以便在不中断实时频道的情况下检测并解决任何潜在问题。借助 AWS 媒体服务，您可以获得比通常用于广播工作负载的基础设施更高的可靠性

MediaLive输入支持SD, HD, UHD，支持H.264 (AVC), HEVC (H.265), MPEG-2视频编码格式，支持AAC, Dolby Digital, Dolby Digital Plus, MPEG Audio, PCM音频格式，支持AFD，支持帧率控制，支持GOP结构设置，支持多种编码profile，支持多种字幕标准，支持时码插入，支持数字版权管理等等。

除了MediaLive+MediaPackage，您还可以使用MediaConvert做视频文件转码，使用MediaStore做内容存储，使用MediaTailor做广告插播。AWS媒体服务与包括 Amazon CloudFront、AWS CloudFormation、Amazon CloudWatch 在内的补充性 AWS 服务，以及适用于安全、管理和生产的第三方应用程序相集成，提供一整套工具来处理和交付实时的按需视频内容。最重要的是，AWS 媒体服务使您专注于内容，而非管理复杂的基础设施，让您能为观众提供卓越的体验。

使用AWS 媒体服务构建全球直播解决方案，首发于服务器安全维护工作室。

在大型企业云迁移项目组，经常会遇到企业将线下数据中心的子网迁移到 AWS 云上。线下的子网划分一般会根据子网的使用功能不同进行划分，例如防火墙子网、负载均衡器子网、配合部署高可用架构的心跳线子网、应用系统子网等。不同企业的子网划分规则、子网的掩码大小和路由规则均不相同，并且在迁移后的系统上线后，企业还会经常划分新的网段以部署新的应用系统，这就需要有一个通用的模板来协助网络管理人员简化工作流程，提高工作效率。在我所经历过的一个项目中，生产 VPC 的子网划分有47个之多，且子网掩码有/24, /25, /26. 27/, /28等不同，在添加新的子网时，需要仔细计算新的子网 CIDR 以及为新建子网配置路由表。

动态创建子网的方案概述

因为 CloudFormation 不支持程序逻辑，只支持静态资源的创建，所以在本方案中采用 AWS Lambda 来基于输入参数动态创建不同类型的子网。我们定义了3种不同类型的子网：公共子网 (Public Subnet)， 外部子网 (External Subnet)，内部子网 (Internal Subnet) Subnet。
公共子网的路由表有如下路由信息：

部署在公共子网中的服务器可以直接与 Internet 进行通信（缺省分配 Internet IP 地址，并且有指向 Internet Gateway 的缺省路由）。
外部子网的路由表有如下路由信息：

部署在外部子网的服务器可以通过 NAT Gateway 与 Internet 进行通信，并且可以不通过互联网访问 S3 和 dynamodb。
内部子网的路由表有如下路由信息：

部署在内部子网的服务器不能访问 Internet，但是能直接访问 S3 和 dynamodb。
本方案使用2个 CloudFomation 模板， 第一个模板(CreateBaseVpc.json)创建共享资源，例如 VPC、Internet Gateway、公共子网 (Public Subnet) 路由表、在各个可用区内创建公共子网、NAT Gateway、 VPC Endpoint (S3 endpoint和DynamoDB endpoint)和创建外部子网路由表。在这个模板中还创建了3个 Lambda 功能函数：

• SharedInfra – 对应 python 程序 create_shared_infra.zip

功能：根据输入的参数，在程序运行的AWS Region的每个AZ内创建公共子网，将在 CreateBaseVpc.json 模板中建立的公共子网路由表关联到每个公共子网。 在每个公共子网内创建 NAT Gateway 和VPC endpoint，创建内部子网路由表，创建外部子网路由表。删除已经创建完成的资源，包括：子网、路由表、vpc endpoint、NAT Gateway、Elastic IP。

• CreateExternalRoute – 对应 python 程序 create_external_route.zip

功能：创建外部子网路由表中的路由。因为 NAT Gateway 的创建速度比较慢，创建路由时一定要等待 NAT Gateway 的状态变成 available 后才可以成功。如果将此功能与 SharedInfra 放在一起，在执行的时候容易发生 Lambda 运行超时错误。删除已经创建的路由信息。

• SubnetAutomation – 对应 python 程序 subnet_creation.zip

功能：根据输入的参数，计算网路的子网掩码，创建公共子网、外部子网和内部子网，并将在公共子网路由表、内部子网路由表和外部子网路由表关联到相应的子网上。删除已经创建完成子网。在 CreateBaseVpc.json 模板运行时，通过创建用户定义资源 ExternalRouteCreation和SharedInfraCreation 分别触发 Lambda 功能 CreateExternalRoute 和 SharedInfra，从而完成共享资源的创建。并提供了 SubnetAutomation 的功能函数 ARN，供运行第二个模板时调用。

第二个模板 (SubnetAuto.json) 创建动态资源，例如根据输入参数的不同计算子网掩码、创建子网并分配路由表。

本方案中创建子网时的输入参数并不需要 CIDR，只需要指定子网要提供的可用 IP 地址的个数即可，程序在计算可用 IP 地址时已经排除了 AWS 子网子网中保留的5个 IP 地址。例如：如果要创建有50个 IP 的子网，则子网掩码是/26，共计有64-5=59个可用IP地址；如果要创建有16个 IP 的子网，则子网掩码是/27，共计有32-5=27个可用 IP 地址。

创建子网的参数输入规则如下：

1. 每个子网包含4个部分，之间使用“:”分隔 – 功能: IP 地址数量:可用区:子网类型
2. 可用区根据Region的不同可选项为：1a,1b,1c,1d,1e等
3. 子网类型的可选项为：p（公共子网），e（外部子网）或者 i（内部子网）
4. 不同子网之间使用“,”分隔。

安装和运行

1. 在浏览器中输入：https://github.com/shaneliuyx/autosubnet_creation， 下载2个 json 文件和3个 zip 文件。将3个 zip 文件上传到一个 S3 存储桶中。
2. 打开 AWS 控制台，并选择 CloudFormation，选择存储在本地的 json 文件 json，运行 CloudFormation 模板。
3. 假设输入缺省的 PublicSubnetCapacity 和 VpcCidr 如下：

1. 选择 Next，直至 AWS 资源开始创建
2. 最终运行结果如下：

创建的 Subnet 如下：

公共子网路由表：

1. 打开 AWS 控制台，并选择 CloudFormation，选择存储在本地的 json 文件 json，运行 CloudFormation 模板。
2. 输入 SubnetParameters：web1:50:1a:p,web1:50:1b:p,app1:50:1a:e,app1:50:1b:e,db1:50:1a:i,db1:50:1b:i

这将创建6个子网，其中 Web、APP 和 DB 各2个子网，分布在2个 AZ 中:

1. 运行结果如下:

创建的子网：

内部子网路由表：

外部子网路由表：

假设现在还要创建一个包含16个有效 IP 的公共子网用于部署网络设备，可以再运行一次SubnetAuto.json，输出参数：net1:16:1a:p,net1:16:1b:p
则可以创建出如下子网：

与其他 CloudFormation 模板配合使用，进行 Landing Zone 部署

Landing Zone 中文名称翻译成着陆区，是指 AWS 的基本环境，用户在其上部署安全和运维流程。Landing Zone 的内容包含：账户结构、账户安全基线、网络结构和AWS用户访问管理。下面简单的介绍一下 AWS Landing Zone 的最佳实践。

• 账户结构

AWS 建议账户的划分与企业的组织架构和运维部门的组织架构一致。例如按照如下结构划分账户：

• 账户安全基线

AWS 建议在所有账户内打开 CloudTrail 和 AWS Config 功能。所有日志信息要复制到安全账户内的 S3 存储桶中。建立跨账户访问的 Auditor 角色。

• 网络结构

AWS 建议删除缺省 VPC，建立客户自己定义的 VPC。建立共享 VPC（包含目录服务、邮件服务器等），应用 VPC 与共享 VP C建立 Peer 关系。通过 VPN 或者 Direct Connect 与线下的数据中心建立网络连接，或者采用 Transit VPC（参考 https://aws.amazon.com/answers/networking/aws-global-transit-network/ ，https://aws.amazon.com/blogs/aws/aws-solution-transit-vpc/ ）建立集中的网络控制机制。网络输入输出的安全控制（建立堡垒机，建立 Security Group、网络 ACL 或者第三方的防火墙工具）

• AWS 用户访问管理

包括建议基于 SAML 的单点登录，建立跨账户角色访问机制等。

上述介绍的建立 VPC 和子网的方法可以看成建立 Landing Zone 的基础，在此之上，我们还可以使用 CloudFormation 建立堡垒机，打开 CloudTrail 和 AWS config，建立不同账户间的日志（log）复制机制，建立 Config Rule 进行合规性检查等等。 AWS 已经开发出多个 QuickStart CloudFormation 脚本协助用户完成上述工作，但是这些脚本在中国区（BJS）运行时需要做一些修改。下表列出了一些可用的资源，其中中国区部署模板是我针对中国区的特点修改过的，可以在BJS正常运行。

建立 VPC 并基于参数动态创建子网的 CloudFormation 模板，首发于服务器安全维护工作室。

在本文中，我们将向您展示如何使用 AWS Config 监控 Amazon Simple Storage Service (S3) 存储桶 ACL 和策略，确定是否存在允许公开读写访问权限的违规行为。如果 AWS Config 发现违反策略的行为，我们会使其触发 Amazon CloudWatch Event 规则以触发 AWS Lambda 函数，从而更正 S3 存储桶 ACL，或通过 Amazon Simple Notification Service (Amazon SNS) 通知您存在违反策略且允许公开读写访问权限的行为。我们将通过五个主要步骤为您演示此过程。

1. 启用 AWS Config 来监控 Amazon S3 存储桶 ACL 和策略，以发现违规行为。
2. 创建 IAM 角色和策略，为 Lambda 函数授予读取 S3 存储桶策略和通过 SNS 发送提醒的权限。
3. 创建和配置 CloudWatch Events 规则，在 AWS Config 检测到违反 S3 存储桶 ACL 或策略的行为时触发 Lambda 函数。
4. 创建 Lambda 函数，以使用 IAM 角色审核 S3 存储桶 ACL 和策略、更正 ACL，并通知您的团队策略违规行为。
5. 验证监控解决方案。

注意：本文假设您的合规性策略要求您所监控的存储桶不允许公开读写访问权限。例如，如果您打算开放提供静态内容的存储桶，可以从本文着手，根据您的需要定制解决方案。

在本文末尾，我们将提供一个可实施本文所述解决方案的 AWS CloudFormation 模板。您可以使用该模板在多个区域快速部署解决方案。

重要说明：如果使用部署的某些资源（包括使用所提供的 CloudFormation 模板部署的资源），则在使用这些资源期间会产生费用。在提供 AWS Config 规则的每个区域使用这些规则都会产生费用。

架构

以下是我们将要实施的架构图：

步骤 1：启用 AWS Config 和 Amazon S3 存储桶监控功能

以下步骤将演示如何设置 AWS Config 来监控 Amazon S3 存储桶。

1. 登录 AWS 管理控制台，并打开AWS Config 控制台。
2. 如果这是您第一次使用 AWS Config，请选择开始使用。如果您已经使用过 AWS Config，请选择设置。
3. 在设置页面中的 Resource types to record (要记录的资源类型) 下，取消选中 All resources (所有资源) 复选框。在 Specific types (具体类型) 列表中，选择 S3 下的存储桶。

    

4. 选择用于存储配置历史记录和快照的 Amazon S3 存储桶。我们会创建一个新的 Amazon S3 存储桶。

    

   1. 如果您更希望使用账户中现有的 Amazon S3 存储桶，请选择 Choose a bucket from your account (从您的账户中选择存储桶) 单选按钮，然后使用下拉菜单选择现有的存储桶。

       

5. 在 Amazon SNS topic (Amazon SNS 主题) 下，选中 Stream configuration changes and notifications to an Amazon SNS topic (将配置更改和通知流式传输至 Amazon SNS 主题) 旁边的复选框，然后选择 Create a topic (创建主题) 旁边的单选按钮。
   1. 您也可以选择之前创建和订阅的主题。

       

   2. 如果您创建了新的 SNS 主题，则需要订阅它才能收到通知。我们将在后面的步骤中演示此操作。
6. 除非您已经有要使用的角色，否则请在 AWS Config role (AWS Config 角色) 下选择 Create a role (创建角色)。我们使用系统自动推荐的角色名称。

    

7. 选择下一步。
8. 配置 Amazon S3 存储桶监控规则：
   1. 在 AWS Config rules (AWS Config 规则) 页面上搜索 S3，选择 s3-bucket-publice-read-prohibited 和 s3-bucket-public-write-prohibited 规则，然后单击下一步。

       

   2. 在审核页面上，选择确认。AWS Config 此时会分析您的 Amazon S3 存储桶，捕获它们当前的配置，并根据我们选择的规则评估配置。
9. 如果您创建了新 Amazon SNS 主题，请打开 Amazon SNS 管理控制台并找到您创建的主题：

    

10. 复制该主题的 ARN（以 arn: 开头的字符串），您需要在后面的步骤中使用它。
11. 选择主题旁边的复选框，然后在操作菜单下选择订阅主题。
12. 选择电子邮件作为协议，输入您的电子邮件地址，然后选择创建订阅。
13. 几分钟后，您会收到一封电子邮件，要求您确认订阅与此主题有关的通知。选择对应链接以确认订阅。

步骤 2：为 Lambda 创建角色

我们的 Lambda 需要相关权限，才能检查和修改 Amazon S3 存储桶 ACL 和策略，记录 CloudWatch 日志并发布到 Amazon SNS 主题。现在，我们将设置自定义 AWS Identity and Access Management (IAM) 策略和角色来支持这些操作，并将它们分配到我们将在下一节中创建的 Lambda 函数。

1. 在 AWS 管理控制台中，在服务下选择 IAM 以访问 IAM 控制台。
2. 创建具有以下权限的策略，或者复制以下策略：

   
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "SNSPublish",
               "Effect": "Allow",
               "Action": [
                   "sns:Publish"
               ],
               "Resource": "*"
           },
           {
               "Sid": "S3GetBucketACLandPolicy",
               "Effect": "Allow",
               "Action": [
                   "s3:GetBucketAcl",
                   "s3:GetBucketPolicy"
               ],
               "Resource": "*"
           },
           {
               "Sid": "S3PutBucketACLAccess",
               "Effect": "Allow",
               "Action": "s3:PutBucketAcl",
               "Resource": "arn:aws:s3:::*"
           },
           {
               "Sid": "LambdaBasicExecutionAccess",
               "Effect"quot;: "Allow",
               "Action": [
                   "logs:CreateLogGroup",
                   "logs:CreateLogStream",
                   "logs:PutLogEvents"
               ],
               "Resource": "*"
           }
       ]
   }
   
   

3. 为 Lambda 函数创建角色：
   1. 从要使用该角色的服务列表中选择 Lambda。
   2. 选择您之前创建的策略旁边的复选框，然后选择 Next: Review (下一步：审核)
   3. 指定角色名称，为其输入描述，然后选择创建角色。在该示例中，我们将角色命名为 LambdaS3PolicySecuringRole。

步骤 3：创建和配置 CloudWatch 规则

在这一节中，我们将创建一个 CloudWatch 规则，以便在 AWS Config 确定您的 Amazon S3 存储桶不合规时触发 Lambda 函数。

1. 在 AWS 管理控制台中，在服务下选择 CloudWatch。
2. 在左侧的事件下，选择规则。
3. 单击创建规则。
4. 在 Step 1: Create rule (第 1 步：创建规则) 中的事件源下，选择下拉列表并选择生成自定义事件模式。
5. 复制以下模式，并将其粘贴到文本框中：

   
   {
     "source": [
       "aws.config"
     ],
     "detail": {
       "requestParameters": {
         "evaluations": {
           "complianceType": [
             "NON_COMPLIANT"
           ]
         }
       },
       "additionalEventData": {
         "managedRuleIdentifier": [
           "S3_BUCKET_PUBLIC_READ_PROHIBITED",
           "S3_BUCKET_PUBLIC_WRITE_PROHIBITED"
         ]
       }
     }
   }
   
   			

   该模式会在检查 Amazon S3 存储桶的公开访问权限时匹配 AWS Config 生成的事件。

6. 我们将在稍后添加 Lambda 目标。现在，选择您之前创建的 Amazon SNS 主题，然后选择配置详细信息。

    

7. 输入规则的名称和描述。在该示例中，我们指定名称 AWSConfigFoundOpenBucket
8. 单击创建规则。

步骤 4：创建 Lambda 函数

在这一节中，我们将创建新的 Lambda 函数，用于检查 Amazon S3 存储桶的 ACL 和存储桶策略。如果发现存储桶 ACL 允许公开访问权限，该 Lambda 函数会将其覆盖，改为私密。如果找到了存储桶策略，Lambda 函数会创建 SNS 消息，将该策略添加到消息正文中，然后将其发布到我们创建的 Amazon SNS 主题。存储桶策略可能很复杂，而覆盖策略可能会导致访问权限意外丢失，因此该 Lambda 函数不会尝试对您的策略进行任何更改。

1. 获取之前创建的 Amazon SNS 主题的 ARN。
2. 在 AWS 管理控制台中，在服务下选择 Lambda 进入 Lambda 控制台。
3. 在控制面板中，选择创建函数。或者，如果您直接进入了函数页面，也可以选择右上角的创建函数按钮。
4. 在创建函数页面上：
   1. 选择从头开始创作。
   2. 为该函数提供一个名称。我们使用 AWSConfigOpenAccessResponder。
   3. 我们编写的 Lambda 函数与 Python 3.6 兼容，所以请在运行语言下拉列表中选择 Python 3.6。
   4. 在角色下选择选择现有角色。选择您在前一节中创建的角色，然后选择创建函数。

       

5. 现在，我们根据之前创建的规则添加 CloudWatch 事件。
   1. 在 Add triggers (添加触发器) 部分，选择 CloudWatch Events。CloudWatch Events 框应该会显示在 Lambda 函数左侧，还会显示一条内容为 Configuration required (需要配置) 的备注。

       

   2. 在规则下拉框中，选择您之前创建的规则，然后选择添加。
6. 向上滚动到 Designer (设计者) 部分，然后选择您的 Lambda 函数的名称。
7. 删除默认代码，然后粘贴以下代码：

   
   import boto3
   from botocore.exceptions import ClientError
   import json
   import os
   
   ACL_RD_WARNING = "The S3 bucket ACL allows public read access."
   PLCY_RD_WARNING = "The S3 bucket policy allows public read access."
   ACL_WRT_WARNING = "The S3 bucket ACL allows public write access."
   PLCY_WRT_WARNING = "The S3 bucket policy allows public write access."
   RD_COMBO_WARNING = ACL_RD_WARNING + PLCY_RD_WARNING
   WRT_COMBO_WARNING = ACL_WRT_WARNING + PLCY_WRT_WARNING
   
   def policyNotifier(bucketName, s3client):
       try:
           bucketPolicy = s3client.get_bucket_policy(Bucket = bucketName)
           # notify that the bucket policy may need to be reviewed due to security concerns
           sns = boto3.client('sns')
           subject = "Potential compliance violation in " + bucketName + " bucket policy"
           message = "Potential bucket policy compliance violation. Please review: " + json.dumps(bucketPolicy['Policy'])
           # send SNS message with warning and bucket policy
           response = sns.publish(
               TopicArn = os.environ['TOPIC_ARN'],
               Subject = subject,
               Message = message
           )
       except ClientError as e:
           # error caught due to no bucket policy
           print("No bucket policy found; no alert sent.")
   
   def lambda_handler(event, context):
       # instantiate Amazon S3 client
       s3 = boto3.client('s3')
       resource = list(event['detail']['requestParameters']['evaluations'])[0]
       bucketName = resource['complianceResourceId']
       complianceFailure = event['detail']['requestParameters']['evaluations'][0]['annotation']
       if(complianceFailure == ACL_RD_WARNING or complianceFailure == ACL_WRT_WARNING):
           s3.put_bucket_acl(Bucket = bucketName, ACL = 'private')
       elif(complianceFailure == PLCY_RD_WARNING or complianceFailure == PLCY_WRT_WARNING):
           policyNotifier(bucketName, s3)
       elif(complianceFailure == RD_COMBO_WARNING or complianceFailure == WRT_COMBO_WARNING):
           s3.put_bucket_acl(Bucket = bucketName, ACL = 'private')
           policyNotifier(bucketName, s3)
       return 0  # done
   			

8. 向下滚动到环境变量部分。该代码使用一个环境变量来存储 Amazon SNS 主题的 ARN。
   1. 输入 TOPIC_ARN 作为密钥。
   2. 输入之前创建的 Amazon SNS 主题的 ARN 作为值。
9. 在 Execution role (执行角色) 下选择选择现有角色，然后从下拉菜单中选择之前创建的角色。
10. 保留其他内容不变，然后在顶部选择保存。

步骤 5：验证效果

到现在为止，我们已经有了一个 Lambda 函数、一个 Amazon SNS 主题、监控 Amazon S3 存储桶的 AWS Config，以及在发现存储桶不合规时触发 Lambda 函数的 CloudWatch 规则。我们来进行测试，确保它们能够正常工作。

我们有在受 AWS Config 监控的区域中创建的 Amazon S3 存储桶 myconfigtestbucket，还有关联的 Lambda 函数。ACL 或策略中未设置该存储桶的公开读写访问权限，所以它是合规的。

我们来更改存储桶的 ACL，以允许公开列出对象：

保存后，该存储桶便可公开访问了。几分钟后，AWS Config 控制面板会发现一项不合规的资源：

在 Amazon S3 控制台中，我们可以看到：在调用由之前创建的 CloudWatch 规则触发的 Lambda 函数后，存储桶中不再公开列出对象。

请注意，AWS Config 控制面板此时显示没有不合规的资源了：

现在，我们来配置允许列表访问的存储桶策略，以尝试进行 Amazon S3 存储桶策略检查：

对 myconfigtestbucket 存储桶设置该存储桶策略后，AWS Config 会在几分钟后检测到该存储桶不再合规。因为这是存储桶策略而不是 ACL，所以我们将一条通知发布到我们之前创建的 SNS 主题，以通知我们可能违反策略的行为：

获知该策略允许公开列出存储桶后，我们现在可以修改或删除该策略，随后 AWS Config 会检测到资源符合策略。

结论

在本文中，我们演示了如何使用 AWS Config 监控 Amazon S3 存储桶是否使用公开的读写访问权限 ACL 和策略。另外，我们演示了如何使用 Amazon CloudWatch、Amazon SNS 和 Lambda 覆盖公开的存储桶 ACL，或者在存储桶使用可疑策略时提醒您。您可以使用 CloudFormation 模板在多个区域快速部署该解决方案。通过该方法，您将能够轻松找出并保护公开的 Amazon S3 存储桶 ACL 和策略。将该解决方案部署到多个区域后，可以使用 AWS Config 聚合器来聚合结果。阅读本文了解更多信息。

利用 AWS Config 监控和响应 Amazon Simple Storage Service (S3) 允许公开读写访问权限，首发于服务器安全维护工作室。

{
  "type": "AssumedRole",
  "principalId": "AROAJI4AVVEXAMPLE:ROLE-SESSION-NAME",
  "arn": "arn:aws:sts::ACCOUNTNUMBER:assumed-role/ROLE-NAME/ROLE-SESSION-NAME",
  "accountId": "ACCOUNTNUMBER",
  "accessKeyId": "ASIAEXAMPLEKEY",
  "sessionContext": {
    "attributes": {
      "mfaAuthenticated": "false",
      "creationDate": "XXXX-XX-XXTXX:XX:XXZ"
    },
    "sessionIssuer": {
      "type": "Role",
      "principalId": "AROAJI4AVV3EXAMPLEID",
      "arn": "arn:aws:iam::ACCOUNTNUMBER:role/ROLE-NAME",
      "accountId": "ACCOUNTNUBMER",
      "userName": "ROLE-SESSION-NAME"
    }
  }
}

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Deny",
      "Principal": "*",
      "Action": "s3:*",
      "Resource": [
        "arn:aws:s3:::MyExampleBucket",
        "arn:aws:s3:::MyExampleBucket/*"
      ],
      "Condition": {
        "StringNotLike": {
          "aws:userId": [
            "AROAEXAMPLEID:*",
            "111111111111"
          ]
        }
      }
    }
  ]
}

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Deny",
      "Principal": "*",
      "Action": "s3:*",
      "Resource": [
        "arn:aws:s3:::MyExampleBucket",
        "arn:aws:s3:::MyExampleBucket/*"
      ],
      "Condition": {
        "StringNotLike": {
          "aws:userId": [
            "AROAEXAMPLEID:*",
            "AIDAEXAMPLEID",
            "111111111111"
          ]
        }
      }
    }
  ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::111111111111:role/ROLENAME"
            },
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::MyExampleBucket"
        },
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::111111111111:role/ROLENAME"
            },
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject"
            ],
            "Resource": "arn:aws:s3:::MyExampleBucket/*"
        },
        {
            "Effect": "Deny",
            "Principal": "*",
            "Action": "s3:*",
            "Resource": [
                "arn:aws:s3:::MyExampleBucket",
                "arn:aws:s3:::MyExampleBucket/*"
            ],
            "Condition": {
                "StringNotLike": {
                    "aws:userId": [
                        "AROAEXAMPLEID:*",
                        "111111111111"
                    ]
                }
            }
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::111111111111:role/ROLENAME"
            },
            "Action": [
                "s3:ListAllMyBuckets",
                "s3:GetBucketLocation"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::111111111111:role/ROLENAME"
            },
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::MyExampleBucket"
        },
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::111111111111:role/ROLENAME"
            },
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject"
            ],
            "Resource": "arn:aws:s3:::MyExampleBucket/*"
        },
        {
            "Effect": "Deny",
            "Principal": "*",
            "Action": "s3:*",
            "Resource": [
                "arn:aws:s3:::MyExampleBucket",
                "arn:aws:s3:::MyExampleBucket/*"
            ],
            "Condition": {
                "StringNotLike": {
                    "aws:userId": [
                        "AROAEXAMPLEID:*",
                        "111111111111"
                    ]
                }
            }
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": [
                {
                    "AWS": [
                        "arn:aws:iam::222222222222:role/ROLENAME",
                        "arn:aws:iam::222222222222:user/USERNAME"
                    ]
                }
            ],
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::MyExampleBucket"
        },
        {
            "Effect": "Allow",
            "Principal": [
                {
                    "AWS": [
                        "arn:aws:iam::222222222222:role/ROLENAME",
                        "arn:aws:iam::222222222222:user/USERNAME"
                    ]
                }
            ],
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject"
            ],
            "Resource": "arn:aws:s3:::MyExampleBucket/*"
        },
        {
            "Effect": "Deny",
            "Principal": "*",
            "Action": "s3:*",
            "Resource": [
                "arn:aws:s3:::MyExampleBucket",
                "arn:aws:s3:::MyExampleBucket/*"
            ],
            "Condition": {
                "StringNotLike": {
                    "aws:userId": [
                        "AROAEXAMPLEID:*",
                        "AIDAEXAMPLEID",
                        "111111111111"
                    ]
                }
            }
        }
    ]
}

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListAllMyBuckets",
        "s3:GetBucketLocation"
      ],
      "Resource": "*"
    },
    {
      "Effect": "Allow",
      "Action": "s3:ListBucket",
      "Resource": "arn:aws:s3:::MyExampleBucket"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:PutObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::MyExampleBucket/*"
    }
  ]
}

将亚马逊 AWS S3 存储桶的访问权限到一个特定 IAM 角色，首发于服务器安全维护工作室。

我们亲身经历过这种挑战，当时 AWS 客户增长到了临界点，其应用足迹遍及众多 AWS 地区、AWS 账户、开发团队和应用程序。AWS 提高了他们的灵活性和响应能力，又能让他们在最适合的地点部署资源，这让他们非常满意。而在安全性和合规性方面，这种多元化和规模带来了新的挑战。创新自由必须在保护重要数据和产生威胁时快速响应的需求之间达到平衡。

在过去几年中，我们为客户提供了越来越多的保护选项，包括 AWS WAF 和 AWS Shield。我们的客户将所有这些选项用于各种用途，并要求能够从单一的中央地点管理它们。

遇到 AWS Firewall Manager
AWS Firewall Manager 旨在帮助这些客户！通过它，这些客户可以自由地使用多个 AWS 账户并在所需的任何地区托管应用程序，同时保持对其组织的安全设置和配置文件的集中控制。开发人员完成开发，创新人员完成创新，而安全团队则能够对潜在威胁和实际攻击做出快速、一致的全局响应。

通过跨账户和应用程序的自动化策略实施，您的安全团队可以确信当他们使用 Firewall Manager 时，新的和现有的应用程序都符合组织级的安全策略。它们可找到未衡量的应用程序和 AWS 资源，快速地使其达到合规。

Firewall Manager 围绕包含 WAF 规则集和可选 AWS Shield 高级保护的命名策略构建。每个策略适用于按账户、资源类型、资源标识符或标签指定的一组特定 AWS 资源。策略可以自动应用于所有匹配的资源，也可应用于您选择的子集。策略可包括从组织内部获得的 WAF 规则，也可包括 AWS 合作伙伴（例如，Imperva、F5、Trend Micro 和其他 AWS Marketplace 供应商）创建的规则。这让您的安全团队能够将其现有的本地安全方法复制到云中。

入门向导
Firewall Manager 有三个前提条件：

AWS Organizations – 您的组织必须使用 AWS Organizations 管理账户且必须启用所有功能。要了解更多信息，请阅读创建组织。

Firewall Administrator – 您必须指定组织中的一个 AWS 账户作为 Firewall Manager 的管理员。这样将赋予该账户在组织中部署 AWS WAF 规则的权限。

AWS Config – 您必须为组织中的所有账户启用 AWS Config，以使 Firewall Manager 能够检测到新创建的资源（您可以使用 StackSets 示例模板页面上的启用 AWS Config 模板来处理这件事）。要了解更多信息，请阅读 AWS Config 入门。

由于我没有自己的企业，因此由我的同事帮我创建一些测试账户！当我在主账户中打开 Firewall Manager 控制台时，我可以看到关于前两个前提条件的基础：

“了解更多…”按钮可显示管理员的账户 ID：

我切换到该账户（在实际情况中，我不太可能拥有主账户和此账户的访问权限），打开控制台，看到我现在已经满足了前提条件。我单击“创建策略”继续：

控制台为我提供了流程概要。我需要创建规则和规则组，定义包含规则组的策略，定义策略范围，然后实际创建策略。

在页面底部，我选择为美国东部（弗吉尼亚北部）地区创建新策略和规则组，并单击“下一步”：

然后，我为自己的规则指定条件，从下列选项中做出选择：

• 跨站脚本
• 地理起源
• SQL 注入
• IP 地址或范围
• 大小限制
• 字符串或正则表达式

例如，我可以创建阻挡恶意 IP 地址的条件（此 AWS 解决方案为您展示如何将第三方声誉列表用于 WAF 及其益处）：

我将保持此单一设置，但是规则中可包含多个条件。全部添加之后，我单击“下一步”继续。现在，我已准备好创建自己的规则，我单击“创建规则”（我可以随后根据需要添加更多条件）：

我为自己的规则命名 (BlockExcludedIPs)，输入 CloudWatch 指标名称，并添加我的条件 (ExcludeIPs)，然后单击“创建”：

我可以创建更多规则，并将其包含在同一个规则组中。同样，我将保持此单一设置，并单击“下一步”继续：

我输入组的名称，选择构成组的规则，然后单击“创建”：

我现在有两个规则组（账户中已有 testRuleGroup）。我命名自己的策略，并单击“下一步”继续：

现在，我定义自己的策略范围。我选择要保护的资源类型，并指示应在何时应用策略：

我还可以使用标签包括或排除资源：

定义了策略范围之后，我单击“下一步”进行审核，然后单击“创建策略”：

现在，策略已经生效，其范围内的 ALB 最初不合规：

几分钟之内，Firewall Manager 就会应用该策略，并向我提供状态报告：

现在开始使用 AWS Firewall Manager
您现在可以开始使用 AWS Firewall Manager 了！

如果您正在使用 AWS Shield Advanced，则可以访问 AWS Firewall Manager 和 AWS WAF 而无需额外付费。否则，将会每月针对每个区域中的每条策略收费，同时还收取 WAF WebACLs、WAF 规则和 AWS Config 规则的正常费用。

AWS Firewall Manager – 您的 Web 应用程序资产的集中管理解决方案，首发于服务器安全维护工作室。

另一方面，自建实时分析平台无论从成本还是对技术人员的要求都相当巨大，大量的技术人员更喜欢使用SQL而非代码的方式来挖掘数据，基于此，AWS提供的Kinesis Analytics服务很好地满足了用户的需求，通过简单的SQL语句及内置的丰富函数，用户能够快速地搭建起适合自身业务场景的实时分析解决方案，所有的底层设施由AWS来维护，保证服务的高可用性，用户可以把更多地精力放在如何挖掘和分析数据的工作上。

本文以实际的应用场景出发，介绍如何通过使用AWS的服务，实时分析CloudFront的访问日志，同时，借助于DynamoDB的全局表功能，使得用户能够利用支持Kinesis Analytics的区域对日志进行分析，并把分析结果同步回用户现在使用的区域的DynamoDB表中，帮助那些使用尚未支持Kinesis Analytics区域的用户也能够使用并享受到该服务带来的便捷。

下面我们来看下方案的架构：

如上图所示：

·         CloudFront会定期将用户的访问日志保存到用户设置的S3存储桶中。

·         日志在S3上生成后会自动触发Lambda函数。

·         Lambda函数对日志进行解压缩，并将日志内容打入Kinesis Stream流中。

·         Kinesis Analytics从Kinesis Stream流中获取日志数据并进行实时分析。

·         Kinesis Analytics的分析结果会发送到另一个Lambda函数。

·         该Lambda函数将分析结果处理后存入本区域的DynamoDB表中。

·         由于启用了DynamoDB全局表，分析结果会自动同步到其他区域的DynamoDB表中。

·         在用户业务所在的区域中，通过使用ALB，EC2搭建简单的web应用就可以对DynamoDB表中的数据进行实时的分析展现。

本文假设用户业务所在的区域是Ohio，由于Ohio尚未支持Kinesis Analytics服务，因而将所有分析组件部署在Virginia区域，仅仅将分析结果同步回Ohio的DynamoDB表中，另外，对于图中的ALB，EC2部分，本文不做详细的搭建说明，用户可以使用自己熟悉的开发语言进行展示页面的开发，也可以使用API GW，Lambda搭建无服务器的展示系统。

那下面我们就来看看如何快速地搭建这样一个实时分析平台吧。

第一步 准备工作

首先开启CloudFront的日志功能。

创建Lambda函数，用于解析CloudFront日志并将日志打入Kinesis流中，Lambda代码可从如下地址下载：

https://github.com/iwasnobody/cflogs2analytics2ddb/blob/master/CFLogs2Kinesis.py 

进入CloudFront日志保存的S3桶。

设置当有新日志文件产生的时候，触发之前创建Lambda函数。 

创建DynamoDB表，用于保存Kinesis Analytics分析的结果。

将创建的表设置成global table，与Ohio区域同步。

创建Kinesis Stream，用于接收Lambda发送过来的日志。

第二步 向Kinesis流中打入数据

由于CloudFront需要有用户访问流量的情况下才会产生日志，并且产生日志的过程不是实时的，所以为了便于测试，我们通过一个工具模拟Lambda产生的消息打入Kinesis流中，大家可以从如下链接查看该工具的详情。https://github.com/awslabs/amazon-kinesis-data-generator

Kinesis Data Generator通过PC端浏览器的简单配置，就能够快速地产生测试流量打入指定的Kinesis流中，并且支持产生一定随机的数据，下图中，我们将数据以每秒一条的速度打入us-east-1区域的Kinesis流，数据的格式模拟Lambda函数的输出，即：以JSON格式输出CloudFront日志的每个字段，并且c_ip客户端ip字段通过简单的设置，让工具以一定的比例生成4个ip地址中的一个，其他字段都为固定字段，测试数据可以通过让CloudFront产生日志后，在Lambda函数中输出获得，或者从如下链接获取：

https://github.com/iwasnobody/cflogs2analytics2ddb/blob/master/KinesisDataGenerator

点击发送数据，开始将数据打入Kinesis流中。

第三步 创建Kinesis Analytics，对Kinesis流中的数据做实时分析

首先创建一个Data Analytics应用。

设置应用对接的数据源为之前创建的Kinesis流。

点击Discover schema，让Analytics自动发现Kinesis流中已有数据的schema。

可以看到，Analytics可以自动帮我们识别JSON格式的CloudFront日志，但是由于我们打入的日志数据大部分数据为固定字段，所以自动识别的schema未必准确，比如：对于x_edge_request_id字段，varchar(64)可能过小，我们点击修改schema。

将schema做如下调整：

  点击Save schema and update stream samples，查看各个字段类型及长度已经修改成功，点击Exit返回上一步。

点击Save and Continue继续。

下面，我们开始使用SQL语句对带有schema的流式数据做分析汇聚。

下面的SQL语句以1分钟为时间窗口，分析出1分钟内，访问CloudFront的Top3的用户ip地址，Kinesis Analytics的窗口可以实时观察到每分钟分析的结果，非常利于调试。

再继续配置Kinesis Analytics将分析结果输出之前，我们先来配置Lambda函数，用于接收输出结果，并将结果保存到DynamoDB中，Lambda代码可以从如下链接获取：

https://github.com/iwasnobody/cflogs2analytics2ddb/blob/master/Analytics2DDB.py

注意：根据输出结果的大小，需要调整Lambda函数的timeout时长。

接着我们回到Kinesis Analytics界面，配置应用对接的输出。

设置上面创建Lambda函数接收输出结果。

第四步 查看分析结果

我们可以进入到DynamoDB中，查看之前创建的表，不断地刷新，查看表中数据的变化。

同时进入到Ohio区域，查看数据已经被同步过来了。

利用 Kinesis Analytics 实时分析用户访问行为，首发于服务器安全维护工作室。