Amazon Polly 是一项将文本转换为逼真语音的服务，让您可以构建支持聊天功能的应用程序，从而打造全新类别的具有语音功能的产品。它使用深度学习技术来合成类似于人声的语音。该服务提供了不同语言的各种语音。

对于外出的企业 IT 安全人员，有关 AWS 账户安全事件的电话呼叫警报可以带来极大的帮助。这些安全事件可以根据事件的严重性和优先级进行自定义。严重性和优先级较高的安全事件可以发送到通过电话呼叫报警的系统中。

对于电话呼叫报警，我会使用 Twilio，它提供了 API 功能，例如语音、视频和消息传送。当给定 AWS 账户中发生安全事件时，使用 Twilio 的平台能够以编程方式发布 API 调用，用于进行电话呼叫。Amazon Polly 将此文本警报转换为在电话呼叫上播放的语音消息。

解决方案概述

该解决方案包括两个系统，如以下架构图所示：

• 事件检测和通知系统
• 文本到语音转换系统

事件检测和通知系统与文本到语音转换系统彼此分离，这是因为后一个系统对用户定义的任何其他事件检测通用。在此博客帖子中，作为解决方案示例，我重点介绍文本到语音转换系统，并使用来自我之前博客帖子中介绍的事件检测和通知系统。

如架构图中所示。步骤 3 的警报消息发布到 Amazon SNS 主题，该 SNS 触发我们文本到语音转换系统中的 Lambda 函数。

1. 此 Lambda 函数解析 SNS 警报消息的主题，并使用 Amazon Polly 将文本转换为语音文件。
2. 此语音文件存储在 Amazon S3 存储桶中。
3. Twilio 使用语音文件的位置，对相关方进行出站呼叫并播放语音文件。请注意，您可以根据在使用语音文件进行出站呼叫之后的需求，为这些文件添加 Amazon S3 对象生命周期策略。

演示

先决条件

• 至少有一个事件检测和通知系统。例如，您可以设置对 AWS 账户根用户活动进行监视和通知
• 您将需要 Twilio 账户身份验证令牌来进行 API 调用。您可在此处注册免费 (试用) Twilio 账户。
• 会向您的 Twilio 账户分配一个电话号码。这是您接听电话呼叫报警时的主叫号码。
  
• 如果您使用的是试用账户，则需要确保对“被叫”电话号码进行验证。
  

部署步骤

以下部署步骤将部署“文本到语音转换”系统，如下图中所示。

1. 在 AWS CloudFormation 控制台中，选择 Create Stack。使用 CloudFormation JSON 模板 。选择 Next。(注意：中国和 AWS GovCloud (美国) 区域不支持 Amazon Polly。)
2. 在要部署事件检测和通知系统的区域中创建堆栈。
3. 输入以下参数详细信息，选择 Next，然后选择 Next：
   1. ToPhoneNo：Twilio 将拨打的电话号码。在电话号码前面加上“+国家/地区代码”，例如 +14561237890。
   2. FromPhoneNo：Twilio 进行呼叫时所用的虚拟电话号码。在您的 Twilio 账户中可以找到此信息。请参阅“先决条件”部分。
   3. TwilioAccntSid：输入 Twilio 账户 SID。当您在 https://www.twilio.com/ 上注册时提供此项
   4. TwilioAuthToken：输入 Twilio 身份验证令牌 ID。
   5. BucketName：输入您要创建的存储桶的名称。此存储桶将存储事件警报的语音文件。
   6. PollyVoiceId：输入您希望呼入警报的 Amazon Polly 语音。默认语音为“Amy”。
   7. LambdaS3Bucket：存储 Lambda 函数 zip 文件的 Amazon S3 存储桶的名称。
   8. LambdaS3Key：Lambda 函数 zip 文件的名称。这是 S3 对象的完整路径，带有前缀。例如，“dir1/dir2/lambdafunction.zip”。Lambda 函数 zip 文件可以从此博客帖子的 Lambda 函数部分中的链接下载。
4. 依次选择 Capabilities Acknowledgement 和 Create。此字段向堆栈提供权限来创建 IAM 角色和策略。这些角色和策略由 Lambda 函数用于执行特定操作，例如发布消息到 SNS 主题、列出账户别名等等。
5. CloudFormation 堆栈完成之后，检查 output 中提供的 Lambda 函数名
6. 现在，我们将触发器添加到此 Lambda 函数。转到 Lambda 控制台并选择刚刚创建的 Lambda 函数，然后选择 triggers 和 add trigger。
7. 在触发器框中，选择 SNS，并选择您希望用于电话呼叫的“事件检测和通知”系统的 SNS 主题。选择 Submit。
   
8. 现在，Lambda 函数已准备好，可由您的“事件检测和通知”系统的 SNS 主题触发。您可以根据需要，为各种事件检测和通知系统添加任意数量的触发器。在此处可以找到有关触发 AWS Lambda 的更多信息。

SNS 触发 Lambda 函数

在触发时，文本语音转换 Lambda 函数会解析 SNS 消息的主题。然后，它将此主题字段文本传递到 Amazon Polly 服务以将其转换为语音文件。将文本转换为语音文件之后，该文件存储在前一部分中由 CloudFormation 堆栈创建的 S3 存储桶内。

然后，它调用 Twilio API 进行电话呼叫，并播放来自 S3 存储桶的事件通知音频文件。

import boto3
import os
from contextlib import closing
import botocore.session
from botocore.exceptions import ClientError
session = botocore.session.get_session()
import logging
import uuid
import twilio
from twilio.rest import Client

import urllib
from urllib import request, parse
from urllib.parse import quote

logging.basicConfig(level=logging.DEBUG)
logger=logging.getLogger(__name__)

def lambda_handler(event, context):
    logger.setLevel(logging.DEBUG)
    logger.debug("Event is --- %s" %event)
    speak = event["Records"][0]["Sns"]["Subject"]
	
	# 将 SNS 消息的主题文本转换为 mp3 语音文件。
	
    polly = boto3.client('polly')
    response = polly.synthesize_speech( OutputFormat='mp3',
                                        Text = 'ALERT !' + speak,
                                        SampleRate='22050',
                                        VoiceId = os.environ['VoiceId']  
                                        )
    logger.debug("Polly Response is-- %s" %response)
    id = str(uuid.uuid4())
    logger.debug("ID= %s" %id)
    
    
    # 将 Amazon Polly 返回的语音流保存到 Lambda 的临时
    # 目录。如果有多个文本块，语音流
    # 将合并为单个文件。
    if "AudioStream" in response:
        with closing(response["AudioStream"]) as stream:
            filename=id + ".mp3"
            output = os.path.join("/tmp/",filename)
            with open(output, "wb") as file:
                file.write(stream.read())
	
	# 将语音 MP3 文件上传到 S3位置
	
    s3 = boto3.client('s3')
    s3upload_response = s3.upload_file('/tmp/' + filename, os.environ['BUCKET_NAME'],filename,ExtraArgs={"ContentType": "audio/mp3"})
    logger.debug("S3 UPLOAD RESPONSE IS--- %s" %s3upload_response)
    s3.put_object_acl(ACL='public-read', Bucket=os.environ['BUCKET_NAME'], Key= filename)
    
    location = s3.get_bucket_location(Bucket=os.environ['BUCKET_NAME'])
    logger.debug("Location response is -- %s" %location)
    region = location['LocationConstraint']
    
    if region is None:
    	url_begining = "https://s3.amazonaws.com/"
    else:
    	url = url_begining + str(os.environ['BUCKET_NAME']) + "/" + filename
    
    url = '{}/{}/{}'.format(s3.meta.endpoint_url, os.environ['BUCKET_NAME'], filename)
    
    #编码 URL
    encode_url = quote(url, safe='')
    logger.debug("ENCODED URL-- %s" %encode_url)
    
    # 从 http://twilio.com/user/account 获取这些凭证
    account_sid = os.environ['account_sid']
    auth_token = os.environ['auth_token']
    client = Client(account_sid, auth_token)
    
    # 使用 Twilio 进行电话呼叫
    call_response = client.api.account.calls.create(to=os.environ['ToPhoneNo'],  # 任意电话号码
    												from_=os.environ['FromPhoneNo'], # 必须是有效的 Twilio 号码
    												url="http://twimlets.com/message?Message%5B0%5D=" + encode_url + "&"
    												)
    												
    logger.debug("Call_response is-- %s" %call_response)

此 AWS Lambda 代码 zip 文件可从此处下载并用于 CloudFormation 堆栈部署。

解决方案验证

在接下来的示例语音中，我将演示在部署事件检测系统 (就根 API 活动进行通知) 并将其集成到文本到语音转换系统之后，每次在 AWS 账户上检测到根 API 时，我将收到电话呼叫报警。

由根触发的控制台登录警报电话呼叫示例：

立即收听 语音由 Amazon Polly 提供

然后，我使用根凭证创建 Amazon EBS 卷并获取另一个电话呼叫警报。

立即收听 语音由 Amazon Polly 提供

结论

在这篇帖子中，我演示了如何创建电话呼叫音频警报系统，该系统可集成到现有的警报和监视系统中。针对 AWS 账户中的关键事件，此框架在获取近乎实时的电话呼叫警报方面非常有用。

如需进一步了解，建议阅读以下内容：

• 使用 Amazon Polly 构建您自己的文本到语音应用程序
• 对 AWS 账户根用户活动进行监视和通知
• 在 AWS CloudTrail 中监视更改和自动启用日志记录

使用 Amazon Polly 针对 AWS 账户安全事件进行电话呼叫报警，首发于服务器安全维护工作室。

• 用户权限策略
• 访问控制策略
• 服务器安全策略
• 应用接入策略
• 网络分区策略
• 数据传输策略
• 数据存储策略
• 备份归档策略
• 日志记录策略
• 审计管理策略

……….

在实际的应用场景中，标准策略可能会因为业务的变化或管理方式的变化动态调整，如何持续评估和审核在AWS云端的资源配置的合规性是否与企业规划一致？如何帮助用户在云端更好的实现变更管理，安全分析甚至自动修正不合规的配置 ？这种场景下，可以考虑用AWS Config 服务来帮忙。

一、AWS config 是什么

AWS Config 是一项托管服务,借助 Config您可以盘点AWS 资源、查看配置更改以及 AWS 资源之间的关系并深入探究详细的资源配置历史记录。使用 Config，还能通过自定义规则来定义所需的资源配置、内部最佳实践和指南，并依据这些规则评估您记录的配置。

AWS Config的主要应用功能：

• 评估您 AWS 资源配置是否具备所需设置。
• 获得与您的 AWS 账户关联的受支持资源的当前配置快照。
• 检索您的账户中的一个或多个资源配置。
• 检索一个或多个资源的历史配置。
• 在资源被创建、修改或删除时接收通知。
• 查看不同资源之间的关系。例如，您可能想要找到使用特定安全组的所有资源

AWS Config工作原理

更多AWS Config的信息可以参考https://aws.amazon.com/cn/config/

二、 AWS config 配置测试

为了更好了解AWS Config的工作过程，以下 将以AWS安全组的配置监控为例做一个简短测试 。

1. 测试场景：

• 一个为web服务器配置的安全组，该安全组策略只允许对Internet开放HTTP和HTTPS两个端口；
• 配置AWS Config 规则，当该安全组配置规则中添加了其他端口时，AWS Config 自动记录，并触发修复机制自动删除新加入的不合规的配置。

2. 配置过程

a. 权限准备。为成功配置AWS Config 规则，需要创建IAM 角色，授予 AWS Config 权限，使其可以访问Amazon S3 存储桶、Amazon SNS 主题，获取受支持的 AWS 资源的配置详细信息。IAM内置了一个AWSConfigRole的托管策略 。

新建一个IAM Role 命名为awsconfigrole, 可以直接附加该策略：

另外，测试过程中将使用lambda自动对安全组执行安全组操作，cloudwatch log操作，也需要建立好对应的IAM role并编辑策略赋予对应的权限,在测试中该IAM role为：awsoncifgec2security

{

    "Version": "2012-10-17",

    "Statement": [

        {

            "Effect": "Allow",

            "Action": [

                "logs:CreateLogGroup",

                "logs:CreateLogStream",

                "logs:PutLogEvents"

            ],

            "Resource": "arn:aws:logs:*:*:*"

        },

        {

            "Effect": "Allow",

            "Action": [

                "config:PutEvaluations",

                "ec2:DescribeSecurityGroups",

                "ec2:AuthorizeSecurityGroupIngress",

                "ec2:RevokeSecurityGroupIngress"

            ],

            "Resource": "*"

        }

    ]

}

b. 配置AWS Config Setting。在AWS 控制台，打开 AWS Config ,具体过程可以参考：http://docs.aws.amazon.com/zh_cn/config/latest/developerguide/gs-console.html

在本测试过程中，我们选择资源类型为SecurityGroup:

在配置过程中，指定一个存储桶保存日志，并指定预先为AWS Config 的IAM Role ,当然也可以在这个步骤选择新建角色：

在上述页面中，可以选择是否通过SNS 启用通知将信息流式传输到 Amazon SNS 主题，发送配置历史记录传输、配置快照传输和合规性等通知。

在Resources页面中验证一下，评估的对象是否能正常的筛选出来，本例中我们是对测试的安全组进行查找：

c. AWS Config 规则配置。AWS Config提供一些内置的规则，也支持自定义规则创建。在前文中提及测试的背景中需要通过自动机制保证安全组规则符合设定的合规配置，我们将通过lambda完成该步骤。在创建规则的过程中，按向导设置规则名称，点击新建lambda功能按钮：

在lambda创建过程中，选择blank blueprint 并为函数指定runtime为python2.7 ，将准备好的代码保存在s3（可以在github中找到相关代码参考，比如https://github.com/awslabs/aws-config-rules ）并上传。

Lambda函数主要完成以下工作：

• lambda函数中按照要求只开启tcp 80 和tcp 443端口；
• 如果有其他端口添加到配置规则中将被删除，最终保证安全组的配置规则条目中只有tcp80和tcp443相关的配置；
• 相关的操作将记录在cloudwath logs中。

在创建过程中，为lambda指定对应的IAM Role.

lambda创建完成后，需要在AWS Config 规则页面中指定Lambda ARN,  配置触发器。本例中,当安全组配置发生变化时即触发对安全组的评估，也可以配置按照时间周期的评估对象。 另外，为了详细记录评估信息，为规则启用debug级别的记录。

AWS config  规则后，当前的安全组配置将自动被评估。

d. 验证。为触发AWS Config 对安全组的评估， 我们在对应的安全组规则中除tcp 80 和tpc443，额外新添加tcp445 端口。在cloudwathc logs中创建了logs group,可以进行相关日志查看：

在日志中可以清楚看到对安全组有revoking的行为，操作的端口正是额外添加的tcp445 ， 并且最终将安全组只开启tcp80 和tcp443 端口。

三、进一步讨论

在上述测试过程中，大致可以了解AWS Config的工作机制和配置流程，下面进一步对一些场景的应用场景做进一步说明。

资产发现

AWS Config 不仅会发现账户中的资源、记录其当前配置并捕获对这些配置所做的任何更改，Config 还会保留已删除资源的详细配置信息。所有资源及其配置属性的完全快照在您的账户中提供完整的资源库。

持续安全分析

AWS Config 提供的数据可使您持续监控您的资源配置情况，并评估这些配置是否具有潜在的安全弱点。对您的资源配置进行更改，将触发系统发送 Amazon Simple Notification Service (SNS) 通知，这些通知可发送给您的安全团队，以便他们查看通知并采取相应措施。发生潜在的安全事件后，您可以使用 Config 查看资源的配置历史记录并检查您的安全状况。

正如测试过程中展示，企业IT团队只需明确制定相关的策略，配置AWS Config规则，AWS Config提供了托管规则和自定义规则，能满足各种就能持续监控相关的安全标准是否合规。借助 AWS Config，利用 AWS Lambda 中的自定义规则将合规性要求编制成代码，这些代码会定义资源配置内部最佳实践和指南。您可以使用 Config 自动评估您的资源配置和资源更改，从而确保整个 AWS 基础设施实现持续合规性和自主监管。通过这个机制，为企业的安全自动化提供了一个可行选项。

变更管理

在创建、更新或删除资源时，AWS Config 会将这些配置更改流式传输到 Amazon Simple Notification Service (SNS)，如此便会收到所有配置更改通知。根据通知机制也可以考虑引入基于事件触发的机制，进一步集成各个管理环节。

在AWS Config按照既定规则完成评估后，可以在规则的详细信息中查看到具体的变更事件记录：

审计

AWS CloudTrail 将记录账户上的用户 API 活动，将保存有关 API 操作的完整详细信息，如发起人的身份、该 API 调用的时间、请求参数和 AWS 服务返 。AWS Config 与AWS CloudTrail 集成 ,回答“谁进行了修改此资源的 API 调用？”例如下图， 使用集成的 AWS CloudTrail 信息，可以发现是哪个用户错误配置了安全组。

综合上述讨论，企业内部资产管理团队可以清楚明确当前在AWS云端的数字资产，安全团队可以将严格制定的安全体系持续的在云端自动化运行，任何相关的变更和配置管理都能详尽的记录，方便后续的审计。

更多关于AWS Config的一些常见问题可参考：https://aws.amazon.com/cn/config/faq/

通过AWS Config 管理AWS服务配置，首发于服务器安全维护工作室。

ELB(Elastic Load Balancer)

Amazon ELB(Elastic Load Balancer)，是AWS提供的弹性负载均衡器，可根据实际情况为外部访问分配最合适的服务器。在实际使用过程中，会需要对经由ELB的客户端访问加以限制，本文将介绍如何通过配置EC2实例来实现对此类客户端的限制访问。

如图所示，由于ELB不属于安全组，所以对于安全组实施限制并不会对ELB生效，经由ELB的客户端访问依然可以抵达EC2。

然而倘若限制ELB访问EC2，ELB对EC2发出HealthCheck（健康检查）动作时，ELB将无法访问成功检查，而判断该EC2出现异常情况。所以只有通过在EC2实例上的Web服务器上配置访问限制，才能对经由ELB的客户端访问加以限制。

可是在对访问的客户端实施限制时，由于访问全部经由ELB，则检知的访问IP均为ELB的IP，此时需要借助XFF头（X-Forwarded-For）实施确认和限制。

举例说明

1.只允许地址为172.24.40.83的IP访问该网站。

编辑网站配置文件，添加或修改配置文件如下：

SetEnvIf X-Forwarded-For "172.24.40.83" allow_ip
Order deny,allow
Deny  from all
Allow from env=allow_ip

2.拒绝地址为172.24.40.83和17224.40.84的IP访问该网站。

编辑网站配置文件,添加或修改配置文件如下：

SetEnvIf X-Forwarded-For "172.24.40.83" deny_ip01
SetEnvIf X-Forwarded-For "172.24.40.84" deny_ip02
Order allow,deny
Allow from all
Deny  from env=allow_ip01
Deny  from env=allow_ip02

X-Forwarded-For的功能是在ELB接受客户端的请求后，分配到EC2时在数据包的尾部添加上真正客户端的IP地址。

采用Apache的Web服务器，通过mod_extract_forwarded的安装和配置，可以将客户端的IP修改成X-Forwarded-For，具体的方法目前还有待研究。

# yum install mod_extract_forwarded

负载均衡器分配方式简介

ELB弹性负载均衡器是一款比较简单易用的负载均衡器，其采用Round Robin方式平均的将外部访问分配到ELB管理下的EC2实例中，保障实例群在大访问量下最好的分配使用系统资源。

此外，常见的高性能的负载均衡器，一般含有：Least Connections，Observed，Dynamic Ratio，Round Robin，Ratio，Fastest，Predictive等等。由于ELB只提供Round Robin功能所以说是简单的，通过万维网只几步就可以拥有负载均衡器,因此说它又是易用的。

AWS在AMAZON ELB环境下限制客户端的访问配置，首发于服务器安全维护工作室。

前话

在AWS的所有服务中，EC2应该是使用最多的服务了。

在很多有关EC2的项目或者需求中，经常会需要配置从EC2中发送邮件。但是,这里也是经常出现问题的一个地方，本文主要说明，在实施配置EC2邮件服务器之前，我们要做什么样的前期准备，确保在正确的配置了邮件服务器后，邮件可以正常的发送。

邮件发送限制解除申请

在AWS取得了公网IP后，以Elastic IP的方式提供给各种各样的用户，所以用户在购买了EC2以后从AWS获得的公网IP（Elastic IP），很有可能是一个被RBL(Real-time Blackhole List)记录的IP。即由于前一个使用该IP的用户发送了大量的垃圾邮件，从而被记录到了RBL黑名单。

所以，第一步我们要做的就是向AWS申请解除邮件发送限制。

登录下面的网址，填写必要的项目后，发送给AWS申请解除。

URL：Request to Remove Email Sending Limitations其中，Emaill Address和AWSAccount Number是登录AWS之后自动填写的，无法更改，需要填写的是申请理由。

1.需要注意的是，填写需要解除的IP地址时，一次只能够填写两个Elastic IP地址，如果需要对三个及三个以上的IP地址申请解除限制时，则在该页面重新操作。

2.Reverse DNS Record是填写DNS逆向解析(PTR )的记录，AWS会进行登录。但是有以下条件：

• 用户必须使用自己的域名，不可以使用AWS分配的默认域名，如ec2-XX-XX-XX-XX.ap-northeast-1.compute.amazonaws.com等。
• 提前在DNS登录连接主机名和Elastic IP的A记录(DNS可使用Route 53以外的A记录)。

等待几天之后，AWS会将申请结果发送到您的邮箱，如果申请通过的话，即可从EC2中对外发送邮件了，不会再出现偶尔无法发送邮件的情况了。

DNS配置

申请过了解除发送邮件限制之后，理论上应该可以正常发送邮件了。但是，利用邮件列表(ML)给多个用户发送邮件的话，通过DNS配置SPF(Sender Policy Framework)和DKIM(DomainKeys Identified Mail)可以提高发送邮件的精确度。

SPF配置如果从fuwuqiok.com中发送邮件以后，可以从DNS的A记录中获悉这是可被信任的邮件。

fuwuqiok.com. IN TXT "v=spf1 a:fuwuqiok.com -all"

DKIM通过OpenDKIM的opendkim-genkey命令生成DKIM键，同时将生成好的DKIM键的记录添加进DNS中。其中，EPEL源中已经包含了OpenDKIM，导入EPEL源后可通过yum直接安装。

OpenDKIM官网：OpenDKIM

default._domainkey IN TXT ( "v=DKIM1; k=rsa;" "p=XXXXXXXXXXXXXXXXX.." ) ; ----- DKIM key default for fuwuqiok.com

备注

如果不想自己安装并配置邮件服务器，可以使用AWS提供的简单邮件服务SES(Simple Email Service)。

此外，还可以通过搭建一台Mail GateWay服务器，通过该服务器向外部发送邮件。这样做的优点是可以应对自动扫描（Auto Scalling），因为无法预测经过了Auto Scalling后产生的EC2的IP地址。

后话

以上就是一些有关利用EC2配置邮件服务器之前所需做的一些准备工作，或者说在EC2配置了邮件服务器后邮件发送异常时，可能需要注意的地方，希望给各位广大读者在日常的生活工作中一点小小的启发。

AWS解除AMAZON EC2邮件发送限制教程，首发于服务器安全维护工作室。

一、转换现有系统并上传

这种方法是将VM上的系统用Amazon提供的命令行工具压缩成image并上传到S3，在注册成AMI。具体做法如下：

1. 安装ec2 ami tools 和ec2 api tools

通过以下命令安装ec2 ami tools

对于ec2 api tools，可以参考官方文档安装 『Setting Up the Amazon EC2 Command Line Tools』

2. 更改系统配置

首先是将ifcfg-eth0里的HWADDRESS去掉，并加上“NM_Controlled no”。然后是安装cloud-init（直接用yum安装）并根据官方修改配置。

3. 获得密钥并打包

在AWS网站上，account里的『Security Credentials』找到『X.509』，生成key.pem和cert.pem，然后用以下命令生成image文件并打包

其中是帐号的id，-d后面是指镜像放置的目录,-e代表忽略的目录——这个一定要加上，否则会进入死循环。

4. 上传

account里的『access key』找到找到access key id 和secret access key，然后用以下命令上传到S3

5. 注册AMI

这里，要用–region表明上传到哪个地区，ap-southeast-2是表示悉尼区。

二、现有系统新建系统并上传

这个做法的具体原理是：先在原有系统新建一个镜像文件，然后将其mount到某个目录，利用yum groupinstall Base将系统安装到该镜像文件，最后将文件打包并上传。 在镜像文件里安装系统的做法可以参考以下文章：『Create your own CentOS AMI Image (S3 Backed) 』、『Build your own Core CentOS 5.x AMI for Amazon EC2』 其中打包和上传的命令如下

上传完毕后，可以按照第一种方法注册AMI，也可以在AWS后台使用图形界面注册。

在AWS EC2中创建不含Marketplace code的CentOS6 AMI

参考资料：
https://www.caseylabs.com/remove-the-aws-marketplace-code-from-a-centos-ami/
http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/storage_expand_partition.html

背景介绍：
在AWS EC2中，从Marketplace里面可以很方便的选择最新的CentOS6的官方Minimal版本的AMI，来创建Instance。
但是这里面却埋了一个大坑，那就是，所有基于Marketplace里面的AMI所创建的Instance，都会带有一个Marketplace code。
它会导致你无法通过为现有根分区所在的EBS Volume创建Snapshot和新的Volume的方式来对其扩容。
在Detach了现有的根分区所在的Volume后，将无法再次将其Attach到Instance当中，在Attach新的Volume时也会遇到相同的报错：

Client.OperationNotPermitted:
'vol-xxxxxxx' with Marketplace codes may not be attached as a secondary device.

这个Marketplace code，顾名思义，应该就是为了保护一些付费的AMI不被随意的克隆，但不知道为什么没有对费用为$0的CentOS6 AMI做单独的处理。
上面的限制，主要影响到的是，默认创建好的CentOS6 Instance的EBS Volume只有8G，即使在创建时指定了50G的EBS Volume，创建后的根分区空间也只有8G。这样的大小是无法满足线上需求的，只能对其进行扩容，而因为有上面的Marketplace code的限制，又使扩容变得很艰难。
还好最终我通过参考上面的两篇文章，从官方的CentOS6 AMI中移除了Marketplace code，并成功的对根分区进行了扩容并创建了相应的AMI。

具体步骤：
1. 从现有的CentOS6 AMI中移除Marketplace code
1.1 从AWS的Marketplace搜索CentOS6 AMI，并创建一个根分区所在的EBS Volume为8G（默认大小）的Instance；
1.2 在AWS EC2 web console中，再创建一个新的大小为8G的EBS Volume；
1.3 将新创建的EBS Volume Attach到Instance上，通常会默认识别为/dev/xvdj（HVM版本的AMI会识别为/dev/xvdf）；
1.4 通过SSH登陆到Instance，并通过dd克隆根分区所在的EBS Volume（HVM版本的AMI会将根目录所在的EBS Volume识别为/dev/xvda）：

dd bs=65536 if=/dev/xvde of=/dev/xvdj

1.5 当克隆完成以后，关闭Instance；
1.6 Detach现有根分区所在的EBS Volume;
1.7 Detach新创建的EBS Volume，并重新Attach到Instance，作为/dev/sda（HVM版本的AMI需要指定为/dev/sda1）；
1.8 启动Instance；
1.9 在确认Instance正常启动后，在EC2 web console中右键点击Instance，并选择Create Image，即可创建一个新的不含Marketplace code的CentOS6 AMI了，我一般将其命名为official_centos6_x86_64_minimal_ebs8g。

2. 将现有的AMI根分区所在的EBS Volume扩容为50G，并创建新的AMI official_centos6_x86_64_minimal_ebs50g
2.1 基于AMI official_centos6_x86_64_minimal_ebs8g创建一个Instance；
2.2 为Instance所在的EBS Volume创建一个Snapshot；
2.3 创建一个新的大小为50G的Volume，并包含刚刚创建的Snapshot；
2.4 将新创建的Volume Attach到Instance，作为第二块EBS Volume，默认会识别为/dev/xvdj（HVM版本的AMI会识别为/dev/xvdf）；
2.5 在Instance上对第二块EBS Volume进行扩容，详细步骤如下（HVM版本的AMI会将根目录所在的EBS Volume识别为/dev/xvda）：

[root@ip-172-17-4-12 ~]# parted /dev/xvdj
GNU Parted 2.1
Using /dev/xvdj
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) unit s
(parted) print
Model: Xen Virtual Block Device (xvd)
Disk /dev/xvdj: 104857600s
Sector size (logical/physical): 512B/512B
Partition Table: msdos

Number  Start  End        Size       Type     File system  Flags
 1      2048s  16777215s  16775168s  primary  ext4         boot

(parted) rm 1
(parted) mkpart primary 2048s 100%
(parted) print
Model: Xen Virtual Block Device (xvd)
Disk /dev/xvdj: 104857600s
Sector size (logical/physical): 512B/512B
Partition Table: msdos

Number  Start  End         Size        Type     File system  Flags
 1      2048s  104857599s  104855552s  primary  ext4

(parted) set 1 boot on
(parted) print
Model: Xen Virtual Block Device (xvd)
Disk /dev/xvdj: 104857600s
Sector size (logical/physical): 512B/512B
Partition Table: msdos

Number  Start  End         Size        Type     File system  Flags
1      2048s  104857599s  104855552s  primary  ext4         boot

(parted) quit
Information: You may need to update /etc/fstab.

[root@ip-172-17-4-12 ~]# e2fsck -f /dev/xvdj1
e2fsck 1.41.12 (17-May-2010)
Superblock needs_recovery flag is clear, but journal has data.
Run journal anyway<y>? yes

/dev/xvdj1: recovering journal
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information

/dev/xvdj1: ***** FILE SYSTEM WAS MODIFIED *****
/dev/xvdj1: 18425/524288 files (0.2% non-contiguous), 243772/2096896 blocks

[root@ip-172-17-4-12 ~]# lsblk
NAME    MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
xvde    202:0    0   8G  0 disk
└─xvde1 202:1    0   8G  0 part /
xvdj    202:80   0  50G  0 disk
└─xvdj1 202:     0  50G  0 part

[root@ip-172-17-4-12 ~]# resize2fs /dev/xvdj1
resize2fs 1.41.12 (17-May-2010)
Resizing the filesystem on /dev/xvdj1 to 13106944 (4k) blocks.
The filesystem on /dev/xvdj1 is now 13106944 blocks long.

2.6 关闭Instance；
2.7 Detach现有根分区所在的EBS Volume;
2.8 Detach扩容后的第二块EBS Volume，并重新Attach到Instance，作为/dev/sda（HVM版本的AMI需要指定为/dev/sda1）；
2.9 启动Instance；
2.10 在确认Instance正常启动后，在EC2 web console中右键点击Instance，并选择Create Image，即可创建一个新的根分区大小为50G的CentOS6 AMI了，我一般将其命名为official_centos6_x86_64_minimal_ebs50g。

PS: 自己制作的镜像，如果要支持创建时自定义指定SSH Public Key，需要确保/etc/rc.local中包含以下代码，同时将镜像中的/root/.ssh/authorized_keys文件删除。

#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local

# set a random pass on first boot
if [ -f /root/firstrun ]; then
  dd if=/dev/urandom count=50|md5sum|passwd --stdin root
  passwd -l root
  rm /root/firstrun
fi

if [ ! -d /root/.ssh ]; then
  mkdir -m 0700 -p /root/.ssh
  restorecon /root/.ssh
fi

# Get the root ssh key setup
ReTry=0
while [ ! -f /root/.ssh/authorized_keys ] && [ $ReTry -lt 10 ]; do
  sleep 2
  curl -f http://169.254.169.254/latest/meta-data/public-keys/0/openssh-key > /root/.ssh/pubkey
  if [ 0 -eq 0 ]; then
    mv /root/.ssh/pubkey /root/.ssh/authorized_keys
  fi
  ReTry=$[Retry+1]
done
chmod 600 /root/.ssh/authorized_keys && restorecon /root/.ssh/authorized_keys

制作自己的AMI

亚马逊AMI market上提供的AMI有的含有Market Code(不允许将跟分区作为第二分区挂载到别的实例上进去修改根分区内容），有的AMI不支持特定实例类型（例如CentOS.org提供的AMI就不支持c3系列）。因此有必要自己做几个AMI。制作方法和步骤如下：
（1）自己在合适的位置安装一个精简版的CentOS，尽量最简化安装，因为一会要把系统文件内容全部同步到亚马逊上去。还可以直接将虚拟机import进AWS。安装的时候使用/dev/sda1 跟分区，/dev/sda1 swap分区，不要用LVM。例子里我们是创建1GB的vmware磁盘，不要使用动态扩展，尽量使用一次性分配。然后分区/dev/sda1 768M,剩下的MB全部给swap,此处大小要是2的n次方，否则会出现partition doesn’t end with disk boundry类似的警告提示。
（2）第二部将系统内容弄到AWS上去，此处提供两个方案:
首先在一台配置到aws tools的机器（推荐Amazon AMI创建的的EC2），创建一块25GB的EBS volume,并attach，然后格式化分区，17GB/, 8GB swap，精确到MB，然后

mkfs.ext4 /dev/xvdj1;
e2label /dev/xvdj1 /  (打上标签）；
mkswap -L swap /dev/xvdj2(也打上标签），
#然后挂载
mount /dev/xvdj1 /ebs（自己创建一个挂载点）

使用rsync将刚才安装的虚拟机文件系统同步到上述挂载点中

rsync -avx -e "ssh -i xxxxx.pem" /* user@ip:/ebs/

使用ec2-import-volume命令将虚拟机磁盘导入到AWS的一块EBS磁盘中。命令如下：

ec2-import-volume centos6.5.disk -f raw -b <your_s3_bucket_name> \
 --region ap-southeast-1 -O <access_key_id> -W <secret_access_key> \
 -o <access_key_id> -w <secret_access_key>

-f是指定格式：kvm、xen的是raw, vmware的是vmdk,hyper-v的是vhd（vhdx格式好想目前还不支持，需要转成vhd格式），-b是指定与你导入地区一致的s3 bucket，因为此过程是通过S3中转的。然后你会得到一块磁盘，attach到上述Amazon AMI的EC2上，然后把内容复制出来。
（3）进入到/ebs中修改你刚才同步过来的文件系统
检查/etc/grub.conf，主要是默认会采用uuid来指定分区，但是复制的vm uuid是不一样的，因此要改成LABEL形式，如下：

default=0
timeout=5
splashimage=(hd0,0)/boot/grub/splash.xpm.gz
hiddenmenu
title CentOS (2.6.32-358.el6.x86_64)
root (hd0,0)
kernel /boot/vmlinuz-2.6.32-358.el6.x86_64 ro root=LABEL=/ console=ttyS0
initrd /boot/initramfs-2.6.32-358.el6.x86_64.img

修改/etc/sysconfig/network-scripts/ifcfg-eth0（注意安装虚拟机得时候只要一个网卡),修改成如下

DEVICE=eth0
BOOTPROTO=dhcp
ONBOOT=yes

修改/etc/fatab，改成用LABEL挂载，如下：（none开头的保持默认）

LABEL=/ / ext4 defaults 1 1
LABEL=swap swap swap defaults 0 0

( 4）将改好的EBS磁盘做成snapshot快照，并获取snapshot ID备用
（5）在上述工作机上用ec2-register命令注册AMI

ec2-register -n "CentOS6.4" -d "CentOS6.4" -a x86_64 -K pk-xxxxxx.pem \
 -C cert-mod.pem --root-device-name /dev/sda1 \
 -b /dev/sda=snap-a40edf49:25:true --kernel aki-503e7402 \
 --region ap-southeast-1

这一步骤需要你账号的X.509 Certificates密钥对（在security credential里面找），还需要kernel id,具体该使用哪个aki,详见这个官方文档链接
AmazonKernelImageIDs
（6）试着基于自己创建的AMI创建一个实例，然后进去自定义一下，再在实例上右键注册成自己个性化的AMI(我一般会装上CloudWatch然后写个README说这个AMI是我做的cloudwatch别删除）
至此完毕

将虚拟机导入到AWS

借助ec2-import-instance我们可以将我们的虚拟机导入到AWS中的EC2实例里。

~$ ec2-import-instance centos6.4-vm01.disk -f raw -p Linux -t m3.large \
 -a x86_64 -b <your_s3_bucket> --region ap-southeast-1 -O <access_key_id> \
 -W <secret_access_key> -o <access_key_id> -w <secret_access_key>

(参数为多个字母的都是双-，不知为啥我的总显示为多-,不管有几个-。例如–region参数。请注意，后同)
然后可以用ec2-describe-conversion-tasks命令查看导入过程。ec2-cancel-conversion-task命令取消导入任务。

~$ ec2-describe-conversion-tasks --region ap-southeast-1 import-i-ffm0xv71 -O xxxx -W

xxxxx(import-i-ffm0xv71这个是ec2-import-instance任务的任务ID，在命令输出结果中有)
如果都顺利的话，你能到指定的region得到一台EC2实例，默认是关机状态。
在这个过程中需要注意如下事项：
导入虚拟机的时候，虚拟机只支持一个DHCP的网卡，多网卡的删掉，光驱可以删掉（至少不能让他挂载这ISO的状态导入），如果有多个磁盘，此命令只能导入跟分区所在的虚拟磁盘（注意不是指根分区所在的分区）其他的磁盘用下面介绍的ec2-import-volume导入
导入的虚拟机配置类型是有限制的（Linux虚拟机是有限制的，Windows虚拟机时无限制）
We support importing Windows instances into any instance type. Linux instances can be imported into the following instance types：m3.xlarge、m3.2xlarge、hi1.4xlarge、hs1.8xlarge、cc1.4xlarge、cg1.4xlarge、cc2.8xlarge、cr1.8xlarge
如果将导入的虚拟机右键注册成AMI（如果你使用的默认的AKI)将会导致你的AMI只能创建指定类型的EC2实例，需要选择合适的AKI,见上一篇文档的分享链接。

用ec2-import-volume将虚拟机磁盘导入AWS EBS

~$ ec2-import-volume centos6.4.disk -f raw -b <your-s3-bucket> \
 --region ap-southeast-1 -O xxxx -W xxxxxxxx -o xxxx -w xxxxxx

使用ec2-describe-conversion-tasks查看导入的进度，完成之后你会得到一个状态为Available的EBS Volume。

AWS折腾记——为EC2制作镜像，首发于服务器安全维护工作室。