通过远程方式协助用户将云下的数据库，迁移至阿里云服务器，让用户网站上云过程变的更加简单。

标准化商品数据迁移仅迁移数据库，首发于服务器安全维护工作室。

ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使用JSON进行数据索引。

logstash是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。其实logstash是可以被别的替换，比如常见的fluented

Kibana是一个为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。

Redis是一个高性能的内存key-value数据库,非必需安装,可以防止数据丢失.

参考:
http://www.logstash.net/
http://chenlinux.com/2012/10/21/elasticearch-simple-usage/
http://www.elasticsearch.cn
http://download.oracle.com/otn-pub/java/jdk/7u67-b01/jdk-7u67-linux-x64.tar.gz?AuthParam=1408083909_3bf5b46169faab84d36cf74407132bba
http://curran.blog.51cto.com/2788306/1263416
http://storysky.blog.51cto.com/628458/1158707/
http://zhumeng8337797.blog.163.com/blog/static/10076891420142712316899/
http://enable.blog.51cto.com/747951/1049411
http://chenlinux.com/2014/06/11/nginx-access-log-to-elasticsearch/
http://www.w3c.com.cn/%E5%BC%80%E6%BA%90%E5%88%86%E5%B8%83%E5%BC%8F%E6%90%9C%E7%B4%A2%E5%B9%B3%E5%8F%B0elkelasticsearchlogstashkibana%E5%85%A5%E9%97%A8%E5%AD%A6%E4%B9%A0%E8%B5%84%E6%BA%90%E7%B4%A2%E5%BC%95
http://woodygsd.blogspot.com/2014/06/an-adventure-with-elk-or-how-to-replace.html
http://www.ricardomartins.com.br/enviando-dados-externos-para-a-stack-elk/
http://tinytub.github.io/logstash-install.html

http://jamesmcfadden.co.uk/securing-elasticsearch-with-nginx/
https://github.com/elasticsearch/logstash/blob/master/patterns/grok-patterns
http://zhaoyanblog.com/archives/319.html
http://www.vpsee.com/2014/05/install-and-play-with-elasticsearch/

ip说明
118.x.x.x/16 为客户端ip
192.168.0.39和61.x.x.x为ELK的内网和外网ip

安装JDK

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

配置环境变量
vi /etc/profile

变量生效
source /etc/profile

验证版本
java -version

如果之前安装过java,可以先卸载
rpm -qa |grep java
java-1.6.0-openjdk-1.6.0.0-1.24.1.10.4.el5
java-1.6.0-openjdk-devel-1.6.0.0-1.24.1.10.4.el5

rpm -e java-1.6.0-openjdk-1.6.0.0-1.24.1.10.4.el5 java-1.6.0-openjdk-devel-1.6.0.0-1.24.1.10.4.el5

安装redis

http://redis.io/

cd utils
./install_server.sh

编辑配置文件
vi /etc/redis/6379.conf

启动
/etc/init.d/redis_6379 start

exists, process is already running or crashed
如报这个错,需要编辑下/etc/init.d/redis_6379,去除头上的\n

加入自动启动
chkconfig –add redis_6379

安装Elasticsearch

http://www.elasticsearch.org/
http://www.elasticsearch.cn
集群安装只要节点在同一网段下，设置一致的cluster.name，启动的Elasticsearch即可相互检测到对方，组成集群

ctrl+c退出

以后台方式运行
elasticsearch/bin/elasticsearch -d

访问默认的9200端口
curl -X GET http://localhost:9200

安装logstash

http://logstash.net/

因为java的默认heap size,回收机制等原因,logstash从1.4.0开始不再使用jar运行方式.
以前方式:
java -jar logstash-1.3.3-flatjar.jar agent -f logstash.conf
现在方式:
bin/logstash agent -f logstash.conf

logstash下载即可使用，命令行参数可以参考logstash flags，主要有
http://logstash.net/docs/1.2.1/flags

安装kibana

logstash的最新版已经内置kibana，你也可以单独部署kibana。kibana3是纯粹JavaScript+html的客户端，所以可以部署到任意http服务器上。
http://www.elasticsearch.org/overview/elkdownloads/

配置elasticsearch源
elasticsearch: “http://”+window.location.hostname+”:9200″,

加入iptables
6379为redis端口,9200为elasticsearch端口,118.x.x.x/16为当前测试时的客户端ip

测试运行前端输出
bin/logstash -e ‘input { stdin { } } output { stdout {} }’

输入hello测试
2014-08-20T05:17:02.876+0000 Impala hello

测试运行输出到后端
bin/logstash -e ‘input { stdin { } } output { elasticsearch { host => localhost } }’

访问kibana
http://adminimpala.campusapply.com/kibana/index.html#/dashboard/file/default.json
Yes- Great! We have a prebuilt dashboard: (Logstash Dashboard). See the note to the right about making it your global default

No results There were no results because no indices were found that match your selected time span

设置kibana读取源
在kibana的右上角有个 configure dashboard,再进入Index Settings
[logstash-]YYYY.MM.DD
这个需和logstash的输出保持一致

elasticsearch 跟 MySQL 中定义资料格式的角色关系对照表如下

MySQL elasticsearch
database index
table type

table schema mapping
row document
field field

ELK整合

syslog-ng.conf

logstash_syslog.conf

logstash_redis.conf

logstash_web.conf

启动elasticsearch和logstash
/usr/local/elasticsearch/bin/elasticsearch -d

/usr/local/logstash/bin/logstash agent -f /usr/local/logstash/conf/logstash_syslog.conf &
/usr/local/logstash/bin/logstash agent -f /usr/local/logstash/conf/logstash_redis.conf &
/usr/local/logstash/bin/logstash agent -f /usr/local/logstash/conf/logstash_web.conf &

关闭
ps aux|egrep ‘search|logstash’
kill pid

安装控制器elasticsearch-servicewrapper
如果是在服务器上就可以使用elasticsearch-servicewrapper这个es插件，它支持通过参数，指定是在后台或前台运行es，并且 支持启动，停止，重启es服务（默认es脚本只能通过ctrl+c关闭es）。使用方法是到https://github.com /elasticsearch/elasticsearch-servicewrapper下载service文件夹，放到es的bin目录下。下面是命 令集合：
bin/service/elasticsearch +
console 在前台运行es
start 在后台运行es
stop 停止es
install 使es作为服务在服务器启动时自动启动
remove 取消启动时自动启动

vi /usr/local/elasticsearch/service/elasticsearch.conf
set.default.ES_HOME=/usr/local/elasticsearch

命令示例

查看状态
http://61.x.x.x:9200/_status?pretty=true

集群健康查看
http://61.x.x.x:9200/_cat/health?v
epoch timestamp cluster status node.total node.data shards pri relo init unassign
1409021531 10:52:11 elasticsearch yellow 2 1 20 20 0 0 20

列出集群索引
http://61.x.x.x:9200/_cat/indices?v
health index pri rep docs.count docs.deleted store.size pri.store.size
yellow web-2014.08.25 5 1 5990946 0 3.6gb 3.6gb
yellow kibana-int 5 1 2 0 20.7kb 20.7kb
yellow syslog-2014 5 1 709 0 585.6kb 585.6kb
yellow web-2014.08.26 5 1 1060326 0 712mb 712mb

删除索引
curl -XDELETE ‘http://localhost:9200/kibana-int/’
curl -XDELETE ‘http://localhost:9200/logstash-2014.08.*’

优化索引
$ curl -XPOST ‘http://localhost:9200/old-index-name/_optimize’

查看日志
tail /usr/local/elasticsearch/logs/elasticsearch.log

安装bigdesk
要想知道整个插件的列表，请访问http://www.elasticsearch.org/guide/reference/modules /plugins/ 插件还是很多的，个人认为比较值得关注的有以下几个，其他的看你需求，比如你要导入数据当然就得关注river了。

该插件可以查看集群的jvm信息，磁盘IO，索引创建删除信息等，适合查找系统瓶颈，监控集群状态等，可以执行如下命令进行安装，或者访问项目地址:https://github.com/lukas-vlcek/bigdesk

bin/plugin -install lukas-vlcek/bigdesk

cp -ar plugins/bigdesk/_site/ /opt/htdocs/www/bigdesk
访问
http://localhost/bigdesk

安全优化

1.安全漏洞,影响ElasticSearch 1.2及以下版本 http://bouk.co/blog/elasticsearch-rce/
/usr/local/elasticsearch/config/elasticsearch.yml
script.disable_dynamic: true

2.如果有多台机器，可以以每台设置n个shards的方式，根据业务情况，可以考虑取消replias
这里设置默认的5个shards, 复制为0，shards定义后不能修改,replicas可以动态修改
/usr/local/elasticsearch/config/elasticsearch.yml
index.number_of_shards: 5
index.number_of_replicas: 0

#定义数据目录(可选)
path.data: /opt/elasticsearch

3.内存适当调大，初始是-Xms256M, 最大-Xmx1G,-Xss256k，
调大后，最小和最大一样，避免GC, 并根据机器情况，设置内存大小，
vi /usr/local/elasticsearch/bin/elasticsearch.in.sh
if [ “x$ES_MIN_MEM” = “x” ]; then
#ES_MIN_MEM=256m
ES_MIN_MEM=2g
fi
if [ “x$ES_MAX_MEM” = “x” ]; then
#ES_MAX_MEM=1g
ES_MAX_MEM=2g
fi

4.减少shard刷新间隔
curl -XPUT ‘http://61.x.x.x:9200/dw-search/_settings’ -d ‘{
“index” : {
“refresh_interval” : “-1”
}
}’

完成bulk插入后再修改为初始值
curl -XPUT ‘http://61.x.x.x:9200/dw-search/_settings’ -d ‘{
“index” : {
“refresh_interval” : “1s”
}
}’

/etc/elasticsearch/elasticsearch.yml
tranlog数据达到多少条进行平衡，默认为5000,刷新频率，默认为120s
index.translog.flush_threshold_ops: “100000”
index.refresh_interval: 60s

5.关闭文件的更新时间

/etc/fstab

在文件中添加 noatime,nodiratime
/dev/sdc1 /data1 ext4 noatime,nodiratime 0 0

自启动
chkconfig add redis_6379
vi /etc/rc.local
/usr/local/elasticsearch/bin/elasticsearch -d
/usr/local/logstash/bin/logstash agent -f /usr/local/logstash/conf/logstash_syslog.conf &
/usr/local/logstash/bin/logstash agent -f /usr/local/logstash/conf/logstash_redis.conf &
/usr/local/logstash/bin/logstash agent -f /usr/local/logstash/conf/logstash_web.conf &
/opt/lemp startnginx

安装问题

==========================================
LoadError: Could not load FFI Provider: (NotImplementedError) FFI not available: null
See http://jira.codehaus.org/browse/JRUBY-4583

一开始我以为是没有FFI,把jruby,ruby gem都装了一遍.
实际是由于我的/tmp没有运行权限造成的,建个tmp目录就可以了,附上ruby安装步骤.

mkdir /usr/local/jdk/tmp

vi /usr/local/logstash/bin/logstash.lib.sh
JAVA_OPTS=”$JAVA_OPTS -Djava.io.tmpdir=/usr/local/jdk/tmp”

===============================
jruby 安装

Ruby Gem 安装
Ruby 1.9.2版本默认已安装Ruby Gem
安装gem 需要ruby的版本在 1.8.7 以上，默认的centos5 上都是1.8.5 版本，所以首先你的升级你的ruby ，

ruby -v
ruby 1.8.5 (2006-08-25) [x86_64-linux]

vi /etc/profile
export PATH=$JAVA_HOME/bin:/usr/local/ruby/bin:$PATH
source /etc/profile

gem install bundler
gem install i18n
gem install ffi

=======================

elasticsearch 端口安全
绑定内网ip

iptables 只开放内网

前端机反向代理
server
{
listen 9201;
server_name big.c1gstudio.com;
index index.html index.htm index.php;
root /opt/htdocs/www;
include manageip.conf;
deny all;

location / {
proxy_pass http://192.168.0.39:9200;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#proxy_set_header X-Forwarded-For $remote_addr;
add_header X-Cache Cache-156;
proxy_redirect off;
}

access_log /opt/nginx/logs/access.log access;
}

kibana的config.js
elasticsearch: “http://”+window.location.hostname+”:9201″,

开源分布式搜索平台ELK(Elasticsearch+Logstash+Kibana)+Redis+Syslog-ng实现日志实时搜索，首发于服务器安全维护工作室。

主要功能：
* 读写分离
* 从库负载均衡
* IP过滤
* SQL语句黑白名单
* 自动分表

Q & A
——————-
Q: 是否支持多字符集？
A: 这是我们对原版MySQL-Proxy的第一项改进，符合国情是必须的

Q: 自动读写分离挺好，但有时候我写完马上就想读，万一主从同步延迟怎么办?
A: SQL语句前增加 /*master*/ 就可以将读请求强制发往主库

Q: 主库宕机，读操作受影响么？
A: 在atlas中是不会的! 能问这样的问题, 说明你用过官方的mysql-proxy, 很遗憾官方版本并未解决这个问题

Q: 检测后端DB状态会阻塞正常请求么？
A: 不会, atlas中检测线程是异步进行检测的，即使有db宕机，也不会阻塞主流程。在atlas中没有什么异常会让主流程阻塞! 同上，官方版本也会让你失望

Q: 想下线一台DB, 又不想停掉mysql server, 怎么办？
A: 可以通过管理接口手动上下线后端db, atlas会优先考虑管理员的意愿

Q: 想给集群中增加一台DB, 不想影响线上正常访问可以吗？
A: 通过管理接口可以轻松实现

Q: 相比官方mysql-proxy, atlas还有哪些改进？
A: 这实在是个难以回答的问题，性能，稳定性，可靠性，易维护性，我们做过几十项的改进，下面会尽量列一些较大的改动

VS 官方MySQL-Proxy
——————-
1. 将主流程中所有Lua代码改为纯C实现，Lua仅用在管理接口
2. 重写网络模型、线程模型
3. 实现了真正意义的连接池
4. 优化了锁机制，性能提高数十倍
……

附名字来源：
Atlas，希腊神话中双肩撑天的巨人，普罗米修斯的兄弟，最高大强壮的神之一，因反抗宙斯失败而被罚顶天。我们期望这个系统能够脚踏后端DB，为前端应用撑起一片天。

一.安装dbproxy altas
https://github.com/Qihoo360/Atlas/wiki/Atlas%E7%9A%84%E5%AE%89%E8%A3%85

wget https://github.com/Qihoo360/Atlas/releases/download/2.2.1/Atlas-2.2.1.el5.x86_64.rpm
rpm –ivh Atlas-2.2.1.el5.x86_64.rpm

注意事项：

(1).Atlas只能安装运行在64位的系统上。

(2).Centos 5.X安装 Atlas-XX.el5.x86_64.rpm，Centos 6.X安装Atlas-XX.el6.x86_64.rpm。

(3).如果执行sudo rpm –i Atlas-XX.el6.x86_64.rpm，提示类似：“file /usr/local/mysql-proxy/bin/encrypt from install of Atlas-2.0.1-1.x86_64 conflicts with file from package Atlas-1.0.3-1.x86_64”错误，则表示该系统之前已经安装过Atlas-1.0.3-1.x86_64，需要执行：sudo rpm –e Atlas-1.0.3-1.x86_64，将之前安装的Atlas删除掉，再执行sudo rpm –i Atlas-XX.el6.x86_64.rpm安装新版本的Atlas。

(4).后端mysql版本应大于5.1，建议使用Mysql 5.6

二.配置文件修改
cd /usr/local/mysql-proxy/conf
cp tests.cnf dbproxy.cnf
vi dbproxy.cnf

Atlas运行需要依赖一个配置文件（test.cnf）。在运行Atlas之前，需要对该文件进行配置。Atlas的安装目录是/usr /local/mysql-proxy，进入安装目录下的conf目录，可以看到已经有一个名为test.cnf的默认配置文件，我们只需要修改里面的某 些配置项，不需要从头写一个配置文件。

1.配置范例及说明如下：

(必备，默认值即可)管理接口的用户名

admin-username = user

(必备，默认值即可)管理接口的密码

admin-password = pwd

(必备，根据实际情况配置)主库的IP和端口

proxy-backend-addresses = 192.168.0.12:3306

(非必备，根据实际情况配置)从库的IP和端口，@后面的数字代表权重，用来作负载均衡，若省略则默认为1，可设置多项，用逗号分隔。如果想让主库也能分担读请求的话，只需要将主库信息加入到下面的配置项中。

proxy-read-only-backend-addresses = 192.168.0.12:3306@2,192.168.0.13:3306@4,192.168.0.14:3306@4

(必备，根据实际情况配置)用户名与其对应的加密过的MySQL密码，密码使用PREFIX/bin目录下的加密程序encrypt加密，用户名与 密码之间用冒号分隔。主从数据库上需要先创建该用户并设置密码（用户名和密码在主从数据库上要一致）。比如用户名为myuser，密码为mypwd，执 行./encrypt mypwd结果为HJBoxfRsjeI=。如果有多个用户用逗号分隔即可。则设置如下行所示：

pwds = dbproxy: /iZxz+0GRoA=

（必备，默认值即可)Atlas的运行方式，设为true时为守护进程方式，设为false时为前台方式，一般开发调试时设为false，线上运行时设为true

daemon = true

(必备，默认值即可)设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor，一个为 worker，monitor在worker意外退出后会自动将其重启，设为false时只有worker，没有monitor，一般开发调试时设为 false，线上运行时设为true

keepalive = true

(必备，根据实际情况配置)工作线程数，推荐设置成系统的CPU核数的2至4倍

event-threads = 4

(必备，默认值即可)日志级别，分为message、warning、critical、error、debug五个级别

log-level = message

(必备，默认值即可)日志存放的路径

log-path = /usr/local/mysql-proxy/log

(必备，根据实际情况配置)SQL日志的开关，可设置为OFF、ON、REALTIME，OFF代表不记录SQL日志，ON代表记录SQL日志，该 模式下日志刷新是基于缓冲区的，当日志填满缓冲区后，才将日志信息刷到磁盘。REALTIME用于调试，代表记录SQL日志且实时写入磁盘，默认为OFF

sql-log = OFF

(可选项，可不设置）慢日志输出设置。当设置了该参数时，则日志只输出执行时间超过sql-log-slow（单位：ms)的日志记录。不设置该参数则输出全部日志。

#sql-log-slow = 10

(可选项，可不设置）关闭不活跃的客户端连接设置。当设置了该参数时，Atlas会主动关闭经过’wait-timeout’时间后一直未活跃的连接。单位：秒

wait-timeout = 10

(必备，默认值即可)Atlas监听的工作接口IP和端口

proxy-address = 0.0.0.0:1234

(必备，默认值即可)Atlas监听的管理接口IP和端口 admin-address = 0.0.0.0:2345

(可选项，可不设置)分表设置，此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔，若不分表则不需要 设置该项，子表需要事先建好，子表名称为表名_数字，数字范围为[0,子表数-1]，如本例里，子表名称为mt_0、mt_1、mt_2

#tables = person.mt.id.3

(可选项，可不设置)默认字符集，若不设置该项，则默认字符集为latin1

#charset = utf8

(可选项，可不设置)允许连接Atlas的客户端的IP，可以是精确IP，也可以是IP段，以逗号分隔，若不设置该项则允许所有IP连接，否则只允许列表中的IP连接

client-ips = 127.0.0.1, 192.168.1

(可选项，极少需要)Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP)，若有LVS且设置了client-ips则此项必须设置，否则可以不设置

#lvs-ips = 192.168.1.1

2. 重要配置说明

以下几项配置参数对性能和正常运行起到重要作用，需要正确设置。

(1)线程数

event-threads项设置，过小无法充分发挥多核CPU的性能，过大造成不必要的线程切换开销，推荐设置为CPU的核数。

(2)最小空闲连接数(2.x以上版本不需要该项，1.x版本需要)

min-idle-connections项设置，过小则在高并发下会有报错，过大虽然不报错但在测试时不容易看出读写分离效果，推荐设置为比客户 端的并发峰值稍大，详见《配置参数详解》。上面的配置范例是针对Atlas 2.X版本，没有该选项。对于Atlas 1.X版本的配置文件，需要加入该配置选项。

3. 可选配置说明

以下几项可以设置，也可以使用默认值，区别不大。

(1)Atlas的工作端口

proxy-address项配置，例如proxy-address = 0.0.0.0:1234代表客户端应该使用1234这个端口连接Atlas来发送SQL请求。

(2)Atlas的管理端口

admin-address项配置，例如admin-address = 0.0.0.0:2345代表DBA应该使用2345这个端口连接Atlas来执行运维管理操作。

(3)管理接口的用户名和密码

admin-username项和admin-password项设置，这两项是用来进入Atlas的管理界面的，与后端连接的MySQL没有关系，所以可以任意设置，不需要MySQL在配置上做任何改动。

(4)日志级别

以log-level项配置，分为message、warning、critical、error、debug五个级别。

(5)日志路径

以log-path项配置，如log-path = /usr/local/mysql-proxy/log。

三. 给后端mysql增加访问用户
CREATE USER ‘dbproxy’@’192.168.0.11’ IDENTIFIED BY ‘***’;

GRANT USAGE ON * . * TO ‘dbproxy’@’192.168.0.11’ IDENTIFIED BY ‘***’ WITH MAX_QUERIES_PER_HOUR 0 MAX_CONNECTIONS_PER_HOUR 0 MAX_UPDATES_PER_HOUR 0 MAX_USER_CONNECTIONS 0 ;
GRANT SELECT , INSERT , UPDATE , DELETE , LOCK TABLES ON `c1gstudio` . * TO ‘dbproxy’@’192.168.0.11’;

加密密码
bin/encrypt 123456
/iZxz+0GRoA=

添加iptables
iptables
iptables -A INPUT -s 192.168.0.0/255.255.255.0 -p tcp -m tcp –dport 1234 -j ACCEPT

四.启动
1.启动dbproxy
cd /home/mysql/dbproxy/bin
./mysql-proxyd dbproxy start

# /usr/local/mysql-proxy/bin/mysql-proxyd dbproxy start
# /usr/local/mysql-proxy/bin/mysql-proxyd dbproxy stop
# /usr/local/mysql-proxy/bin/mysql-proxyd dbproxy restart

2.访问测试
mysql -udbproxy -h192.168.0.11 -P1234 -p
password
mysql-> show databases;
mysql> show variables like “server_id”;
+—————+——-+
| Variable_name | Value |
+—————+——-+
| server_id | 19 |
+—————+——-+
1 row in set (0.00 sec)

mysql> show variables like “server_id”;
+—————+——-+
| Variable_name | Value |
+—————+——-+
| server_id | 20 |
+—————+——-+
1 row in set (0.00 sec)

五、Atlas管理接口使用

# mysql -u管理用户 -p管理密码 -h127.0.0.1 -P管理端口
mysql -uadmin -h192.168.0.11 -P2345 -p
password
#查看管理语句参数：
mysql> select * from help;
+—————————-+———————————————————+
| command | description |
+—————————-+———————————————————+
| SELECT * FROM help | shows this help |
| SELECT * FROM backends | lists the backends and their state |
| SET OFFLINE $backend_id | offline backend server, $backend_id is backend_ndx’s id |
| SET ONLINE $backend_id | online backend server, … |
| ADD MASTER $backend | example: “add master 127.0.0.1:3306”, … |
| ADD SLAVE $backend | example: “add slave 127.0.0.1:3306”, … |
| REMOVE BACKEND $backend_id | example: “remove backend 1”, … |
| SELECT * FROM clients | lists the clients |
| ADD CLIENT $client | example: “add client 192.168.1.2”, … |
| REMOVE CLIENT $client | example: “remove client 192.168.1.2”, … |
| SELECT * FROM pwds | lists the pwds |
| ADD PWD $pwd | example: “add pwd user:raw_password”, … |
| ADD ENPWD $pwd | example: “add enpwd user:encrypted_password”, … |
| REMOVE PWD $pwd | example: “remove pwd user”, … |
| SAVE CONFIG | save the backends to config file |
| SELECT VERSION | display the version of Atlas |
+—————————-+———————————————————+
#查看DB状态：
mysql> select * from backends;
+————-+——————-+——-+——+
| backend_ndx | address | state | type |
+————-+——————-+——-+——+
| 1 | 192.168.0.12:3306 | up | rw |
| 2 | 192.168.0.12:3306 | up | ro |
| 3 | 192.168.0.13:3306 | up | ro |
| 4 | 192.168.0.14:3306 | up | ro |
+————-+——————-+——-+——+

六.性能测试结果
从Atlas处理三类SQL操作的QPS和完成每条SQL操作的时间对比来看，将event-threads参数设置为CPU个数的2-4倍较为合理。将 event-threads参数设置为CPU个数的两倍时，带来的QPS提升较为明显，将其设置为CPU个数的四倍时，QPS也有提升但不是非常明显。对 于处理每条SQL操作的时间，通过提高event-threads值是没有显著效果的。

所以我们建议使用者：如果追求Atlas处理SQL请求时的QPS，将event-threads值设置为CPU个数的2-4倍。如果追求Atlas处理SQL请求的完成时间，将event-threads值设置为CPU个数即可。

下文主要测试了通过Atlas转发SQL请求与直连DB发送SQL请求这两种情形下的性能差距，和event-threads值对Atlas的性能 影响。从测试结果来看，Atlas性能表现较为优秀，并没有明显的性能下降。同时在测试中发现Atlas系统属于CPU密集型任务，相对于磁盘IO和内存 占用率而言，Atlas对CPU消耗显得最为明显，所以建议在部署Atlas的时候需要优先考虑服务器的CPU性能。

安装MySQL中间层 Atlas实现不改程序就能读写分离，首发于服务器安全维护工作室。

测试环境：

配置完毕后的拓扑如下：

环境搭建完毕后，登陆主备ECS服务器，分别配置nginx+keepalived

MASTER服务器（nginx1）配置文件/etc/keepalived/keepalived.conf内容以及解释如下：

BACKUP服务器（nginx2）的配置需要修改：

其它保持一致即可

为了实现nginx服务异常的时候能够自动切换，需要自己写一个脚本，脚本没有硬性的要求，能够实现目标即可，这里 监控nginx进程数为例：

重新启动nginx1的nginx和keepalive服务

查看日志可以看到keepalive重新发送了IP宣告的报文

1 2 3 4 5

Oct 23 17:22:14 iZ239aqzdi7Z Keepalived_vrrp[25610]: VRRP_Instance(VI_1) Entering MASTER STATE Oct 23 17:22:14 iZ239aqzdi7Z Keepalived_vrrp[25610]: VRRP_Instance(VI_1) setting protocol VIPs. Oct 23 17:22:14 iZ239aqzdi7Z Keepalived_vrrp[25610]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.1.3 Oct 23 17:22:14 iZ239aqzdi7Z Keepalived_healthcheckers[25609]: Netlink reflector reports IP 192.168.1.3 added Oct 23 17:22:19 iZ239aqzdi7Z Keepalived_vrrp[25610]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.1.3

重新访问http://121.43.187.37/测试，重新访问到了服务器NGINX1，到HAVIP控制台查看，192.168.1.1的服务器重新夺回了控制权，成为了为主服务器

这样就实现了阿里云环境下的HA切换。

实际测试，阿里云的多个HAVIP可以绑定到同样的两台机器，可以配置多组vrrp_instance来实现双主。或者两台服务器同时为两个业务服务，避免资源浪费。同时能够做到主备

阿里云下配置keepalive，利用HAVIP实现HA，首发于服务器安全维护工作室。

阿里云 AppDeploy版是一个通过SSH实现的流式命令行工具，可用于完成应用部署和远程运维管理，其工作于python平台上，具有良好的可移植性；AppDeploy将本地应用软件上传到远端服务器，并执行用户预定义的产品部署命令。

工具当前免费下载使用，地址：
http://market.aliyun.com/products/53690006/cmgj000331.html
http://market.aliyun.com/products/53690006/cmgj000321.html

本文通过三个使用场景介绍AppDeploy：

1. 高效运维管理命令：
1）实时监控服务器状态
执行命令：$ adep check_status 将得到服务器的具体信息，包括ip、route、dns、resolve、iptables、mount、disk、load等；

::__IHACKLOG_REMOTE_IMAGE_AUTODOWN_BLOCK__::0

也可以在命令后面加具体参数查看部分信息，例如：
当前支持：ip、route、dns、resolve、iptables、mount、disk、load；
$ adep check_status:resolve

::__IHACKLOG_REMOTE_IMAGE_AUTODOWN_BLOCK__::1

$ adep check_status:disk

::__IHACKLOG_REMOTE_IMAGE_AUTODOWN_BLOCK__::2

2）实时监控服务器带宽
在命令行执行 $ adepcheck_bandwidth 将会得到下面动态数据：

::__IHACKLOG_REMOTE_IMAGE_AUTODOWN_BLOCK__::3

其中红框内的数据分别为：
提示按”e”字母退出监控状态：此处注意输入格式；
服务器流入带宽实时数据（动态显示）：分别显示KB/s 和Mb/s两中常见数据格式；
服务器流出带宽实时数据（动态显示）：分别显示KB/s 和Mb/s两中常见数据格式；

3）文件的上传下载：
通过命令行类似shell命令的方式实现：
具体操作的哪些服务器、用户名、密码信息由appdeploy.py文件定义；

文件上传命令格式：$ adep put:localfile,remoteFolder
“put”、”:”、”localFile”、”,”、”remoteFolder”之间都没有空格；
LocalFile：本地上传文件路径及名字，RemoteFolder：上传到服务器的具体目录；

文件下载命令格式：$ adep get:remoteFile,localFolder
”get”、”:”、”remoteFile”、”,”、”localFolder”之间都没有空格；
RemoteFile：从服务器上下载的文件名，localFolder：下载文件本地存放目录；
例如：

::__IHACKLOG_REMOTE_IMAGE_AUTODOWN_BLOCK__::4

4）远程命令执行：
通过命令行类似shell命令的方式实现：
具体操作的哪些服务器、用户名、密码信息由appdeploy.py文件定义；

命令远程执行格式：$ adep run:shellCommand
“run”、”:”、”shellCommand”之间都没有空格；
ShellCommand：指远端执行的命令，有空格时要用引号引起来；

::__IHACKLOG_REMOTE_IMAGE_AUTODOWN_BLOCK__::5

5）一键更新服务器源
命令行输入 $ adep update_source
可以更新服务器端的源配置，支持Ubuntu、Centos、Redhat、Opensuse、Debian等系统的多个版本源更新功能；

::__IHACKLOG_REMOTE_IMAGE_AUTODOWN_BLOCK__::6

2. 一键部署Web服务器之Mysql + Nginx + PHP
1）在appdeploy.py中输入以下定义
def runtime():
componets={“nginx” : “1.4.4″,
“php” : “5.6.11″,
“mysql” : “5.6.26″
}
install_runtime(componets)

2）在命令行执行下面命令，由于全部为源码安装，安装会占用相对较长时间。
$ adep runtime

3）应用部署上线：上传您的PHP项目
下面代码表示将本地PHP项目上传到服务器：/aliyun/www/phpwind目录；
def deploy_php():
put(“./php/*”, “/aliyun/www/phpwind/”)
执行： $ adep deploy_php

4）检验应用部署效果

::__IHACKLOG_REMOTE_IMAGE_AUTODOWN_BLOCK__::7

3. 一键部署Web服务器之JDK + Mysql + Nginx + Tomcat
1）在appdeploy.py中输入以下定义
def runtime():
componets={ “jdk” : “1.8.0″,
“nginx” : “1.4.4″,
“tomcat” : “7.0.63″,
“mysql” : “5.6.26″
}
install_runtime(componets)

2）在命令行执行下面命令，由于全部为源码安装，会占用相对较长时间。
$ adep runtime

3）应用部署：上传您的java项目
下面任务会将本地java项目编译、打包、上传到服务器（基于Maven，appdeploy会自动检测您的maven程序是否安装，若没有安装，则会自动安装），最后上传到服务器的/aliyun/server/tomcat/webapps目录；
def pack_deploy():
componets={“plugin”: “maven”,
“project_dir” : “./java/myFirstWebApp”,
“web_dir” : “/aliyun/server/tomcat/webapps”
}
package(componets)
deploy(componets)
执行： $ adep pack_deploy

4）检验应用部署效果

::__IHACKLOG_REMOTE_IMAGE_AUTODOWN_BLOCK__::8

阿里云运维部署工具AppDeploy最佳实践，首发于服务器安全维护工作室。

2）.远程运维管理：
    您可以使用AppDeploy远程执行shell脚本，让操作命令感觉在本地执行一般，大大的提高开发者的工作效率；

3）.一键环境安装：
    一键安装Web环境，当前支持Java、Nginx、Apache、Tomcat、PHP、Mysql等多款环境，可以根据具体业务选择适合工具的适合版本进行安装；

4）.一键应用部署：
    可以一键编译、打包、部署常见的应用，支持Maven、Ant等打包部署的安装方案；

5）.一键式更新源：
    执行AppDeploy自定义命令（update_source）更新系统源，支持Ubuntu、Centos、Redhat、Opensuse、Debian等系统的主流版本；

6）.文件上传下载：
    您可以使用AppDeploy在本地主机和远程服务器间实现上传、下载文件（夹）的功能；不仅实现了ftp的功能，还可以远程执行管理命令；

7）.并发控制机器：
    基于软件的部署场景，提供同时在多台服务器部署的功能，且可以选择顺序执行或者并发执行的运行模式；上面叙述的功能都可以使用并发模式在多服务器间同时运行。

8）.账号密码管理：
    提供灵活、易用的账号管理功能，用户可以设置免密码输入运行，且可为不同主机设置不同密码；

2.AppDeploy的安装& 配置
AppDeploy支持在Windows、Linux、Mac系统下使用，远端服务器当前只支持Linux系统。根据不同系统分别介绍安装步骤（以Python版为例，普通版类似）：

Linux系统平台安装：
请预先安装好python2.7；（一般安装在/usr/local/lib/python2.7）
1）.通过阿里云市场下载AppDeploy源码安装包 – AppDeploy-Python-1.0.0.tar.gz；

2）.解压：$ tar –zvxf AppDeploy-Python-1.0.0.tar.gz；得到AppDeploy-Python-1.0.0-Linux.tar.gz;
    解压：$ tar –zvxf AppDeploy-Python-1.0.0-Linux.tar.gz；

3）.执行：$ cd AppDeploy-Python && sudo python setup.py install 安装appdeploy；

4）.执行：$ adep命令，若果能找到命令说明安装完成（下图表示安装成功）；
    
Windows系统安装：
预先安装好python2.7；（一般安装在C:/Python27）；
1）.通过阿里云市场下载AppDeploy windows安装包 – AppDeploy-Python-1.0.1.zip；

2）.解压：$ tar –zvxf AppDeploy-Python-1.0.1.tar.gz ->AppDeploy-Python-1.0.1-Windows.tar.gz;

3）.解压：$ tar –zvxf AppDeploy-Python-1.0.1-Windows.tar.gz；解压后可以发现一个安装文件setup.exe安装包，即为AppDeploy的安装文件；

4）.双击setup.exe，双击setup.exe（确定预先安装python2.7），出现如下AppDeploy的安装视图，安装目录应该选择Python2.7的安装目录下的Lib\site-packets子目录；
    
5）.根据向导直到安装完成；
6）.设置环境变量：
  环境变量一般为自动设置，不过这里您可以确认一下，以保证正常运行；
  右键“计算机” – 选择属性– 选择“高级系统设置”– 选择高级– 选择“环境变量”：添加环境变量，名字（APPDEPLOY）值（C:\Python27\Lib\site-packages）；在path系统变量中添加“C:\Python27;%APPDEPLOY%; C:\Python27;”，分别为Python2.7的安装目录和AppDeploy的安装目录；

7）.验证：打开cmd命令行工具，
  输入：python，如果能运行，则说明python已经可用；
  输入：adep，如果显示下面日志，则说明安装成功；

4）.进入命令行执行$ adep，出现如下视图说明安装成功：

  

3.基本使用方法
AppDeploy的使用格式是在命令行执行adep + 参数 的命令格式运行，其执行的任务依据是根据其当前工作目录下的appdeploy.py（默认）这个python文件作为执行描述文件，若用户有自定义的描述文件，可用”-f”参数指定。使用方式细分有两种：

1)通过命令行，直接执行命令
格式：$ adep[options] — [shell command]

常用的option选项：

例如：查看服务器nginx运行情况
$ adep -H ‘101.200.184.144’ -u root -p xxxx — ps-aux | grep nginx
    
PS：上面方式使用方便，可以灵活、快速的执行您想执行的命令，但实现的功能相对简单，大部分情况下，您可以使用下面的方式实现您的具体任务；

2)通过编辑appdeploy.py文件，以任务方式执行
在appdeploy.py文件中定义函数（任务的实现细节），并在命令行的当前目录下执行$ adeptask1 task2（文件中定义的函数名）的方式依次执行定义的任务；
appdeploy.py的编写规则:
    

4.获取设置Access Key
因为AppDeploy工具基于阿里云产品设计实现，其某些功能会基于阿里云OpenApi实现，所以需要设置Access Key的值以获取调用OpenApi的资格。


获取Access Key的方法请参考：http://bbs.aliyun.com/read/253666.html?spm=5176.7189909.0.0.l1LU3c&fpage=2
得到的Access KeyID和Access Key Secret通过以下方式配置到AppDeploy中：

    
5.环境变量

  

6.执行命令
环境变量定义任务执行的相关环境参数：如用户名、密码等，而任务的具体执行是很多具体指令组成的，下面是AppDeploy自定义的执行命令集；
  

7.修饰符

以上内容从AK设置、环境变量、自定义命令、修饰符等方面描述了AppDeploy的使用方法，下面以一个具体例子将上面内容展现出来。

8.上传下载文件（夹）

AppDeploy对文件的上传、下载提供两种实现方式：
一种方式：是在appdeploy.py中定义文件上传下载的任务，然后再命令行执行$ adep task以实现文件的上传下载功能。这种方式可以实现复杂逻辑的上传下载功能，例如：上传不同目录下、不同服务器的文件，但使用稍微繁琐，简单的上传下载功能参考方式二。


另一种方式：直接使用adep 的命令行，格式如下：
$ adep put:local_file,remote_dir
$ adep get:remote_file,local_dir
注意上述命令中没有空格，若目录中空格，可以用引号扩起来。下面是一些例子供参考：

1）将本地文件a.txt上传到服务器/root/目录下；
  
2）本地”D:\ProgramFiles\”目录下的b.txt上传到服务器/root/目录下；
  
3）将服务器/root/b.txt文件下载到本地；
  
4）将本地的./test/目录（及包含文件）上传到服务器/root/下面；
  
5）下面服务器/root/test目录到本地的./test1/目录下；
  
9.远程执行命令
AppDeploy工具内置了run指令做远程执行命令，在编辑appdeploy.py中的任务时使用run命令可以轻松实现远程执行，而在命令行想执行一个远程命令如何实现呢？
AppDeploy提供了两种实现方式：

一种方式：在命令行执行$ adep [options] — [shell command]， option为命令的参数。
例如：查看服务器/root/test/文件夹里的文件列表；
    
另一种方式：在命令行中使用 $ adep run:”shell command”，需要注意的是run和后面的shell 命令之间用“：”连接，且无空格，如果shell命令有空格，请用引号将其引起来。
    
10.一键更新源站
买好了ECS机器，安装完了系统，大部分用户都需要更新系统源这个任务。AppDeploy为大家搜集了阿里云服务器上最常用、高效的源站链接，并提供一键更新的功能。此功能已经支持Ubuntu、Centos、Fedora、Opensuse、Debain等Unix系统。

更新源站命令： $ adep update_source

11.并发执行

此类命令是基于用户工作习惯的总结，如果您有想新添加的功能或快捷方式，请与我们联系，我们会考虑将您需要的功能添加到工具的下个版本。

AppDeploy设计之初的重点研究对象就是应用部署，然而工具在开发初期更多的侧重于底层信息流的互通和通用功能的实现。当前AppDeploy工具对应用部署的支持还不是很全面，这正是我们近期需要加强的地方。

应用的部署相关工作可分为：服务器端的运行环境安装、应用的编译打包、应用的上传部署；

12.服务器端的运行环境安装
当前[font=&amp]AppDeploy更多侧重w[font=&amp]eb服务器安装，[font=&amp]AppDeploy支持常用W[font=&amp]eb环境的一键安装功能，支持的环境和版本见下表：

然而上述有些环境在不同操作系统上依赖库、安装细节等都不相同，所以当前无法保证以上工具能在所有操作系统环境安装无误，若出现安装失败，请查看错误日志或联系我们的邮箱。 安装步骤如下：
1）编辑appdeploy.py文件，输入希望运行的web环境组件。
2）定义一个任务，任务中调用appdeploy的内置函数：install_runtime(para)，参数para为想要安装的web组件细节，使用json格式输入。
3）在命令行执行执行：$adep runtime即可。

例子1：服务器上安装Jdk-1.7.0和Tomcat-7.0.63的运行环境
1）在appdeploy.py中定义任务runtime，并调用install_runtime(compontens)函数，参数为要安装的jdk、tomcat版本号，用json格式输入。

2）在命令行执行：$ adep runtime执行安装过程，
    

3）IE中输入访问地址，验证安装结果，下图表明tomcat已经安装成功。
    [attachment=81519]
例子2：服务器上安装apache和Tomcat-7.0.63的运行环境
1）在appdeploy.py中定义任务runtime，并调用install_runtime(compontens)函数，参数为要安装的Apache、PHP版本号，用json格式输入。

2）在命令行执行：$ adep runtime执行安装过程，
    [attachment=81520]
3）IE中输入访问地址，验证安装结果，下图表明PHP已经安装成功（hello.php是环境安装后放到php指定目录下的文件）；
    [attachment=81521]
13.应用打包部署
例子1：将本地Java应用部署到服务器。
结合上面环境安装的例子（1），将本地一个java应用部署到服务器。

1）在appdeploy.py中添加如下任务，任务中定义：打包工具、本地项目目录、服务器端的web应用目录，并调用打包、部署命令package和deploy接口。

2）在命令行输入命令：$ adep pack_deploy执行打包部署任务，如下：
    [attachment=81522]
3）在IE上输入应用地址，检查部署效果。下图表示应用部署成功：
    [attachment=81523]
应用部署是AppDeploy以后重点研究方向，我们深知当前做的还很有限，也正是借此机会和广大开发者交流，希望您能把工具的不足之处和您自己的需求发送给我们，一起把应用部署方案做到更新、更方便使用。
 

阿里云运维部署工具AppDeploy详细教程，首发于服务器安全维护工作室。

前言

Percona XtraBackup可以说是一个相对完美的免费开源数据备份工具，支持在线无锁表同步复制和可并行高效率的安全备份恢复机制相比mysqldump来说确实让人眼前一亮，与MySQL Enterprise Backup(InnoDB Hot Backup)的功能对比可以参考扩展阅读。当然我们在实际运维过程中都应针对不同的业务需求分析和选择合适的备份恢复方案，这篇文章就是针对MySQL多实例且一个实例对应多个database的情况，实现MySQL在线不停机不锁表的主从同步，日后再继续更新分享基于XtraBackup的其它实用技能。

XtraBackup是目前首选的备份方案之一

原理

MySQL主从同步原理

MySQL主从同步是在 MySQL主从复制(Master-Slave Replication)基础上实现的，通过设置在Master MySQL上的binlog(使其处于打开状态)，Slave MySQL上通过一个I/O线程从Master MySQL上读取binlog，然后传输到Slave MySQL的中继日志中，然后Slave MySQL的SQL线程从中继日志中读取中继日志，然后应用到Slave MySQL的数据库中。这样实现了主从数据同步功能。

XtraBackup备份原理

innobackupex在后台线程不断追踪 InnoDB的日志文件，然后复制InnoDB的数据文件。数据文件复制完成之后，日志的复制线程也会结束。这样就得到了不在同一时间点的数据副本和开始 备份以后的事务日志。完成上面的步骤之后，就可以使用InnoDB崩溃恢复代码执行事务日志（redo log），以达到数据的一致性。
备份分为两个过程：

1. backup，备份阶段，追踪事务日志和复制数据文件（物理备份）。
2. preparing，重放事务日志，使所有的数据处于同一个时间点，达到一致性状态。

XtraBackup的优点

1. 可以快速可靠的完成数据备份（复制数据文件和追踪事务日志）
2. 数据备份过程中不会中断事务的处理（热备份）
3. 节约磁盘空间和网络带宽
4. 自动完成备份鉴定
5. 因更快的恢复时间而提高在线时间

配置

准备工作

MySQL步骤和my.cnf配置

#原有主数据库版本
mysql -V
mysql  Ver 14.14 Distrib 5.5.31, for Linux (x86_64) using readline 5.1

#迁移从数据库版本
mysql -V
mysql  Ver 14.14 Distrib 5.6.25, for linux-glibc2.5 (x86_64) using  EditLine wrapper

#检查数据库引擎
show engines;

+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+
| Engine             | Support | Comment                                                        | Transactions | XA   | Savepoints |
+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+
| MRG_MYISAM         | YES     | Collection of identical MyISAM tables                          | NO           | NO   | NO         |
| CSV                | YES     | CSV storage engine                                             | NO           | NO   | NO         |
| MyISAM             | YES     | MyISAM storage engine                                          | NO           | NO   | NO         |
| BLACKHOLE          | YES     | /dev/null storage engine (anything you write to it disappears) | NO           | NO   | NO         |
| MEMORY             | YES     | Hash based, stored in memory, useful for temporary tables      | NO           | NO   | NO         |
| InnoDB             | DEFAULT | Supports transactions, row-level locking, and foreign keys     | YES          | YES  | YES        |
| ARCHIVE            | YES     | Archive storage engine                                         | NO           | NO   | NO         |
| PERFORMANCE_SCHEMA | YES     | Performance Schema                                             | NO           | NO   | NO         |
| FEDERATED          | NO      | Federated MySQL storage engine                                 | NULL         | NULL | NULL       |
+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+


#主从数据库同步注意点
[mysqld]
#主从之间的id不能相同
server-id
#启用二进制日志
log-bin
#一般在从库开启（可选）
read_only
#推荐使用InnoDB并做好相关配置


#检查主从数据库状态
mysql -S /tmp/mysql.sock -e "show global variables like 'server_id';"
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 1     |
+---------------+-------+

mysql -S /tmp/mysql.sock -e "show global variables like 'log_bin';"
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | ON    |
+---------------+-------+

安装percona-xtrabackup

一般推荐rpm安装 – https://www.percona.com/downloads/XtraBackup/LATEST/

yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL #rpm -ivh percona-xtrabackup-2.2.12-1.el6.x86_64.rpm rpm -Uvh percona-xtrabackup-2.2.12-1.el6.x86_64.rpm

备份和恢复

通常一般都直接使用innobackupex，因为它能同时备份InnoDB和MyISAM引擎的表
重点关注Slave_IO_Running和Slave_SQL_Runningd的状态是否为YES

#备份 innobackupex --socket=/usr/local/var/mysql2/mysql2.sock --user=root --password --defaults-file=/etc/mysqld_multi.cnf --parallel=4 --database=passport /tmp/backup #保持事务一致性 innobackupex --socket=/usr/local/var/mysql2/mysql2.sock --user=root --password --defaults-file=/etc/mysqld_multi.cnf --database=passport --apply-log /tmp/backup/2015-08-05_16-08-14 #传输 scp -r /tmp/backup/2015-08-05_16-08-14 10.10.16.24:/tmp/backup/ #恢复 innobackupex --socket=/tmp/mysql.sock --user=root --password --defaults-file=/app/local/mysql/my.cnf --copy-back /tmp/backup/2015-08-05_16-08-14/ #还原权限 chown -R mysql:mysql /app/data/mysql/data service mysqld start /app/local/mysql/scripts/mysql_install_db --basedir=/app/local/mysql --datadir=/app/data/mysql/data --no-defaults --skip-name-resolve --user=mysql #主库授权同步帐号 SELECT DISTINCT CONCAT('User: ''',user,'''@''',host,''';') AS query FROM mysql.user; GRANT REPLICATION SLAVE ON *.* TO 'slave_passport'@'10.10.16.24' IDENTIFIED BY 'slave_passport'; FLUSH PRIVILEGES; #从库开启同步 cat /tmp/backup/2015-08-05_16-08-14/xtrabackup_binlog_info mysql-bin.002599 804497686 CHANGE MASTER TO MASTER_HOST='10.10.16.51', MASTER_USER='slave_passport', MASTER_PASSWORD='slave_passport', MASTER_PORT=3307, MASTER_LOG_FILE='mysql-bin.002599', MASTER_LOG_POS=804497686; #开启主从同步 start slave; #查看从库状态 show slave status\ G #从库的检查参数 Slave_IO_Running=Yes Slave_SQL_Running=Yes #主库的检查参数 show master status \G +------------------+-----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +------------------+-----------+--------------+------------------+ | mysql-bin.002600 | 454769337 | | | +------------------+-----------+--------------+------------------+ 1 row in set (0.00 sec) show processlist; Master has sent all binlog to slave; waiting for binlog to be updated

MySQL主从切换

切换前断开主库访问连接观察进程状态，无写操作后再停止从库IO_THREAD进行切换

#查看主库状态 show processlist; Master has sent all binlog to slave; waiting for binlog to be updated show master status \G #从库停止 IO_THREAD 线程 stop slave IO_THREAD; show processlist; Slave has read all relay log; waiting for the slave I/O thread to update it show slave status \G #从库切换为主库 stop slave; reset master; reset slave all; show master status \G #激活帐户 SELECT DISTINCT CONCAT('User: ''',user,'''@''',host,''';') AS query FROM mysql.user; GRANT REPLICATION SLAVE ON *.* TO 'slave_passport'@'10.10.16.51' IDENTIFIED BY 'slave_passport'; FLUSH PRIVILEGES; #切换原有主库为从库 reset master; reset slave all; CHANGE MASTER TO MASTER_HOST='10.10.16.24', MASTER_USER='slave_passport', MASTER_PASSWORD='slave_passport', MASTER_PORT=3306, MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=804497686; #检查主库 SHOW PROCESSLIST; show master status \G #启动从库 SHOW PROCESSLIST; start slave; show slave status \G

常见问题

Slave_SQL_Running:No

#一般是事务回滚造成的
stop slave;
set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;
start slave;

XtraBackup不停机不锁表搭建MySQL主从同步教程，首发于服务器安全维护工作室。

1.1 SSl证书安装环境简介

Linux服务器一台，

阿里云slb服务器

SSL证书一张(备注：本指南使用www.fuwuqiok.com域名Yunwei123进行操作,通用其它版本证书)

1.2网络环境要求

请确保站点是一个合法的外网可以访问的域名地址，可以正常通过或http：//XXX进行正常访问。

二、 SSL证书的安装

2.1获取SSl证书

成功在沃通CA申请证书后，会得到一个有密码的压缩包文件，输入证书密码后解压得到五个文件：for Apache、for IIS、for Ngnix、for Other Server，这个是证书的几种格式，Ngnix上需要用到for Ngnix格式的证书。

图1

2. 2合成证书文件

打开for Ngnix文件可以看到2个文件。包括公钥、私钥，如图1

图2

2.3安装SSL证书

打开阿里云slb配置面板

可以看到证书需要pem格式的证书，而证书包里面给的类型是crt的，下面就是怎样导出pem格式证书的方法啦!

第一步：将for nginx里面的1_domain.com.bundle.crt文件拷贝到windows环境下，并采用加密外壳扩展方式打开

第二步：用加密外壳扩展打开后，查看证书路径

选择域名，查看详细信息，导出证书，并命名为1

然后回到证书路径里面，选择上一级证书，导出并命名为2

第三步：依次向上导出证书，直到最上面的证书也被导出，并分别命名为3，4.接下来，新建一个txt，并依次将1.2.3.4.cer用记事本方式 打开，粘帖到新建的txt中，注意中间不要留有空格(如下图)，然后保存txt，并将txt重命名为1_domain.com.bundle.pem(您 的域名，和for nginx里面crt证书名字一样)

第四步：将新合成的pem证书导入(粘贴)到面板的证书内容里面，将for nginx里面的key文件导入(粘贴)到私钥文件里面。

通过https方式访问您的站点，测试站点证书的安装配置。

2.3.1安全签章安装

您购买了WoSign SSL证书后，将免费获得一个能直观地显示贵网站的认证信息的可信网站安全认证标识，能大大增强用户的在线信任，促成更多在线交易。所以，建议您在安装成功SSL证书后马上在网站的首页和其他页面中添加如下代码动态显示可信网站安全认证标识：

(目前该安全签章只支持OV级以上证书使用)

<SCRIPT LANGUAGE=”JavaScript” TYPE=”text/javascript” SRC=”http://seal.wosign.com/tws.js”></SCRIPT>

如果您希望在英文页面显示认证标识，则在英文页面添加如下代码：

<SCRIPT LANGUAGE=”JavaScript” TYPE=”text/javascript” SRC=”http://seal.wosign.com/tws-en.js”></SCRIPT>

详细请访问：https://www.wosign.com/support/siteseal.htm

2.4测试SSL证书

在浏览器地址栏输入：https://www.fuwuqiok.com (申请证书的域名)测试您的SSL证书是否安装成功，如果成功，则浏览器下方会显示一个安全锁标志。测试站点证书的安装配置。

2.5 SSL证书的备份

请保存好收到的证书压缩包文件及密码，以防丢失

2.6SSL证书的恢复

重复2.3操作即可。

阿里云slb服务器SSL证书部署指南，首发于服务器安全维护工作室。

首先我们需要到阿里云备案站注册ID号，如果你的域名还没有备案过，那就要选择首次备案。然后阿里云会让你填写你个人真实资料，就是要填你身份证上的资料。包括你现在的住址，要精确到几室几号。

接下来就是第三步真实性核验，对方会要求你到对应的你身份证上的省拍半身的照片，这个时候，如果你不方便的话，最好到阿里云网站后台递交邮寄备案幕 布的要求，让他们把备案幕布寄给你，这样就方便多了。然后你把备案幕布贴到自己家的墙上，请朋友帮你拍张上半身的照片。照片拍完后，就到阿里云后台发工单让对方把你的个人备案用的照片核验通过一下。接下来就是填网站 备案真实性核验单跟信息安全管理协议。

记得跟踪一下你邮寄这两份资料的进度，到百度上查自己邮寄这资料到哪了。

阿里云备案流程教程，首发于服务器安全维护工作室。

如果将APP部署在阿里云服务器，可能会有一些操作需要我们来完成，下面的介绍里的说明大家可以参考下。

1，APP应用需要什么样的云服务器？

为了帮助大家了解如何使用阿里云云服务器及相关应用，阿里云的移动云团队开发了一个简单的APP应用：移动云相册，其中使用了ECS主要用作部署云 相册的API服务（图片信息调用、图片列表调用）和图片缩略图处理，因为这个应用服务端使用了JAVA语言开发，因此在上面安装tomcat来部署应用。
具体部署
1、远程登录：
第一次购买ECS后，会把该ECS服务器的root账号、密码发送购买者的邮箱，然后购买者可以通过远程登录到ECS服务器，

具体远程登录可以参考如下：
Windows：http://help.aliyun.com/manual?spm=5176.383518.5.16.4lLZzn&helpId=59
Linux:http://help.aliyun.com/manual?spm=5176.383518.5.16.4lLZzn&helpId=59
2、安装web环境
根据自己应用特点选择安装相关web服务器tomcat或者jetty，阿里云提供了一条龙安装部署脚本，为开发者提供了更多的方便，请参考如下链 接：http://help.aliyun.com/manual?spm=0.0.0.0.RGeYy4&helpId=129
3、打包应用
将web源码下载到本地，使用命令mvnpackage打成war包。如果不是maven工程，可以用类似ant打成war包。
4、上传war包
Linux下面可以使用sftp上传war包，上传war包到指定目录后进行解压，具体使用方式参考：http://help.aliyun.com/manual?spm=0.0.0.0.PnfpSL&helpId=1848
5、启动web服务
将tomcat或jetty服务启动
6、配置反向代理、绑定域名
具体配置信息参考：http://help.aliyun.com/manual?spm=0.0.0.0.Ti7iuA& helpId=532, http://help.aliyun.com/manual?spm=0.0.0.0.MKbFj1&helpId=65

2，APP应用如何把图片存到云存储服务器中？

图片类APP应用的架构核心在于大量小文件的存储与访问，在文件数量较多的情况下将文件直接存储在硬盘上将极大影响应用的访问效率。阿里云存储服务 OSS对海量小文件的存储及管理具有很大优势，图片不从服务端下载，减少了服务端压力。阿里云的OSS的备份机制也保证了文件的存储安全，其存储容量可以 无限扩展，每秒请求数超过50000次，多线BGP网络确保全国各地访问流畅。

使用阿里云OSS步骤：
1）登录阿里云官网（aliyun.com）开通OSS
2）获取KEY及密钥
3）下载SDK
（JAVA版下载地址为：http://bbs.aliyun.com/job.php?action=download&aid=38817
帮助手册： http://aliyun_portal_storage.oss.aliyuncs.com/oss_api/oss_javahtml/index.html ）

4）开始APP开发
很简单吧，下面是一个使用阿里云的OSS上传图片的代码样例：

StringupLoadURI = OSSClient.generateUploadUrl(Constants.SERVER_URL.GENERATE_URL,fileName, null);
int status =OSSClient.uploadFile(upLoadURI, path);

3，APP上云后如何使用云数据库？

为了帮助大家了解如何使用阿里云云服务器及相关应用，阿里云的移动云团队开发了一个简单的APP应用：移动云相册，其中使用了RDS中提供的 MYSQL服务，数据库中主要存储了用户上传的图片信息，包括原图、缩略图的信息及存储地址，通过WEB端API向客户端提供数据调用。
使用阿里云RDS和使用本地数据库基本上没有区别，使用样例如下：
1）创建数据库实例
使用阿里云账号购买RDS后，可以创建数据库实例。
2）创建数据库以及管理账号
创建数据库名称以及管理账号，用于应用程序调用数据库连接。
3）访问数据库：
创建完数据库（test）后，在数据库test里添加账户：test、密码：test，可以在RDS控制台查看到数据库相关信息，从中能够得到数据库的外 网地址如：xxxx.mysql.rds.aliyuncs.com，可以使用应用程序连接数据库，javajdbc连接数据库示例代码如下：

String url = “jdbc:mysql://xxxx.mysql.rds.aliyun:3306/test”;
String username = “test” ;
String password = “test” ;
try{
Connection con = DriverManager.getConnection(url ,username , password ) ;
}catch(SQLException e){
e.printStackTrace() ; //需要对异常做处理
}

具体数据库访问步骤可以参考：http://help.aliyun.com/manual?spm=0.0.0.0.dAfLT5&helpId=227

如何将APP部署在阿里云服务器上，首发于服务器安全维护工作室。