好乐买自动化运维实践 -...

好乐买自动化运维实践李小红

Monday, June 27, 2011

新资源上线流程

安装系统

资源性能监控

安装软件配置系统

发布产品代码

准备数据

修改运行配置

好乐买公司简介

• 成立于2007年

• 国内最大的B2C正品鞋网上商城

• www.okbuy.com

装系统很容易

多来点怎么样？

结果五花八门

自动安装

• 基于python的开源软件

• 快速(<10分钟)设置安装服务器

• 支持Linux，不支持BSD

• Dell，Redhat等公司在用它

本地自动安装

• 登记MAC地址

• 设置主机名称、IP、安装模板

• 网络启动，自动完成安装

远程自动安装

远程重装或升级系统

• ssh+koan/远程自动安装

• 下载kernel/initrd，修改grub

• reboot重启后开始安装

自动安装虚拟机

• koan/kvm

• cobbler上设置RAM/CPU/DISK

• 支持xen/vmware

还要配好多东西呢• 安装软件

• 起动/停止服务

• 增加用户

• 修改系统配置文件

• 修改应用程序的配置文件

• ... ...

自动化配置管理

puppet配置管理

配置文件配置文件配置文件

puppet maser

puppet

puppetCA客户证书客户证书 puppet

服务器端客户端

软件自动安装

pp master pp masterpp管理集群

服务器

soft repo

软件自动安装

服务器

soft repo

1 为节点增加软件配置

软件自动安装

服务器

soft repo

2 获取资源列表

软件自动安装

服务器

soft repo

3 返回资源列表

软件自动安装

服务器

soft repo

4 下载软件并安装

软件自动升级

服务器

soft repo

软件自动升级

服务器

soft repo

1 上传软件并更新repo

软件自动升级

服务器

soft repo

软件自动升级

服务器

soft repo

软件自动升级

服务器

soft repo

4 查询最新版本下载并升级

自动删除软件

服务器

soft repo

自动删除软件

服务器

soft repo

1 修改节点软件配置

自动删除软件

服务器

soft repo

自动删除软件

服务器

soft repo

自动删除软件

服务器

soft repo

4 删除软件

系统帐号自动管理

服务器

1 修改节点用户配置

服务器

4 增加或删除用户

自动推送文件到多个节点

服务器

1 修改文件推送配置

服务器

2 上传文件到pp master指定的目录

服务器

4 比对并拉取文件

全面的配置管理

pp master pp master

pp管理集群

服务器

cobbler subversion

pp master pp master

pp管理集群

服务器

IP/主机名/分区等配置

cobbler subversion

pp master pp master

pp管理集群

服务器

cobbler

软件/用户/配置文件等

subversion

pp master pp master

pp管理集群

服务器

cobbler

subversion

产品代码

pp master pp master

pp管理集群

服务器

cobbler

数据除外10分钟内恢复

subversion

产品代码

全配置管理的优势

• 灾难恢复

• 快速扩容

• 方便系统重构

• 资源自动调度

Puppet集群

puppet master

mongrel

配置从SVN上发布到各个puppet master节点上

SVN有所有节点的所有配置

mongrel mongrel mongrel

puppet master

mongrel mongrel mongrel mongrel

subversion

Puppet优势

• cfengine/chef优势对比

• google/twitter/zynga

Capistrano

• ruby gem

• 产品代码发布与回滚

• 集群命令工具

产品代码发布

subversion管理机

服务器服务器服务器服务器

产品代码发布

subversion管理机

1 从SVN同步最新或指定的版本

产品代码发布

subversion管理机

1 从SVN同步最新或指定的版本

2 上传并应用到所有相关的服务器

代码发布目录结构

deploy releases

20110619001122

20110618001122

20110617001122

shared system config.inc

code...

config

deploy releases

20110619001122

20110618001122

20110617001122

current

code...

config

deploy releases

20110619001122

20110618001122

20110617001122

current

code...

config

deploy releases

20110619001122

20110618001122

20110617001122

current

code...

config

deploy releases

20110619001122

20110618001122

20110617001122

current

code...

config config.inc

deploy releases

20110619001122

20110618001122

20110617001122

current

code...

config config.inc

deploy releases

20110619001122

20110618001122

20110617001122

current

code...

config config.inc

产品代码回滚

管理机

产品代码回滚

管理机

链接到上一版本，删除当前代码目录

ganglia

• 分布式监控

• 高扩展性

• 容易增加监控指标

ganglia监控架构

服务质量监控

nagios

• 跟ganglia集成

• 主要记录可用性数据

• 报警条件少

新资源上线流程

安装系统

资源性能监控

安装软件配置系统

发布产品代码

准备数据

修改运行配置

新资源下线流程

运行配置系统(zookeeper) cmdb

公用资源池

服务集群服务集群服务集群服务集群服务集群服务集群

未来

问题？• weibo：@槛内小红

• blog.sina.com.cn/lixiaohong

• twitter: @lixiaohong

好乐买自动化运维实践 -...

Documents

可口可乐 Coca-Cola

Graphics Tablet User Guide - 乐写官方网站

琴奏音乐 T˜˚˚˛˝˙ Pˆˆ˝RECITAL

Welcome! 你好！Willkommen! Bienvenue! Vindo! Witamy

11 01 02 胡恩威建筑音乐剧场 - zuni.org.hk

I want to_buy_red_apples_我要买红苹果

好心情 - Clay Musicmedia.claymusic.org/sheetmusic/07-01.pdf · 你你有有 E¨ 個個好好心心情，情， B¨ 平因安為喜耶 B¨ 樂穌在好心愛

晒稿会网址：sgh.cqwb.com.cn/index.php 邮箱：cqwbfk@163.com 建行小 … › attachment › 201811 › 28 › 3c... · 来再看，我去给你买花生糖好不好，大姐哄着我。

7. 音乐之都 - hwjyw.com

2018.06.08 熱心學長姐們與輔導室 - tcssh.tc.edu.t · 不用管科系志願，學測成績出來再想要怎麼填就好。等學測考完再來好好研究簡章就好了…

Eishi Company Profile 修改好的

Overseas Edition2020/10/06 · 传统乐器创造现代音乐，用音乐探讨未来。沈嘉琚笸旅美青年琵琶演奏家笸民乐电子乐队THE EITHER 创始人机缘巧合，2014

cdtu.edu.cn · Web viewAuthor 乐绍文 Created Date 05/16/2018 00:06:00 Last modified by 乐绍文

好評発売中！！ hoka/compass...好評発売中！！コンパスローズ英和辞典パンフレット B4表面 2019.9.9

讯飞DMP平台与应用pic.huodongjia.com/ganhuodocs/2017-12-22/1513909007.39.pdf · 用户标签体系兴趣偏好上网行内容偏好购买意向汽车购房购房数码

你好 – HELLO! "Ni hao”—pronounced "nee haow”

世青小熊猫稀有血型俱乐部 Rare Blood Type Club …...世青小熊猫稀有血型俱乐部 Rare Blood Type Club (Student-led Club) 在俱乐中，们可以共ե了解习

Weller 威乐焊台烙铁头产品目录

娱乐 - zzwb.zynews.cn

Ma iADH gazine - IADH, iADHGledelig Jul // Craciun fericit si un An Nou fericit! // Yeni Yiliniz Kutlu Olsun 圣诞快乐，新年快乐; Gledileg Jol og Farsaelt Komandi ar! Nollaig