50
Havana from Grizzly Choe, Cheng-Dae [email protected]

Open stack day 2014 havana from grizzly

Embed Size (px)

Citation preview

Havana����������� ������������������  from����������� ������������������  GrizzlyChoe,����������� ������������������  Cheng-Dae����������� ������������������  

[email protected]

Ubuntu����������� ������������������  Cloud����������� ������������������  Archive����������� ������������������  Grizzly����������� ������������������  KVM����������� ������������������  

Quantum����������� ������������������  Shared����������� ������������������  Provider����������� ������������������  Network����������� ������������������  

…⋯����������� ������������������  Some����������� ������������������  Patches…⋯

Havana...

Heat,����������� ������������������  Ceilometer,����������� ������������������  Savana,����������� ������������������  Trevo,����������� ������������������  Marconi,����������� ������������������  Ironic…⋯

Quantum����������� ������������������  ->����������� ������������������  Neutron����������� ������������������  ->����������� ������������������  ML2����������� ������������������  !

Network����������� ������������������  Virtualization

업그레이드����������� ������������������  순서

기존����������� ������������������  패키지����������� ������������������  삭제����������� ������������������  새로운����������� ������������������  패키지����������� ������������������  설치����������� ������������������  

데이터베이스����������� ������������������  마이그레이션

업그레이드����������� ������������������  방법

한번에����������� ������������������  전체����������� ������������������  업그레이드����������� ������������������  !

OpenStack����������� ������������������  서비스����������� ������������������  다운����������� ������������������  타임이����������� ������������������  필요

컴포넌트����������� ������������������  별로����������� ������������������  업그레이드����������� ������������������  !

각����������� ������������������  콤포넌트����������� ������������������  별로����������� ������������������  별도의����������� ������������������  서버에서����������� ������������������  실행이����������� ������������������  되고����������� ������������������  있어야����������� ������������������  한다(패키지����������� ������������������  의존성).

nova-compute에서����������� ������������������  quantum-xxx����������� ������������������  서비스가����������� ������������������  되고����������� ������������������  있다면…⋯

한번에����������� ������������������  전에����������� ������������������  업그레이드!

openstack����������� ������������������  서비스����������� ������������������  정지����������� ������������������  control(API)����������� ������������������  노드����������� ������������������  업데이트����������� ������������������  데이터베이스����������� ������������������  마이그레이션����������� ������������������  

network����������� ������������������  노드����������� ������������������  업데이트(dnsmasq,����������� ������������������  quantum-ns-metadata-proxy)����������� ������������������  

compute����������� ������������������  노드����������� ������������������  업데이트����������� ������������������  some����������� ������������������  clean-ups

chef-workstation에서…⋯����������� ������������������  $����������� ������������������  git����������� ������������������  checkout����������� ������������������  stable/havana����������� ������������������  $����������� ������������������  knife����������� ������������������  cookbook����������� ������������������  upload����������� ������������������  …⋯����������� ������������������  

$����������� ������������������  knife����������� ������������������  environment����������� ������������������  from����������� ������������������  file����������� ������������������  …⋯����������� ������������������  $����������� ������������������  knife����������� ������������������  role����������� ������������������  from����������� ������������������  file����������� ������������������  …⋯����������� ������������������  

!

오픈스택����������� ������������������  노드에서…⋯����������� ������������������  $����������� ������������������  apt-get����������� ������������������  purge����������� ������������������  -y����������� ������������������  --auto-remove����������� ������������������  python-

keystoneclient����������� ������������������  $����������� ������������������  chef-client����������� ������������������  

compute����������� ������������������  서비스는����������� ������������������  HA가����������� ������������������  없다.

Live����������� ������������������  Migration으로����������� ������������������  보완할����������� ������������������  수����������� ������������������  있다.����������� ������������������  !

disable����������� ������������������  컴퓨트����������� ������������������  서비스����������� ������������������  여유분����������� ������������������  컴퓨트����������� ������������������  노드����������� ������������������  확보����������� ������������������  

확보한����������� ������������������  컴퓨트����������� ������������������  노드로����������� ������������������  live����������� ������������������  migration����������� ������������������  컴퓨트노드����������� ������������������  유지보수/����������� ������������������  업그레이드����������� ������������������  다시����������� ������������������  원래로����������� ������������������  live����������� ������������������  migration

Shared����������� ������������������  Storage가����������� ������������������  없는����������� ������������������  Live����������� ������������������  Migration은����������� ������������������  운영����������� ������������������  위험이����������� ������������������  높다.����������� ������������������  

!

Shared����������� ������������������  Storage를����������� ������������������  사용하는����������� ������������������  Live����������� ������������������  Migration은����������� ������������������  인프라����������� ������������������  비용이����������� ������������������  세다.

GO!

����������� ������������������  작동중인����������� ������������������  인스턴스:����������� ������������������  326����������� ������������������  사용하는����������� ������������������  RAM:����������� ������������������  1008GB����������� ������������������  

한달간����������� ������������������  VCPU-시간:����������� ������������������  114175.66����������� ������������������  한달간����������� ������������������  GB-시간:����������� ������������������  4567754.20����������� ������������������  

이슈:����������� ������������������  패키지����������� ������������������  의존성����������� ������������������  !

python-compressor,����������� ������������������  python-django,����������� ������������������  python-cmd2…⋯����������� ������������������  

!

$����������� ������������������  apt-get����������� ������������������  purge����������� ������������������  --auto-remove����������� ������������������  python-keystoneclient

이슈:����������� ������������������  ����������� ������������������  m1.tiny����������� ������������������  flavor����������� ������������������  disk����������� ������������������  size의����������� ������������������  기본값이����������� ������������������  0에서����������� ������������������  1로����������� ������������������  변경

grizzly의����������� ������������������  0은����������� ������������������  flavor에����������� ������������������  맞게����������� ������������������  이미지����������� ������������������  파티션����������� ������������������  자동����������� ������������������  확장

havana의����������� ������������������  0은����������� ������������������  이미지����������� ������������������  파티션����������� ������������������  조정을����������� ������������������  하지����������� ������������������  않는다.����������� ������������������  0은����������� ������������������  진짜로����������� ������������������  0임����������� ������������������  

!

disk����������� ������������������  size=1,����������� ������������������  glance의����������� ������������������  이미지가����������� ������������������  2G면...����������� ������������������  생성����������� ������������������  오류

이슈:����������� ������������������  libvirt����������� ������������������  1.0.1����������� ������������������  -->����������� ������������������  1.1.1

이슈:����������� ������������������  qemu*����������� ������������������  1.0����������� ������������������  -->����������� ������������������  1.5����������� ������������������  !

kvm����������� ������������������  -->����������� ������������������  qemu-system-x86_64����������� ������������������  1.1����������� ������������������  이하와는����������� ������������������  Live����������� ������������������  Migration이����������� ������������������  되지����������� ������������������  

않음����������� ������������������  Suspend����������� ������������������  /����������� ������������������  Resume

이슈:����������� ������������������  openvswitch*����������� ������������������  !

1.4.0����������� ������������������  -->����������� ������������������  1.10����������� ������������������  (VxLAN)����������� ������������������  LTS����������� ������������������  1.9.3,����������� ������������������  최신����������� ������������������  2.0.0

이슈:����������� ������������������  dhcp_lease_time����������� ������������������  !

dhcp_lease_time=120����������� ������������������  —―>����������� ������������������  

dhcp_lease_duration=86400

이슈:����������� ������������������  DB����������� ������������������  마이그레이션����������� ������������������  !

XXX-manage����������� ������������������  db-sync����������� ������������������  으로����������� ������������������  대부분����������� ������������������  끝남

수동����������� ������������������  마이그레이션이����������� ������������������  필요할����������� ������������������  때도����������� ������������������  있다.����������� ������������������  !

bug…⋯����������� ������������������  upstream����������� ������������������  patch…⋯

South����������� ������������������  !

$����������� ������������������  neutron-db-manage����������� ������������������  stamp����������� ������������������  grizzly����������� ������������������  $����������� ������������������  neutron-db-manage����������� ������������������  upgrade����������� ������������������  havana����������� ������������������  

!

$����������� ������������������  neutron-db-manage����������� ������������������  history����������� ������������������  $����������� ������������������  neutron-db-manage����������� ������������������  upgrade����������� ������������������  

27ef74513d33:havana

이슈:����������� ������������������  iptables����������� ������������������  rules����������� ������������������  !

iptables����������� ������������������  rules:����������� ������������������  quantum-xxxx����������� ������������������  -->����������� ������������������  neutron-xxx����������� ������������������  

!

$����������� ������������������  iptables����������� ������������������  -F����������� ������������������  &&����������� ������������������  iptables����������� ������������������  -X����������� ������������������   $����������� ������������������  service����������� ������������������  neutron-plugin-openvswitch-agent����������� ������������������  restart

이슈:����������� ������������������  namespace����������� ������������������  !

namespace는����������� ������������������  서로����������� ������������������  분리된����������� ������������������  독립된����������� ������������������  network����������� ������������������  stack����������� ������������������  

!

tcp/ip,����������� ������������������  routing,����������� ������������������  iptables…⋯

$����������� ������������������  ip����������� ������������������  netns����������� ������������������  exec����������� ������������������  qdhcp-xxx����������� ������������������  ping����������� ������������������  8.8.8.8

root����������� ������������������  namespace와의����������� ������������������  통신은����������� ������������������  root����������� ������������������  namespace의����������� ������������������  port와����������� ������������������  veth로����������� ������������������  연결����������� ������������������  

!

$����������� ������������������  ip����������� ������������������  netns����������� ������������������  add����������� ������������������  another����������� ������������������  $����������� ������������������  ip����������� ������������������  link����������� ������������������  add����������� ������������������  veth0����������� ������������������  type����������� ������������������  peer����������� ������������������  name����������� ������������������  veth1����������� ������������������  

$����������� ������������������  ip����������� ������������������  link����������� ������������������  set����������� ������������������  veth1����������� ������������������  netns����������� ������������������  another����������� ������������������  $����������� ������������������  ip����������� ������������������  netns����������� ������������������  exec����������� ������������������  another����������� ������������������  ifconfig����������� ������������������  veth1����������� ������������������  

…⋯

use_namespace����������� ������������������  =����������� ������������������  True����������� ������������������  !

dnsmasq,����������� ������������������  quantum-ns-metadata-proxy,����������� ������������������  

!

프로세스를����������� ������������������  수동으로����������� ������������������  kill����������� ������������������  서비스����������� ������������������  재시작:����������� ������������������  neutron-dhcp-agent,����������� ������������������  

neutron-lbaas-agent,����������� ������������������  …⋯

이슈:����������� ������������������  vif_driver����������� ������������������  !

LibvirtHybridOVSBridgeDriver����������� ������������������  was����������� ������������������  deprecated.����������� ������������������  

LibvirtGenericVIFDriver

LibvirtHybridOVSBridgeDriver:����������� ������������������  OpenVSwitch����������� ������������������  +����������� ������������������  Linux����������� ������������������  Bridge����������� ������������������  ����������� ������������������  

!

LibvirtGenericVIFDriver:����������� ������������������  OpenVSwitch����������� ������������������  Only

LibvirtHybridOVSBirdgeDriver����������� ������������������  !!#����������� ������������������  ovs-vsctl����������� ������������������  show����������� ������������������  9abc2848-ccfe-4cce-9065-fe12606feea9����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Bridge����������� ������������������  "br-eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Port����������� ������������������  "eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Interface����������� ������������������  "eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Port����������� ������������������  "br-eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Interface����������� ������������������  "br-eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  type:����������� ������������������  internal����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Port����������� ������������������  "phy-br-eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Interface����������� ������������������  "phy-br-eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Bridge����������� ������������������  br-int����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Port����������� ������������������  br-int����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Interface����������� ������������������  br-int����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  type:����������� ������������������  internal����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Port����������� ������������������  "qvo1499be37-52"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  tag:����������� ������������������  1����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Interface����������� ������������������  "qvo1499be37-52"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Port����������� ������������������  "int-br-eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Interface����������� ������������������  "int-br-eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ovs_version:����������� ������������������  “1.10.2"����������� ������������������  !#����������� ������������������  brctl����������� ������������������  show����������� ������������������  bridge����������� ������������������  name����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  bridge����������� ������������������  id����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  interfaces����������� ������������������  qbr1499be37-52����������� ������������������  ����������� ������������������  8000.9ad7852427ca����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  qvb1499be37-52����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  tap1499be37-52

LibvirtGenericVIFDriver����������� ������������������  !!#����������� ������������������  ovs-vsctl����������� ������������������  show����������� ������������������  9abc2848-ccfe-4cce-9065-fe12606feea9����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Bridge����������� ������������������  "br-eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Port����������� ������������������  "eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Interface����������� ������������������  "eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Port����������� ������������������  "br-eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Interface����������� ������������������  "br-eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  type:����������� ������������������  internal����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Port����������� ������������������  "phy-br-eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Interface����������� ������������������  "phy-br-eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Bridge����������� ������������������  br-int����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Port����������� ������������������  br-int����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Interface����������� ������������������  br-int����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  type:����������� ������������������  internal����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Port����������� ������������������  "tap1499be37-52"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  tag:����������� ������������������  1����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Interface����������� ������������������  "tap1499be37-52"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Port����������� ������������������  "int-br-eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  Interface����������� ������������������  "int-br-eth1"����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ovs_version:����������� ������������������  “1.10.2"����������� ������������������  

OpenVSwitch는����������� ������������������  iptables����������� ������������������  rule이����������� ������������������  적용되지����������� ������������������  않는다.����������� ������������������  

!

folsom에서����������� ������������������  수정한다고����������� ������������������  홈페이지에����������� ������������������  나와있음!

Security����������� ������������������  Group이����������� ������������������  동작하지����������� ������������������  않는다.����������� ������������������  !

https://blueprints.launchpad.net/neutron/+spec/ovs-firewall-

driver����������� ������������������  !

ongoing����������� ������������������  milestone

Per-Tenant����������� ������������������  Routers����������� ������������������  with����������� ������������������  Private����������� ������������������  Networks����������� ������������������  네트워크����������� ������������������  모델이

라면?

이슈:����������� ������������������  neutron-server����������� ������������������  성능

rabbitmq����������� ������������������  rpc����������� ������������������  사용이����������� ������������������  많아졌다.����������� ������������������  !

single����������� ������������������  process,����������� ������������������  20����������� ������������������  Req/Sec����������� ������������������  !

nova,����������� ������������������  quantum-xxx-agent

grizzly는����������� ������������������  multi����������� ������������������  process����������� ������������������  patch가����������� ������������������  있다.(not����������� ������������������  merged)����������� ������������������  

!

https://blueprints.launchpad.net/neutron/+spec/multi-workers-for-

api-server����������� ������������������  !

merged����������� ������������������  icehouse-b2,����������� ������������������  backported����������� ������������������  2013.2.1

하지만,����������� ������������������  

rpc����������� ������������������  call은����������� ������������������  single����������� ������������������  process…⋯

RabbitMQ����������� ������������������  subscribe를����������� ������������������  fork����������� ������������������  전에…⋯

compute����������� ������������������  노드가����������� ������������������  약����������� ������������������  60개����������� ������������������  이상����������� ������������������  넘어가면…⋯����������� ������������������  

!

RPC����������� ������������������  Call����������� ������������������  Timeout����������� ������������������  발생

https://blueprints.launchpad.net/

neutron/+spec/multiple-rpc-workers����������� ������������������  

!

또는����������� ������������������  간단한����������� ������������������  삽질로…⋯����������� ������������������  RabbitMQ����������� ������������������  subscribe를����������� ������������������  fork����������� ������������������  이후에...

그래서����������� ������������������  업그레이드를����������� ������������������  했을까요?

Thanks~����������� ������������������  *^^*