openqrm4.9 Quick Start Guide

ハイブリッド・クラウド管理基盤

openQRMV4.9

クイックスタートガイド

Rev. 1.0

2012/2/10

http://www.ossl.co.jp

http://creativecommons.org/licenses/by/2.1/jp/ OSS Laboratories Inc.

2012/2/10 openQRM V4.9 Quick Start Guide 2

目次

1. OPENQRMV4.9 システム要件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.2 システム構成例 .......................................................................................................................5

2. OPENQRMV4.9 インストール手順 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.1 インストール環境 ............................................................................................................................6 2.2 事前準備 .......................................................................................................................................6 2.3 OPENQRM インストール .................................................................................................................8 2.4 ZABBIXのインストール ..................................................................................................................11

2.4.1 Zabbix V.1.8.7へのアップグレード ........................................................................................12 2.4.2 Zabbixグラフの文字化け対策 ...............................................................................................13

2.5 インストール後の OPENQRM設定................................................................................................14 2.6 LOCAL-SERVERプラグイン使用方法 .............................................................................................14 2.7 VMWAREESXプラグイン使用方法 ...............................................................................................15 2.8 IMAGE-SHELFの作成 ..................................................................................................................17 2.9 HYBRID-CLOUDプラグイン使用方法.............................................................................................18 2.10 OPENQRM環境のバックアップ ...................................................................................................20

2.10.1 openQRMのユーティリティ ..................................................................................................20 2.10.2 マニュアルでのバックアップ..................................................................................................21

3. プラグイン一覧 (V4.9) .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21



1. openQRM V4.9 システム要件

(1) 物理 HW

openQRMが動作するサーバに、必要なプロセッサ／メモリ／ディスク

• Intel/AMD x86 2core、１.8Ghz~

• メモリ 1GB~

• ２０GB以上のフリーディスクスペース

• PXEブート対応の NIC

(2) OS

openQRMが動作するサーバの、オペレーティングシステムとバージョン

• Ubuntu / Debian Lucid以降（推奨）

• CentOS / Redhat EL 5.5以降

CentOS にインストールする場合は、予め EPELレポジトリを追加し、SELinux と iptablesを無効化しておく。

https://fedoraproject.org/wiki/EPEL/FAQ/ja

(3) ミドルウェア

openQRMが動作するサーバの、サポートされるソフトウェアとバージョン

• Apache 2.2以降

• MySQL 5.1以降

• PHP 5.3以降

• 他、プラグインによって多数あるが、インストール時に自動的に選択される

(4) ネットワーク

openQRMが動作するのに、必要なネットワーク環境

• 管理／ストレージ用と公開用の別々の１Gbpsネットワークを推奨

• 被管理サーバの管理／ストレージ用ネットワークは、ネットワークブート／PXE 有効設定が必要（但し、openQRM

側でローカルディスクブート、及び固定 IPアドレス割当は可能）※VMware/Xenホストは不要

• 被管理サーバは、dhcp/PXEブートするために管理サーバと同一の arpブロードキャストドメインである事

• 被管理サーバは、PXEブート有効 NICで管理ネットワークに接続する事※VMware/Xenホストは不要

• 管理ネットワークに接続するインターフェースは、全てのサーバで eth0に統一する事を推奨。異なるインターフェー

ス名が混在すると、都度設定変更が必要になり管理負荷が大きくなるため。

• NTPが稼働している事（推奨）

• openQRMサーバ及び被管理サーバは、以下のポートが通信できる事

• http:80、https:443 （openQRMサーバのみ）

• dhcp/tftp:69

• ssh:22



• DropBear ssh:1667

• vnc:5900~

• rsync:873

• 必要に応じて、nfs/iscsi/AoE, icmp/snmp等

(5) ストレージ

openQRMが、管理できるブートアップ・ストレージ

• 各サーバのローカルストレージ

• LVM2

• NFS4

• iSCSI2

• AoE

• Dell Equallogic

• NetApp Filer

• Solaris/OpenSolaris ZFS

• GlusterFS

(6) サポート環境

openQRMが、管理できる環境

• 物理サーバ（Intel/AMD x86アーキテクチャ）

• VMware ESXi 4.1以降

• Citrix XEN server V5.6SP2以降

• Xen V3.2以降

• KVM kvm-62以降

• OpenVZ

• Lxc

• VirtualBox

(7) サポート OS

OpenQRMが、管理できるOS

• Ubuntu

• Debian

• CentOS / Redhat EL

• Fedora

• SUSE/OpenSuse

• Windows XP / 2000 server以降

仮想化ホスト上で稼働するゲスト OSは、各仮想化環境がサポートしているもの



1.1.2 システム構成例

(1) 最低構成（検証／開発用）

１台の物理サーバ上で、openQRM、ストレージサーバ、仮想化環境を稼働

• Intel/AMD x86_64 2core VTサポートプロセッサ、１.8Ghz~

• メモリ 1GB~


• サーバイメージ保管用の別パーティション２０GB以上

• Ubuntu 10.04LTS（推奨）又は CentOS/Redhat EL 5.5以上

• LVM2, Xen又は KVM

(2) 基本構成

３台以上の物理サーバ（openQRMサーバ、ストレージサーバ、被管理サーバ）

• 要件は、最低構成と同様

(3) 本番 HA 構成

４台以上の物理サーバ（openQRMサーバx2、ストレージサーバ、被管理サーバ）

管理／ストレージ用ネットワークと公開用ネットワークの分離

• 要件は、最低基本構成と同様



2. openQRMV4.9 インストール手順

2.1 インストール環境１台の物理サーバ上で、openQRM、ストレージサーバ、仮想化環境を稼働させる

• Intel/AMD x86_64 2core VTサポートプロセッサ、１.8Ghz以上

• メモリ 1GB以上


• サーバイメージ保管用の別パーティション２０GB以上

• Ubuntu 10.04LTS server版

• LVM2, KVM

2.2 事前準備 Ubntu 10.04LTS server版をインストール、

インストールオプションは作業用にOpenSSHと仮想化環境(KVM)をインストール、LAMP(Apache, MySQL, PHP等)は後

でopenQRMと同時にインストールされるのではずしておく。

パーティションは、ルートパーティションとは別にサーバイメージ保管用の別パーティション２０GB以上を設定、空のままに

しておく。

ホスト名は、openQRM、rootパスワードはopenqrmと設定

OSインストール後、まずサーバイメージ保管用ストレージのLVM設定を実施する。 openQRM@openQRM:̃# sudo su - root root@openQRM:̃# fdisk /dev/sda このディスクのシリンダ数は 19457 に設定されています。間違いではないのですが、1024 を超えているため、以下の場合に問題を生じうる事を確認しましょう: 1) ブート時に実行するソフトウェア (例. バージョンが古い LILO) 2) 別の OS のブートやパーティション作成ソフト (例. DOS FDISK, OS/2 FDISK) コマンド (m でヘルプ): n コマンドアクション e 拡張 p 基本領域 (1-4) p 領域番号 (1-4): 3 最初シリンダ (2564-19457, default 2564): Using default value 2564 終点シリンダまたは +サイズまたは +サイズM または +サイズK (2564-19457, default 19457): Using default value 19457 コマンド (m でヘルプ): t 領域番号 (1-4): 3 16進数コード (L コマンドでコードリスト表示): 8e 領域のシステムタイプを 3 から 8e (Linux LVM) に変更しましたコマンド (m でヘルプ): p Disk /dev/sda: 160.0 GB, 160041885696 bytes 255 heads, 63 sectors/track, 19457 cylinders Units = シリンダ数 of 16065 * 512 = 8225280 bytes デバイス Boot Start End Blocks Id System /dev/sda1 * 1 13 104391 83 Linux /dev/sda2 14 2563 20482875 8e Linux LVM /dev/sda3 2564 19457 135701055 8e Linux LVM コマンド (m でヘルプ): w 領域テーブルは交換されました！ ioctl() を呼び出して領域テーブルを再読込みします。警告: 領域テーブルの再読込みがエラー 16 で失敗しました: デバイスもしくはリソースがビジー状態です。カーネルはまだ古いテーブルを使っています。新しいテーブルは次回リブート時に使えるようになるでしょう。ディスクを同期させます。



reboot後、物理ボリュームを作成 root@openQRM:̃# pvcreate /dev/sda3 Physical volume "/dev/sda3" successfully created root@openQRM:̃# pvdisplay -C PV VG Fmt Attr PSize PFree /dev/sda2 VolGroup00 lvm2 a- 19.53G 0 /dev/sda3 lvm2 a- 129.41G 129.41G root@openQRM:̃# pvdisplay /dev/sda3 "/dev/sda3" is a new physical volume of "129.41 GB" --- NEW Physical volume --- PV Name /dev/sda3 VG Name PV Size 129.41 GB Allocatable NO PE Size (KByte) 0 Total PE 0 Free PE 0 Allocated PE 0 PV UUID wb7c6q-G9jK-kD8S-wkDh-xncE-Sew6-JYr6xt

次にボリュームグループを作成、論理ボリュームはopenQRMが自動的に作成管理するため作成しないでおく

root@openQRM:̃# vgcreate VolGroup01 /dev/sda3 Volume group "VolGroup01" successfully created root@openQRM:̃# vgdisplay --- Volume group --- VG Name VolGroup01 System ID Format lvm2 Metadata Areas 1 Metadata Sequence No 1 VG Access read/write VG Status resizable MAX LV 0 Cur LV 0 Open LV 0 Max PV 0 Cur PV 1 Act PV 1 VG Size 129.41 GB PE Size 4.00 MB Total PE 33130 Alloc PE / Size 0 / 0 Free PE / Size 33130 / 129.41 GB VG UUID rRsuui-LVS7-5g0e-sQuk-ln7x-RSfJ-3Q0iy7 --- Volume group --- VG Name VolGroup00 System ID Format lvm2 Metadata Areas 1 Metadata Sequence No 3 VG Access read/write VG Status resizable MAX LV 0 Cur LV 2 Open LV 2 Max PV 0 Cur PV 1 Act PV 1 VG Size 19.53 GB PE Size 32.00 MB Total PE 625 Alloc PE / Size 625 / 19.53 GB Free PE / Size 0 / 0 VG UUID XrYxU1-5xC8-TKws-7eeY-2OyE-zX7N-rM6EhD



次は、仮想ネットワークを設定 openQRM@openQRM:̃# sudo su - root root@openQRM:̃# apt-get install bridge-utils

/etc/network/interfacesを編集し、仮想ブリッジを設定 openQRM@openQRM:̃# vi /etc/network/interfaces auto lo iface lo inet loopback auto br0 iface br0 inet static address 192.168.0.2 netmask 255.255.255.0 gateway 192.168.0.1 bridge_ports eth0 bridge_fd 0 bridge_hello 2 bridge_maxage 12 bridge_stp off

hostsファイルにも下記の行を追加 root@openQRM:̃# vi /etc/hosts 192.168.0.2 openQRM

NAT用に『virbr0』というブリッジが勝手に作成されているので、これを無効にする。 root@openQRM:̃# virsh net-autostart default --disable root@openQRM:̃# virsh net-destroy default root@openQRM:̃# brctl show

virbr0が表示されなくなければ完了、networkを再起動 root@openQRM:̃# /etc/init.d/networking restart

最後にapt-get updateを実行してリポジトリ情報を更新してから、openQRMに必要なソフトとストレージサーバに必要なnfsと

iSCSIをインストール root@openQRM:̃# apt-get update root@openQRM:̃# apt-get -y install subversion make nfs-common nfs-kernel-server open-iscsi-utils iscsitarget

iSCSIターゲットの設定ファイル/etc/default/iscsitarget を編集し、ISCSITARGET_ENABLE=falseをtrueに変更してiSCSI

を開始 root@openQRM:̃# vi /etc/default/iscsitarget root@openQRM:̃# /etc/init.d/iscsitarget start

nfs-kernel-serverが動いている事を確認 root@openQRM:̃# service nfs-kernel-server status nfsd running

2.3 openQRM インストールインストール時に大量にコンソール出力されるので、後で確認のため記録しておく root@openQRM:̃# sudo su - root root@openQRM:̃# script installopenQRM.log

ソースコードをチェックアウトしてから、インストール開始 root@openQRM:̃# svn co https://openQRM.svn.sourceforge.net/svnroot/openQRM openQRM root@openQRM:̃# cd openQRM/trunk/src/ [root@openQRM ] openQRM/trunk/src/# make && make install && make start

インストール途中でいくつか入力が要求されるので、入力する。



最初にphpパスについて確認されるので、そのままOK。次にMySQLのパスワードを入力する。

次にメールサーバ(Postfix)の設定を聞かれるので、該当する物を選択して設定

最後にNagiosのパスワードを設定する



インストールが完了したらscriptを停止し、コンソールログにfailureやerrorがないか確認する。 root@openQRM:̃ openQRM/trunk/src/# exit root@openQRM:̃ openQRM/trunk/src/# cd root@openQRM:̃# cat installopenQRM.log ¦ grep failure

ダウンロード等が失敗していれば該当ソフトウェアを自分でopenQRM/trunk/buildtmp/にダウンロードし、make reinstallを

実行する。

問題なければ自動的にopenQRMが起動されている

ので、ブラウザから

http://{openQRMサーバのIPアドレス}/openQRM

を開くとユーザ／パスワードを聞かれるので、

openqrm/openqrmでログイン、最初の設定画面が表

示される。

使用可能なNICが表示されるので、管理用ネットワー

クに使用するインターフェース（通常eth0）を選択し、

nextをクリック

次にデータベース選択画面が表示されるので、そのままMySQLを選択、次にデータベース名、MySQLのユーザ／パス

ワードを設定。



MySQLの設定が完了すると、自動的に最初のダッシュボード画面が表示される。

2.4 Zabbixのインストール今回はZabbixのデータベースをopenQRMのMySQLと同居させるために、OpenQRMインストール後にZabbixをインストー

ルする。openQRMとMySQLを停止してからZabbixをインストールする。 openQRM@openQRM:̃# sudo su - root root@openQRM:̃# /etc/init.d/openQRM stop root@openQRM:̃# /etc/init.d/mysql stop

Zabbixのユーザを作成 root@openQRM:̃# adduser zabbix enter in new password confirm

必要なソフトをインストール root@openQRM:̃# apt-get install build-essential mysql-server libmysqlclient15-dev php5 php5-gd php5-mysql snmp libsnmp-dev snmpd libcurl4-openssl-dev fping root@openQRM:̃# apt-get install zabbix-server-mysql root@openQRM:̃# apt-get install zabbix-agent

MySQLは既に入っているので、手動構成を選び、あとでデータベースを作成する。

次にMySQLの設定を追加、/etc/my.cnfに下記行を追加 root@openQRM:̃# vi /etc/mysql/my.cnf default-character-set=utf8 skip-character-set-client-handshake innodb_file_per_table innodb_buffer_pool_size=64M innodb_log_file_size=16M innodb_log_files_in_group=2



MySQLを起動し、zabbix用データベースを作成する。 root@openQRM:̃# /etc/init.d/mysql start root@openQRM:̃# mysql -u root -p mysql> create database zabbix; mysql> grant all privileges on zabbix.* to zabbix@localhost identified by 'zabbixpassword'; mysql> flush privileges; mysql> exit root@openQRM:̃# mysql -u zabbix -p zabbix < /usr/share/zabbix-server/mysql.sql Enter password: zabbixpassword root@openQRM:̃# mysql -u zabbix -p zabbix < /usr/share/zabbix-server/data.sql Enter password: zabbixpassword

Zabbixの設定ファイルを修正。 root@openQRM:̃# vi /etc/zabbix/zabbix_server.conf ### Option: DBName DBName=zabbix ### Option: DBUser DBUser=zabbix ### Option: DBPassword DBPassword=zabbixpassword

Zabbixの起動を確認する root@openQRM:̃# /etc/init.d/zabbix-server start root@openQRM:̃# /etc/init.d/zabbix-server status Zabbix server is running root@openQRM:̃# /etc/init.d/zabbix-agent start root@openQRM:̃# /etc/init.d/zabbix-agent status Zabbix agent is running

Zabbixのwebインターフェースをインストールし、WEBインストーラを開始するために構成ファイルを削除 root@openQRM:̃# apt-get install zabbix-frontend-php root@openQRM:̃# rm /usr/share/zabbix/conf/zabbix.conf.php

ブラウザから、http://{OpenQRMサーバのIPアドレス}/zabbix/ にadmin/zabbixでログイン

Web Installerのinstall checkでいろいろfailするので、日本語設定含めて下記を編集 root@openQRM:̃# vi /etc/php5/apache2/php.ini

2.4.1 Zabbix V.1.8.7へのアップグレード

Ubuntu10.04でインストールされるZabbixはV.1.8.1になるので、再度V.1.8.7をアップグレードインストールする

（最初からいきなりV.1.8.7をインストールすると、openQRMやApacheとの設定が上手く行かなかった）

[参考リンク]

http://www.sysadminworld.com/2011/installing-zabbix-1-8-5-on-ubuntu-lucid-10-04/

http://www.zabbix.com/documentation/1.8/manual/installation/installation_from_source

http://www.zabbix.com/documentation/1.8/manual/about/installation_and_upgrade

zabbixを停止 root@openQRM:̃# /etc/init.d/zabbix-server stop root@openQRM:̃# /etc/init.d/zabbix-agent stop

必要なソフトをインストール root@openQRM:̃# apt-get build-dep zabbix-server-mysql root@openQRM:̃# wget http://prdownloads.sourceforge.net/zabbix/zabbix-1.8.7.tar.gz root@openQRM:̃# tar -zxf zabbix-1.8.7.tar.dz root@openQRM:̃# cd zabbix-1.8.7 root@openQRM:̃/zabbix-1.8.7# ./configure --prefix=/usr --with-mysql --with-net-snmp --with-openipmi --with-jabber --with-libcurl --enable-server --enable-agent root@openQRM:̃/zabbix-1.8.7# make



MySQLのデータベースをアップデートするために、一旦データベースをドロップ root@openQRM:̃/zabbix-1.8.7# cd root@openQRM:̃# mysql -u root -p mysql> drop database zabbix;

再度データベース作成 mysql> create database zabbix; mysql> grant all privileges on zabbix.* to zabbix@localhost identified by 'zabbixpassword'; mysql> flush privileges; mysql> exit root@openQRM:̃# cd zabbix-1.8.7 root@openQRM:̃/zabbix-1.8.7# mysql -u zabbix -p zabbix < create/schema/mysql.sql Enter password: zabbixpassword root@openQRM:̃/zabbix-1.8.7# mysql -u zabbix -p zabbix < create/data/data.sql root@openQRM:̃/zabbix-1.8.7# mysql -u zabbix -p zabbix < create/data/images_mysql.sql

ここで root@openQRM:̃/zabbix-1.8.7# make install

frontendをコピー root@openQRM:̃/zabbix-1.8.7# cd /root/zabbix-1.8.7/frontends/php/ root@openQRM:̃/zabbix-1.8.7/frontends/php/# cp -a . /usr/share/zabbix root@openQRM:̃/zabbix-1.8.7/frontends/php/# cd root@openQRM:̃# service apache2 restart root@openQRM:̃# service zabbix-agent start

ここから再度WEBインストーラから設定し直し root@openQRM:̃# rm /usr/share/zabbix/conf/zabbix.conf.php

2.4.2 Zabbixグラフの文字化け対策

[参考リンク]

http://risin.jp/archives/240

まず、ipaフォントをインストール root@openQRM:̃# apt-get install otf-ipafont

次にZabbixのフォントディレクトリにシンボリックリンクを設定 root@openQRM:̃# cd /usr/share/zabbix/fonts/ root@openQRM:̃/usr/share/zabbix/fonts/# ln -s /usr/share/fonts/opentype/ipafont/ipag.ttf ipag.ttf root@openQRM:̃/usr/share/zabbix/fonts/# ll total 8 drwxr-xr-x 2 root root 4096 2011-02-27 11:50 ./ drwxr-xr-x 10 root root 4096 2011-02-09 17:10 ../ lrwxrwxrwx 1 root root 46 2011-02-09 17:10 DejaVuSans.ttf -> ../../fonts/truetype/ttf-dejavu/DejaVuSans.ttf lrwxrwxrwx 1 root root 42 2011-02-27 11:50 ipag.ttf -> /usr/share/fonts/opentype/ipafont/ipag.ttf

ipag.ttfを読み込むよう、Zabbix設定ファイルを修正 root@openQRM:̃/usr/share/zabbix/fonts/# cd /usr/share/zabbix root@openQRM:̃/usr/share/zabbix # vi include/defines.inc.php

下記に修正 // define('ZBX_GRAPH_FONT_NAME', 'DejaVuSans'); // font file name define('ZBX_GRAPH_FONT_NAME', 'ipag'); // font file name

zabbixを再起動する root@openQRM:̃/usr/share/zabbix # cd root@openQRM:̃# /etc/init.d/zabbix-server start root@openQRM:̃# /etc/init.d/zabbix-agent start



2.5 インストール後の openQRM設定１．プラグインマネージャから下記プラグインをenable/start

dhcpd, tftpd, とストレージのいずれかは必須

今回はImage-shelf, kvm, lvm-storage, iscsi-storage, cloud, hybrid-cloud, VMwareESX, Local-server, Local-storage,

zabbix, novnc, sshterm, dnsを使用

２．ストレージを作成

画面左側のメニューパネルから、[+]Base > Create > New Storage Deployment:“Lvm Storage Server (NFS)”を選択し。

Resource Listから使用するリソースとして、”openQRM Server “を選択、New Storage画面でストレージの名前を入力し、

save

３．Storage Listから先ほど作成したストレージのボタンをクリックし、予め作成しておいたVolumeGroup01を選択

４．Logical Volumeの名前容量を入力しadd

５．Create > Imageでストレージを選択しイメージを作成、名前と入力し、root-deviceを選択

６．Plugins > Deployment > Image-Shelf > Import and select the “openQRM-enterprise” Image-Shelf.

Server-Templatesを選択しget

７．先ほど作成したイメージを選択するとダウンロードが始まるので、dfとlsでチェック

2.6 Local-serverプラグイン使用方法既存のサーバをopenQRM管理化するために使用する。管理ネットワークに接続する既存サーバのNICはPXEブート有効

である事が必要。

既存のサーバを管理ネットワークに接続し起動後、openQRMサーバのrootユーザから下記コマンドを実行 root@openQRM:̃# scp /usr/share/openQRM/plugins/local-server/bin/openQRM-local-server [既存のサーバのIPアドレス]:/tmp/ root@openQRM:̃# ssh [既存のサーバのIPアドレス] /tmp/openQRM-local-server integrate -u openQRM -p openQRM -q [OpenQRMサーバのIPアドレス] -i [管理ネットワークNICデバイス名 eg.eth0] [-s http/https]

自動的にopenQRMクライアントと必要なソフトウェアがインストールされるので、完了後既存サーバを再起動し、BIOS設

定をネットワーク起動(PXE boot)に変更、起動後openQRMコンソールのアプライアンス、カーネル、イメージ、ストレージ、

リソースが追加されているか確認する。CentOSにインストールする場合は標準のレポジトリだけではインストールできない

モジュールがあるため、予めEPELレポジトリを追加しておく。（https://fedoraproject.org/wiki/EPEL/FAQ/ja）

※openQRM管理下のサーバにインストールされているopenQRMクライアントは、クライアント起動時のみopenQRMサ

ーバのプラグイン情報を取得しにいくため、クライアント起動後openQRMサーバのプラグインが追加／削除された場合、

プラグイン情報を更新するためにopenQRMクライアントの再起動（# service openqrm-client stop/start）が必要な場合が

ある。

openQRM管理下から削除する場合は、下記コマンドを実行する root@openQRM:̃# ssh [既存のサーバのIPアドレス] /tmp/openQRM-local-server remove -u openQRM -p openQRM -q [OpenQRMサーバのIPアドレス] [-s http/https]

コマンド及び解説は、openQRMコンソール左側メニューパネルの[+]Plugins > Misc > Local-server > Aboutに記載されて

いるので確認できる。



※ openqrm-local-vm-clientは、kvm-storage/openvz-storage/lxc-storageプラグインから新規インストールしたVMを

openQRM管理化するために使用するクライアントなので、今回は使用しない。

2.7 VMwareESXプラグイン使用方法 (1) 必要条件

・ vSphere ESXi V.4.1/5.0のライセンス（無償版ライセンスではAPIが使用できないため、トライアルか有償版ライセンスが

必要）

・ ESXiホストは固定アドレス設定が必要、ネットワーク／PXEブートのBIOS設定は不要

・ openQRMサーバに、VMware-vSphere-Perl-SDKのインストール

(2) 使用方法

① VMware-vSphere-Perl-SDKのインストール

まず使用する前に、openQRMサーバに使用環境に対応したVMware-vSphere-Perl-SDKをインストールする。

バージョンは、管理するESXiホストにあわせるが、複数のバージョンが混在する場合は原則最新のものを使用する。

【参考リンク】

http://www.vmware.com/support/developer/viperltoolkit/

http://pubs.vmware.com/vsphere-50/index.jsp?topic=/com.vmware.perlsdk.uaref.doc_50/perl-toolkit-right.html

インストレーションガイド：

http://pubs.vmware.com/vsphere-50/topic/com.vmware.ICbase/PDF/vsphere-esxi-vcenter-server-50-sdk-for-perl-installatio

n-guide.pdf

まずVMwareのダウンロードサイトから、vSphere SDK for Perl Installer をダウンロードし適当な場所に保存し、解凍する。

下記は、x86_64環境でのUbuntu10.04LTS上での例になる。 # tar -zxvf VMware-vSphere-Perl-SDK-5.0.0-422456.x86_64.tar.gz # ls VMware-vSphere-Perl-SDK-5.0.0-422456.x86_64.tar.gz vmware-vsphere-cli-distrib openqrm-enterprise # cd vmware-vsphere-cli-distrib/ # ls FILES Makefile.PL apps bin doc etc installer lib man resources vmware-install.pl

次にインストレーションガイド通りに、必要なパッケージをインストールする。 # sudo su - root # apt-get update # apt-get install ia32-libs build-essential gcc uuid uuid-dev perl libssl-dev perl-doc liburi-perl libxml-libxml-perl libcrypt-ssleay-perl

全てインストールされたら、インストールスクリプトを実行する。 # vmware-vsphere-cli-distrib/vmware-install.pl

ライセンスを表示して、yesと入力

proxyがない環境で、proxyがセットされてないと警告された場合は、 # export http_proxy=http://127.0.0.1:0000 # export ftp_proxy=http://127.0.0.1:0000

上記を実行し、再度インストールスクリプトを実行する。

This installer has successfully installed both vSphere CLI and the vSphere SDK for Perl.

と表示されれば、インストールが完了。



② ESXiホストの登録

次にPluginマネージャから、VMware ESXをenable、startし、

[+] Plugins > Virtualization > VMware ESX > Discoveryでrescanをクリック

openQRMのサブネット（Cクラス）をスキャン（nmap + wget）するので十数分かかる場合もある

openQRMサーバ上で、# tail -f /var/log/syslog|grep vmware

で見ると進行状況を確認できる。

discoverされたら、一度AboutをクリックしてからDiscoveryに戻ると発見されたホストが表示されるので、addをクリック

ホスト名、パスワードを入力してsubmitをクリック。

ホスト名は、ESXiホストに設定されたホスト名を設定するが、ESXiホストでドメイン名まで設定されている場合は、ドメイン

を含めたFQDN名で設定する。

[+] Plugins > Virtualization > VMware ESX > ESX Managerから、登録したホストを選択

③ VM Managerから仮想ゲストの管理

VM Managerで仮想ゲストを作成する。

Add new VMをクリックし、VM名とVNC Passwordを入力する。VNC Passwordはデフォルトでは”vnc-password”となってい

るので適当に変更する。DataStoreは、swapに使用するストレージなのでVMwareのデフォルトDataStoreにしておく。後は

適当な値に設定していけばいいが、Boot SequenceはNetwork-Bootを選択し、submitをクリックすると自動的にVMが起動

される。（Local-bootはまだ未実装）

これでVMは作成されたが、初期initrdで起動されたアイドル状態のままなので、システムを稼働させるためには、LVM

StorageやiSCSI/NFS Storage上に空のボリュームを作成し、そのボリュームでImageを作成、必要なrootファイルシステムを

Image-shelfプラグインなどからdeployし、作成したImageとVMを使用してApplianceを作成する。

VM Managerからは、各VMの起動(vm_start)、停止(vm_stop)、削除(vm_remove)、VMの構成変更(Update)、コンソール

へのnoVNCでのログイン(Cosole) が実行できる。VMの構成変更をsubmitすると、VMの再作成が実行される。

④ Datastore Manager

Datastore Managerは、ESXiホストに登録されているDatastoreが自動的に設定されており、また自分で任意のiSCSI/NFS

ストレージを追加できるが、openQRMから作成するVMではswap領域にしか使用しない。（openQRM V4.9では、VMware

でのローカルデプロイメントは未サポート）従ってrootファイルは、openQRMのストレージマネージャで管理する

LVM.iSCSI等の共有ストレージを使用する。（ネットワークデプロイメント）

⑤ vSwitch Manager

vSwitch Managerは、ESXiホストに登録されているvSwitchが自動的に設定されている。vSwitchの新規作成、削除が実

行でき、ポートグループの指定が出来る。



2.8 Image-shelfの作成 Image-shelfプラグインを使用すると、サーバテンプレートを使用してOSインストール作業を行う事無くシステムが構築でき

る。OpenQRMでは初期設定でOpenQRM Enterpriseが提供しているものとコミュニティが提供している物が登録されてい

るが、ここでは自分で作成してみる。

最初にImage-Shelfの格納場所を作成する。

Image-shelfは任意のストレージ上に作成す

る事ができ、アクセス方法はローカルディス

ク、http/https, ftp, nfsが選択できるが、ここで

は簡単にOpenQRMで使用している

LVM-NFSストレージを使用し

て、”myImages”という名称でと20GBのボリュ

ームを作成した。

次にImage-shelfプラグインからCreateを選択

し、プロトコルはnfsを選択する。

次に名称と作成したボリュームのフルパスを

入力してsaveする。

これでイメージの容れ物が作成できたので、

次は登録するイメージを作成する。

まず、作成したImage-shelfがあるサーバにログインし、Image-shelfのディレクトリに移動する。次に作業用のディレクトリを

作成し、そこにテンプレート化するサーバのルートファイルシステムをrsyncでコピーする。但し、/procと/sysディレクトリは除

外する。 # mkdir [Image-shelfのディレクトリパス]/myserver # cd [Image-shelfのディレクトリパス]/myserver # rsync -avz -e ssh [テンプレート化するサーバのip]:/ --exclude=/proc --exclude=/sys .

rsyncが完了したら、空の/procと/sysディレクトリを作成し、tarでテンプレートファイルを作成、作業用ディレクトリは削除して

おく。 # mkdir proc sys # tar -cvzf ../myserver.tar.gz * # cd ..



# rm –r /myserver

最後に、OpenQRMのImage-shelfプラグインが認識できるように、設定ファイルimage-shelf.confを下記要領で作成する。 # vi image-shelf.conf

内容は下記の例のように記述し保存する。 ## テンプレートファイル名｜ディストリビューション名｜バージョン｜アプリケーション名｜ファイル容量｜パスワード｜作成者名 ## myserver.tar.gz¦CentOS-x86_64¦5.6¦Standard-ja¦1.2GB¦openQRM¦OSSL ubuntu11_desktop_64.tar.gz¦Ubuntu-x86_64¦11.04¦Desktop-ja¦1.1GB¦openQRM¦OSSL

これでOpenQRMが認識できるようになったので、Image-shelfプラグインのImportを選択し、作成したImage-shelfを選択す

ると、登録したテンプレートが表示される。

2.9 Hybrid-cloudプラグイン使用方法 Hybrid-cloudプラグインを使用すると、Amazon EC2やEucalyptusとサーバイメージのimport/exportが可能になる。

ここでは、Amazon EC2を使用するための設定方法を記述する。

Hybrid-cloudプラグインは、Amazon から提供されているソフトウェアをインストールするため、まず必要なSUN JAVAと

ruby、curlをインストールする。（Open-jdkは動作未確認） # sudo su - root # apt-get install python-software-properties # add-apt-repository "deb http://archive.canonical.com/ lucid partner" # apt-get update # apt-get -y install sun-java6-jdk # java -version java version "1.6.0_26" Java(TM) SE Runtime Environment (build 1.6.0_26-b03) Java HotSpot(TM) 64-Bit Server VM (build 20.1-b02, mixed mode)

次に.profile に以下を追加 JAVA_HOME="/usr/lib/jvm/java-6-sun" PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/tools.jar export JAVA_HOME PATH CLASSPATH

ruby、curlをインストール # apt-get install ruby curl

Amazon から提供されているソフトウェアをインストールするディレクトリを作成 # mkdir -p aws .ec2

別途ec2-ami-tools.zipとec2-api-tools.zipを下記からダウンロードしておく



http://aws.amazon.com/developertools/351

http://aws.amazon.com/developertools/368 root@NEC:̃# cd aws root@NEC:̃/aws# mv /home/openQRM/ec2-ami-tools.zip . root@NEC:̃/aws# mv /home/openQRM/ec2-api-tools.zip . root@NEC:̃/aws# ls ec2-ami-tools.zip ec2-api-tools.zip root@NEC:̃/aws# unzip ec2-api-tools.zip root@NEC:̃/aws# unzip ec2-ami-tools.zip

予めAWSアカウント情報画面でAWS Account ID、AWS ACCESS key、X.509 Certificates

を確認、作成、.ec2ディレクトリにダウンロードしておく

awsのセキュリティグループにも全てのTCPポートを許可しておく root@NEC:̃/.ec2# ls awstokyo.pem cert-XXXXXXXXXXXXXXXXXXXXXXXXXXXX.pem ec2rc pk- XXXXXXXXXXXXXXXXXXXXXXXXXXXX.pem

構成ファイルを作成する root@NEC:̃# vi .ec2/ec2rc

内容は下記の通り # for java to work ok export JAVA_HOME=/usr/lib/jvm/java-6-sun # aws api tools export EC2_HOME=/root/aws/ec2-api-tools-1.4.4.2 # aws ami tools export EC2_AMITOOL_HOME=/root/aws/ec2-ami-tools-1.4.0.1 export EC2_PRIVATE_KEY=/root/.ec2/pk-XXXXXXXXXXXXXXXXXXXXXXXXXXXX.pem export EC2_CERT=/root/.ec2/cert-XXXXXXXXXXXXXXXXXXXXXXXXXXXX.pem # US-EAST export EC2_URL=https://ec2.us-east-1.amazonaws.com # TOKYO export EC2_URL=https://ec2.ap-northeast-1.amazonaws.com # keys export EC2_ACCESS_KEY='XXXXXXXXXXXXXXXXXXXXXXXXXXXX' export EC2_SECRET_KEY=' XXXXXXXXXXXXXXXXXXXXXXXXXXXX' export PATH=$PATH:$JAVA_HOME/bin:$PATH:$EC2_HOME/bin:$EC2_AMITOOL_HOME/bin # aws user id for the cmdline tools export EC2_USER_ID="XXXX-XXXX-XXXX"

XXXの部分は作成したアカウントの物を使用

正常に使用できるか確認 # . .ec2/ec2rc # ec2-describe-regions REGION eu-west-1 ec2.eu-west-1.amazonaws.com REGION us-east-1 ec2.us-east-1.amazonaws.com REGION ap-northeast-1 ec2.ap-northeast-1.amazonaws.com REGION us-west-1 ec2.us-west-1.amazonaws.com REGION ap-southeast-1 ec2.ap-southeast-1.amazonaws.com

REGIONが正しく表示されたら、アカウント情報をOpenQRMのHybrid-cloudプラグインのAccout画面で登録すれば完了。



2.10 openQRM環境のバックアップ openQRM自身のバックアップは定期的に保存しておく。

openQRMでバックアップを取得するには、次の２つの方法がある。

2.10.1 openQRMのユーティリティ

openQRMは、バックアップ取得のためにユーティリティが用意されている。 root@openQRM:̃# cd /usr/share/openQRM/bin/

Helpコマンドで使用方法を確認する。 root@openQRM:/usr/share/openQRM/bin# ./openQRM help Usage: openQRM help - This help screen - Managing boot-images - openQRM kernel add -n <name> -v <version> -u <username> -p <password> [-l <location> -i <initramfs/ext2> -t <path-to-initrd-template-file>] openQRM kernel remove -n <name> -u <username> -p <password> - Managing server-states - openQRM state backup -n <name> openQRM state restore -n <name> openQRM state remove -n <name> openQRM state list - Managing server-configuration - openQRM init_config [restore] - Login to resources - openQRM login -i <resource-ip>

バックアップを取得する # ./openQRM state backup -n last_official

バックアップファイルは、/var/spool/openQRM-state/ ディレクトリに保存される。



今まで取得したバックアップを表示する。 # ./openQRM state list last_official-09-20-11_00.36.25

取得したバックアップからリストアする。 # openQRM state restore -n <listed name>

<listed name>には、.tgzはつけない。

2.10.2 マニュアルでのバックアップ

ユーティリティのバックアップと同じ事を、マニュアルでする事も可能である。

バックアップが必要なファイルは、MySQLの"openQRM"データベースのdumpと、 /user/share/openQRM ディレクトリ全

部をコピーすれば良い。

通常は前述したユーティリティをcronで定期的に実行する事を推奨する。

3. プラグイン一覧(V4.9)

openQRMの実体は、ユーザ管理とポータル、プラグインマネージャと呼ばれるプラグインの管理システムからなるが、実

際のクラウド管理機能は下記のプラグインで実装されている。また、プラグインのAPIは公開されており、ユーザ独自のカ

スタムプラグインを作成する事も可能である。

プラグインマネージャから下記プラグインをenable/startできる。dhcpd, tftpd, とストレージのいずれかは必須

表 1 openQRM プラグイン一覧

ネットワークデプロイメント・仮想化プラグイン

Citrix Citrix XEN server V5.6SP2以降の管理

XEN Xen V3.2以降の管理

KVM Kvm-62以降の管理

Virtualbox Virtualboxの管理

VMware ESX *1 VMware ESXi V.4.1以降の管理

ネットワークデプロイメント・ストレージプラグイン

Lvm-storage *1 Linux上のlvm2をNFS/iSCSI/AoE (ATA over Ethernet)経由でネットワークブートと

して利用

iSCSI-storage *1 既存のiSCSIターゲットシステムをネットワークブートとして利用

Nfs-storage *1 既存のNFSサーバをネットワークブートとして利用

Aoe-storage 既存のAoEサーバをネットワークブートとして利用

netapp-storage NetApp Filer ストレージをネットワークブートとして利用

equallogic-storage Dell Equallogicストレージをネットワークブートとして利用

Sanboot-storage gpxe (etherboot.org) を使用して Windows システムから SAN ストレージ (iSCSI or



AoE)をネットワークブートとして利用

Zfs-storage solx86プラグインと併用する事により、OpenSolaris/Solaris X86のzfsファイルシステ

ムをネットワークストレージとして利用

Coraid-storage *3 Coraid SR / VS AoEストレージをネットワークブートとして利用

ローカルデプロイメント・プラグイン

Local-storage *1 ローカルディスクをrootで使用し起動、起動ディスクのクローニング

OpenVZ-storage OpenVZとOpenVZが使用するローカルデプロイメント・ストレージの管理

Lxc-storage Linux container (lxc)とlxcが使用するローカルデプロイメント・ストレージの管理

Kvm-storage *1 KVMホストのローカルディスクをrootで使用し、ブート、GlusterFSサポート

Xen-storage *1 xenホストのローカルディスクをrootで使用し、ブート、GlusterFSサポート

Citrix-storage *2 Citrix Xen Serverホストのローカルディスクをrootで使用し、ブート、GlusterFSサポ

ート

tmpfs-storage Install-from nfs hookと使用すると、メモリ上でrootを展開しブート

クラウド管理プラグイン

Cloud セルフサービスポータルとポータルユーザの管理、自動プロビジョニング機能の提

供

CloudZones *2 *3 複数データセンタのOpenQRMサーバを一括管理

Hybrid-Cloud Amazone EC2, Ubuntu Enterprise Cloud, Eucalyptus とのイメージ(AMI)インポート

／エキスポート

Image-shelf サーバ・テンプレートの管理

Ecommerce Integration *3 Magento/Virtuemart の EC ストアでのクラウド販売連携

管理ツールプラグイン

Local Server *1 既存仮想／物理サーバの巻き取り、openQRM管理化

solx86 OpenSolaris/Solaris X86（物理サーバ）の管理

windows Windows XP/2000 server 以降の管理

Nagios3 Nagios3監視システムを設定、管理

Zabbix Zabbix監視システムを設定、管理

Icinga *2 Icinga監視システムを設定、管理

Collectd Collectd監視システムを設定、管理

SSHterm ブラウザから使用できる Java ベースの SSH ターミナル機能

noVNC ブラウザから使用できるHTML5/PythonベースのVNCクライアント機能

LDAP認証 *3 LDAPをユーザ認証に使用

構成ツールプラグイン

Puppet Puppetシステム管理ツールを設定、管理



LinuxCOE *1 LinuxCOEシステム管理ツールを設定、管理

Cobbler *2 Cobblerシステム管理ツールを設定、管理

FAI *2 FAIシステム管理ツールを設定、管理

OPSI *2 OPSIシステム管理ツールを設定、管理

idoit CMDB System *3 idoit CMDB 構成管理システムを使用

ネットワークプラグイン

Dhcp openQRMサーバ上でdhcp機能(ICS dhcp)を提供

dns openQRMサーバ上でdns機能(bind)を提供

tftp openQRMサーバ上でtftpd機能を提供

Wake On Lan openQRMサーバ上でWakeOnLAN機能を提供

IPMI管理 *3 openQRMサーバ上でIPMI管理機能を提供

IPプール管理 *3 openQRMサーバ上でIPプーリング機能を提供

NetBond *3 管理下のサーバにNICボンディング構成を提供

HAサポートプラグイン

High-Availability 管理アプライアンスの、自動フェイルオーバ機能

drbdmc 管理アプライアンスの DRBD-MC 機能の提供

*1 は、V4.9 で変更されたプラグイン

*2 は、V4.9 で新規追加されたプラグイン

*3 は、エンタープライズ版提供機能

*4 VMware ESX プラグインの書き換えに伴い、 vmware-server プラグイン、vmware-server2 プラグインは廃止

Technology

openqrm4.9 Quick Start Guide