17
InfoFrame Relational Store V2.2 構築ガイド for Amazon Web Services RS-0202-15-01-J

InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

InfoFrame Relational Store V2.2構築ガイド

for Amazon Web Services

RS-0202-15-01-J

Page 2: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

商標類

• Apache Hadoop、Hadoop、HDFS は、Apache Software Foundation の米国およびその他の

国における登録商標または商標です。

• Ethernet は、米国 XEROX の登録商標です。

• Intel、Intel64、Xeon および Itanium は、Intel Corporation の登録商標です。

• Linux は Linus Torvalds の日本およびその他の国における登録商標または商標です。

• Oracle および Java は Oracle Corporation およびその子会社、関連会社の米国およびその

他の国における登録商標です。

• Red Hat、Red Hat Enterprise Linux は、米国およびその他の国における Red Hat, Inc. の登録商標です。

• UNIX® は米国およびその他の国において The Open Group が独占的にライセンスする登

録商標です。

• Windows Server 2008 は、米国マイクロソフト社の米国ならびに他の国における登録商

標です。

• Amazon Web Services、"Powered by Amazon Web Services"ロゴ、AWS、Amazon EC2、EC2、Amazon Elastic Compute Cloud、Amazon Virtual Private Cloud、Amazon VPC は、

米国その他の諸国における、Amazon.com, Inc. またはその関連会社の商標です。

• その他記載されている会社名、商品名は各社の商標または登録商標です。

著作権日本電気株式会社の許可なく複製・改変などを行うことはできません。

本書の内容に関しては将来予告なしに変更することがあります。

i

Page 3: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

はじめに

対象読者と目的『InfoFrame Relational Store V2.2 構築ガイド for Amazon Web Services』は、Amazon Web

Services (以下、AWS)上で IRS のシステムを構築する管理者、およびユーザサポートを行う

システムエンジニア、保守員を対象にしています。

ここでご紹介する構成のサンプルや設定例は、あくまで参考情報としてご提供するものであ

り、動作保証をするものではありません。

関連マニュアル本書を使用するにあたり、関連するマニュアルとして次のものがあります。

RS-0202-01-01-J InfoFrame Relational Store ユーザーズガイド

RS-0202-12-01-J InfoFrame Relational Store インストレーションガイド

適用範囲本書は、下記のバージョンの IRS を対象としています。

• InfoFrame Relational Store V2.2

また、以下の AWS サービスを構築に利用します。

• Amazon Virtual Private Cloud (以下、VPC)

• Amazon Elastic Compute Cloud (以下、EC2)

• Amazon Elastic Block Store (以下、EBS)

ii

Page 4: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

目次第 1 章 機能概要........................................................................................................................... 1

1.1 機能概要 ..............................................................................................................................1

1.2 基本構成 ..............................................................................................................................1

第 2 章 動作環境........................................................................................................................... 4

2.1 動作環境 ..............................................................................................................................4

第 3 章 注意事項........................................................................................................................... 5

3.1 IP アドレスとホスト名 ......................................................................................................53.1.1 Private IP アドレスと Private Hostname ...................................................................53.1.2 Public Hostname .........................................................................................................5

第 4 章 設定手順........................................................................................................................... 6

4.1 VPC の設定..........................................................................................................................64.1.1 VPC の作成................................................................................................................64.1.2 サブネットの作成 .....................................................................................................64.1.3 DNS ホスト名の有効化 ............................................................................................64.1.4 セキュリティグループの設定 .................................................................................7

4.1.4.1 IRS サーバ間のグループ設定 ........................................................................84.1.4.2 管理コンソールの利用 ...................................................................................84.1.4.3 Hadoop 連携およびローダ機能(mapreduce モード)の利用 ..........................94.1.4.4 SQL 実行 ..........................................................................................................9

4.2 EC2 インスタンスの設定 ...................................................................................................94.2.1 EC2 インスタンスの作成 .........................................................................................94.2.2 ストレージの設定 ...................................................................................................10

4.2.2.1 ストレージの種類 .........................................................................................104.2.2.2 EBS のマウント ............................................................................................10

4.2.3 /etc/hosts の設定.......................................................................................................11

4.3 IRS のインストールと設定 ..............................................................................................12

iii

Page 5: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

第 1 章 機能概要

1.1 機能概要本書では、AWS 上に IRS 環境を構築するために必要な設定について説明します。IRS の構

築を開始する前に、本設定を済ませておく必要があります。

IRS 自体の構築手順は、『InfoFrame Relational Store インストレーションガイド』をご参照く

ださい。

また、IRS 環境の構築後に各種 IRS サーバの Amazon Machine Image (以下、AMI)を作成(バッ

クアップ)しておくことにより、以下のようなことが可能になります。

• EC2 インスタンスに障害が発生した場合に、上記 AMI を用いて別の EC2 インスタンス

を立ち上げることで、簡単に代替の IRS サーバを用意することができます。

• 上記 AMI を用いて新たに EC2 インスタンスを作成することで、構築の完了した IRSサーバを容易に追加することができます。また、この方法でスケールアウト時の IRSサーバ追加にかかる時間を短縮することもできます。

1.2 基本構成本書では、次のような構成のシステムを想定しています。

第 1 章 機能概要

1

Page 6: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

図 1-1 AWS 上での IRS 構築イメージ

リージョン (Region)

マシンの物理的に離れた設置場所

利用可能ゾーン (Availability Zone)

リージョンの中でもさらに物理的に離れた設置場所

セキュリティグループ (Security Group 1~4)

EC2 インスタンスに適用するファイアウォール設定

IRS はサーバを多重化する機構を備えており、IRS システム単独で信頼性を保証しています。

そのため、AWS 上にシステムを構築する場合も、その他の信頼性を保証する機能を導入す

る必要はありません。

EC2 は、EC2 インスタンスの作成時にマシンの物理的な設置場所であるリージョン/利用可

能ゾーンを指定します。IRS のサーバを稼働する EC2 インスタンスは、すべて同一の利用可

能ゾーン内に配置してください。

また、VPC 上で EC2 を利用することで、EC2 インスタンス同士の通信で使う Private IP アド

レスを固定することができます。VPC を設定していない場合、Private IP アドレスは再起動

のたびに変更されるので注意してください。

第 1 章 機能概要

2

Page 7: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

“Asia Pacific (Tokyo)”などのリージョンではデフォルト VPC が設定されているため、PrivateIP アドレスの固定のために特別な設定は必要ありません。デフォルト VPC が設定されてい

ないリージョンを使う場合は、Private IP アドレスの固定のために利用者は別途 VPC の設定

を行う必要があります。

図中の各セキュリティグループの詳細については、「4.1.4 セキュリティグループの設定(7ページ)」で説明します。

第 1 章 機能概要

3

Page 8: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

第 2 章 動作環境

2.1 動作環境本書では、以下の環境を想定の上、構築例を記載しています。

• ノードの共通仕様

OS Red Hat Enterprise Linux 6.4 (x64)

InfoFrame Relational Store V2.2

Java Java SE 6 (update 43)

• 推奨 EC2 インスタンスタイプ

IRS サーバの種類 EC2 インスタンスタイプ

構成管理サーバ m1.large

Partiqle サーバ m3.2xlarge

トランザクションサーバ m3.2xlarge

ストレージサーバ m1.xlarge

第 2 章 動作環境

4

Page 9: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

第 3 章 注意事項

3.1 IP アドレスとホスト名

3.1.1 Private IP アドレスと Private HostnameEC2 で作成した EC2 インスタンスを起動すると、自動的に Private IP アドレスと PrivateHostname が割り当てられます。これらは、EC2 インスタンス同士の通信に使用します。

以下の IRS のコンフィグファイルには IP アドレスとホスト名を指定する箇所があります

が、ここで指定する IP アドレスとホスト名には、この Private IP アドレスと Private Hostnameを指定してください。

• jms-jndi.properties

• rsmasterdb.properties

• rs-servers.xml

• cluster.xml

• partiqlecluster.xml

• RSMasterDB 構築時の rolelist

また、AWS を使用する場合、名前解決に /etc/hosts を使用してください。

その際、Private Hostname は末尾の“.localdomain”の有無が EC2 インスタンスの起動のたび

に変わるので、/etc/hosts に追加するホスト名は“.localdomain”があるものとないものの両

方を記載してください。

以下に /etc/hosts の記載例を示します。

127.0.0.1 localhost.localdomain localhost::1 localhost6.localdomain6 localhost6175.1.1.1 ip-175-1-1-1 ip-175-1-1-1.localdomain175.1.1.2 ip-175-1-1-2 ip-175-1-1-2.localdomain175.1.1.3 ip-175-1-1-3 ip-175-1-1-3.localdomain175.1.1.4 ip-175-1-1-4 ip-175-1-1-4.localdomain…

3.1.2 Public HostnamePublic Hostname は、AWS 外部のマシンと EC2 インスタンスとの通信に使用します。

例えば、オンプレミス上の管理コンソールから構成管理サーバに接続する場合に指定して

ください。

第 3 章 注意事項

5

Page 10: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

第 4 章 設定手順本項では、IRS を構築する上で必要な AWS 環境特有の設定について説明します。

IRS 自体の構築手順は、『InfoFrame Relational Store インストレーションガイド』をご参照く

ださい。

4.1 VPC の設定

4.1.1 VPC の作成

IRS では、EC2 インスタンスの Private IP アドレスを固定するために VPC を利用します。

“Asia Pacific (Tokyo)”などのリージョンでは、あらかじめデフォルト VPC が設定されてい

ます。デフォルト VPC が設定されているリージョンを利用する場合、VPC の作成は省略す

ることができます。

デフォルト VPC が設定されていないリージョンを利用する場合は、IP アドレスを固定する

ために VPC を 1 つ作成してください。

VPC は、AWS Management Console で [VPC] を選択して VPC Management Console を開いた

後、[Start VPC Wizard] から作成できます。

4.1.2 サブネットの作成

EC2 インスタンスが属するサブネットの設定を行います。

「4.1.1 VPC の作成(6 ページ)」でデフォルト VPC の利用を選択した場合は、デフォルトサ

ブネットが既に設定されています。デフォルトサブネットを利用する場合、サブネットの作

成を省略することができます。

デフォルト VPC を使用しない場合は、「4.1.1 VPC の作成(6 ページ)」で作成した VPC に

サブネットを 1 つ作成してください。

サブネットは、VPC Management Console で [Subnets] を選択した後、[Create Subnet] から

作成できます。

IRS を動作させる EC2 インスタンスは、すべてこのサブネット内に配置してください。

4.1.3 DNS ホスト名の有効化

デフォルト VPC を利用している場合、DNS ホスト名はあらかじめ有効になっているため、

この手順は不要です。

第 4 章 設定手順

6

Page 11: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

「4.1.1 VPC の作成(6 ページ)」で VPC を作成している場合は、DNS ホスト名が有効になっ

ていることを確認してください。

DNS ホスト名が有効かどうかの確認は、VPC Management Console において「4.1.1 VPC の

作成(6 ページ)」で作成した VPC を選択し、以下の 2 つのチェックボックスを確認します。

• Enable DNS resolution.

• Enable DNS hostname support for instances launched in this VPC.

いずれかのチェックボックスのチェックがはずれている場合、DNS ホスト名が無効になっ

ています。DNS ホスト名が無効状態の場合は、両方のチェックボックスをチェックし、DNSホスト名を有効にしてください。

図 4-1 DNS ホスト名の有効化

4.1.4 セキュリティグループの設定

セキュリティグループは、EC2 インスタンスに対するファイアウォールとして動作します。

構築の際は、利用する IRS の機能ごとに適切なセキュリティグループを指定してください。

ただし、明確にセキュリティグループを分ける必要がない場合は、単一のセキュリティグ

ループにすべての EC2 インスタンスを含んでもかまいません。業務内容にあわせてセキュ

リティグループを設定してください。

セキュリティグループは、VPC Management Console で [Security Groups] を選択した後、

[Create Security Group] から作成します。

「図 1-1 AWS 上での IRS 構築イメージ(2 ページ)」では、4 種類のセキュリティグループ

を IRS の機能ごとに設定しています。それぞれのセキュリティグループの意味は次の通り

です。

第 4 章 設定手順

7

Page 12: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

Security Group 1 (必須)

IRS の全サーバが属する必要のあるセキュリティグループ

Security Group 2

IRS の管理コンソール用セキュリティグループ

Security Group 3

Hadoop 連携機能、ローダ機能(mapreduce モード)用セキュリティグループ

Security Group 4

クライアントからの SQL 実行用セキュリティグループ

4.1.4.1 IRS サーバ間のグループ設定

Security Group 1 は IRS のサーバが相互に通信するために必要なセキュリティグループで、設

定が必須です。IRS のサーバを構成するすべての EC2 インスタンスが属する必要がありま

す。

EC2 では、EC2 インスタンス同士ですべてのポート接続が許可された、default グループがあ

らかじめ用意されています。Security Group 1 では、EC2 インスタンス作成時にこの defaultグループを設定します。

このセキュリティグループに含むマシンは次の通りです。

• 構成管理サーバ

• Partiqle サーバ

• トランザクションサーバ

• ストレージサーバ

4.1.4.2 管理コンソールの利用

Security Group 2 は、IRS の管理コンソールを利用するためのセキュリティグループです。

管理コンソールは構成管理サーバとの通信を必要とします。

環境にあわせて、適切なセキュリティグループを設定してください。

このセキュリティグループに含むマシンは次の通りです。

• 構成管理サーバ

• 管理コンソールを利用する AWS 外部のマシン

第 4 章 設定手順

8

Page 13: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

4.1.4.3 Hadoop 連携およびローダ機能(mapreduce モード)の利用

Security Group 3 は、Hadoop 連携機能およびローダ機能(mapreduce モード)を利用するための

セキュリティグループです。

Hadoop 連携機能およびローダ機能(mapreduce モード)では、Hadoop クラスタとストレージ

サーバ、トランザクションサーバが通信できる必要があります。

環境にあわせて、適切なセキュリティグループを設定してください。

このセキュリティグループに含むマシンは次の通りです。

• ストレージサーバ

• トランザクションサーバ

• Hadoop クラスタ

4.1.4.4 SQL 実行

Security Group 4 は、SQL 実行のために必要なセキュリティグループです。

SQL を実行するクライアントは、Partiqle サーバとの通信を必要とします。

環境にあわせて、適切なセキュリティグループを設定してください。

このセキュリティグループに含むマシンは次の通りです。

• Partiqle サーバ

• SQL を実行するクライアント

4.2 EC2 インスタンスの設定

4.2.1 EC2 インスタンスの作成

EC2 インスタンスは、AWS Management Console で [EC2] を選択して EC2 ManagementConsole を開いた後、[Launch Instance] から作成できます。

EC2 インスタンスを作成する際は、次の点に注意してください。

• サブネットは、IRS を動作させる全ての EC2 インスタンスで「4.1.2 サブネットの作成

(6 ページ)」で作成したものを選択する。

• セキュリティグループは、EC2 インスタンス毎に担当する機能に合わせて「4.1.4 セキュリティグループの設定(7 ページ)」で作成したものを選択する。

• Public Hostname が必要な場合は、チェックボックス [Auto-assign Public IP] をチェッ

クする。

第 4 章 設定手順

9

Page 14: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

図 4-2 Public Hostname の有効化

4.2.2 ストレージの設定

4.2.2.1 ストレージの種類

EC2 には、次の 2 種類のストレージ(補助記憶装置)があります。

インスタンスストレージ

EC2 インスタンスの使用料金内で使えるストレージ。EC2 インスタンスを停止すると、

書き込まれたデータも消去される。

EBS

利用には EC2 インスタンスの使用料金とは別に課金が必要。EC2 インスタンスを停止

してもデータは削除されず、保持される。

インスタンスストレージを使用した場合、障害時など予期せず EC2 インスタンスが停止し

た際にデータがロストします。

EBS は EC2 インスタンスが停止してもデータを保持し続けることができるため、IRS では

EBS を利用します。

4.2.2.2 EBS のマウント

EBS は任意のタイミングで追加することができます。本項では EC2 インスタンス作成時に

EBS を追加する方法を説明します。

以下の手順で EBS を /opt にマウントしてください。

1. EC2 インスタンス作成時、デバイスに EBS を追加する。

第 4 章 設定手順

10

Page 15: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

図 4-3 EBS の追加

容量は GiB 単位で指定できます。

ストレージは /dev の下に xvd**といった名前で追加されます。“**”の部分は追加した

ストレージの数などによって変わるので、環境にあったものを選択しマウントしてく

ださい。(root デバイスが /dev/xvda1 で登録されているので、/dev/xvdb 以降のものから

選択)

2. 作成した EC2 インスタンスにログインし、ext4 で EBS をフォーマットする。

# mkfs -t ext4 /dev/xvdb

3. フォーマットした EBS を /opt にマウントする。

# mount -t ext4 /dev/xvdb /opt

IRS のインストール物件や立ち上げた IRS サーバのデータが /opt の下に作成されま

す。

4.2.3 /etc/hosts の設定

名前解決のために /etc/hosts に設定する IP アドレスやホスト名は、EC2 インスタンスの初回

起動時に EC2 インスタンスに対して自動的に設定されます。

/etc/hosts の設定の詳細については、「3.1.1 Private IP アドレスと Private Hostname(5 ペー

ジ)」をご参照ください。

第 4 章 設定手順

11

Page 16: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

4.3 IRS のインストールと設定IRS 自体のインストール手順については、『InfoFrame Relational Store インストレーションガ

イド』をご参照ください。

IRS のインストール後、IRS のコンフィグファイルに各 EC2 インスタンスに割り当てられて

いる IP アドレスとホスト名を設定する必要があります。設定の詳細については、

「3.1.1 Private IP アドレスと Private Hostname(5 ページ)」をご参照ください。

第 4 章 設定手順

12

Page 17: InfoFrame Relational Store V2 - NEC(Japan)...• Apache Hadoop 、Hadoop 、HDFS は、Apache Software Foundation の米国およびその他の ... 4.3 IRS のインストールと設定

InfoFrame Relational Store V2.2構築ガイド

for Amazon Web Services

RS-0202-15-01-J

2013 年 9 月 1 版 発行

日本電気株式会社

© NEC Corporation 2013