AWSマイスターシリーズ Amazon S3 (#jawsug #マイスター)

2012年03月03日

大谷 晋平 (@shot6 ) ソリューションアーキテクト

アジェンダ

S3とは？

S3のコンセプト

S3の機能

まとめ

AWSサービス一覧

お客様のアプリケーション

ライブラリ & SDKs Java, PHP, .NET,

Python, Ruby

Web インターフェース

Management Console

IDE プラグイン

Eclipse

Visual Studio

デプロイと自動化 AWS Elastic Beanstalk AWS CloudFormation

認証 & 請求 AWS IAM

Identity Federation Consolidated Billing

モニタリング Amazon CloudWatch

スケーリング Auto Scale

ネットワーク＆ルーティング Amazon VPC

Amazon Elastic LB Amazon Route 53

AWS Direct Connect

コンテンツ配信Amazon

CloudFront

メッセージ通知Amazon SNS

分散処理 Elastic MapReduce

メール配信 Amazon SES

コンピュータ処理 Amazon EC2

ストレージ

Amazon S3

Amazon EBS AWS Storage Gateway

データベース Amazon RDS

Amazon DynamoDB Amazon SimpleDB

Amazon Elasticache

AWS のグローバルなインフラ

キューイングAmazon SQS

S3とは？

S3はWeb時代のストレージ

ユーザはデータを安全にどこからでも保存可能

AWSの主力サービスの1つ。2006年から開始

開発者が“Webスケール”なコンピューティングを可能にするよう設計された

高いスケーラビリティ

高い信頼性・堅牢性

セキュア

高速

低価格

S3の用語

バケット オブジェクト置場。最大100/アカウント。名前がユニークな必要あり

オブジェクト S3に置くファイルでURLによるアドレスが付与。バケット内には無制限にオブジェクトを置くことが可能。1オブジェクトのサイズは5TBまで

キー オブジェクト毎に付与される一意なキー

ACL

アクセスコントロールリスト

S3のネームスペース

Amazon S3

バケット バケット

オブジェクト オブジェクト オブジェクト オブジェクト

バケット

オブジェクト オブジェクト

S3 –実例にあてはめてみる -

Amazon S3

mculver-images media.mydomain.com

Beach.jpg img1.jpg img2.jpg 2009/maui/sun.jpg

public.blueorigin.com

Installer.msi img/pic1.jpg

S3のコンセプト

Durable(堅牢であること)

Available (いつでも利用可能であること)

Scalable (スケールすること)

Secure (安全であること)

Fast (高速に動くこと)

Simple (シンプルに使えること)

Cost Effective (低コストであること)

Durable(堅牢であること)

ファイルを失わない設計

データを3箇所以上にレプリケーション

障害検知とデータ修復

2006年サービス開始以来データロストなし

99.999999999%の堅牢性を誇る

3つ以上同時にDCが消失しない限りデータを失わない

Available(常に利用可能なこと)

常に利用可能なように設計

99.9%可用性SLA、実際はほぼ100%

計画停止無し

全世界からどの地域でもインターネット経由で利用可能

異なる8つのリージョンから選択

Scalable(スケールすること)

論理的には無限にスケールする

どれだけのファイルでも保存可能

1バイトから1PBまでいくらでも保存可能

1つのファイルサイズは最大5TBまで

Secure(安全であること)

全ての通信はSSL暗号化

認証・認可機能を持つ

ACLベース/ポリシーベース

ユーザアクセスコントロール

暗号化機能を持つ

サーバサイド/クライアントサイド暗号化

ログ機能

認定・認証の取得

Fast(高速であること)

ピーク時最大50万RPS

常に安定したレイテンシ

世界8か所にリージョン展開

最も近い場所を利用可能

専用線で直結も可能

Simple(シンプルに使えること)

ファイルのPUT/GET/DELETE/LIST

これだけ。とってもシンプル

データサイズも数も気にしなくてよい

サードパーティツールでFTPライクに利用

SDKで様々な言語からすぐに利用可能

PutObjectRequest putObjectRequest = new PutObjectRequest(bucketName, key, file); PutObjectResult result = this.client.putObject(putObjectRequest);

Cost Effective(低コストなこと)

従量課金で使った分だけお支払い

初期費用もいらない

コストは下げ続けている

2012年2月に13%値下げ

ストレージ 旧 (GB / 月) 新 (GB / 月)

最初の1TB $0.150 $0.130

次の49TB

$0.135

$0.115

次の450TB $0.120

$0.100

次の500TB $0.105 $0.095

次の4000TB $0.090 $0.085

5000TB以上 $0.065 $0.060

S3のコンセプト

Durable(堅牢であること)

Available (いつでも利用可能であること)

Scalable (スケールすること)

Secure (安全であること)

Fast (高速に動くこと)

Simple (シンプルに使えること)

Cost Effective (低コストであること)

S3のよくある利用例

コンテンツの保存と配信 メディア・エンターテイメントのコンテンツ

ソフトウェアの配信

大規模データ分析のストレージ・データオリジナル

オンラインストレージ

アプリケーションそのもののストレージ

バックアップやディザスタリカバリ。低価格かつ安心のテープの代替

サーバのバックアップ

個人的なバックアップ

• 複数端末での共有

European Space Agency

データ配信用の衛星写真およびデータをS3に保存

ESRIN: center of the European Space Agency for the Earth Observation Programs (*)

地球の衛星写真を生成し保存

EUの政府団体やNGOなどのデータ配信の元

(*) Source : http://www.esa.int/esaMI/ESRIN_SITE/index.html

Oracle Secure Cloud BackupでDBのデータもS3

へ保存

AWS自体もユーザ

AWSサービスの中心にS3がある

S3

EC2 EBS

EMR Dynamo DB

… …

… …

S3を通じて実現したいこと

お客様がデータを安心して預けられる、サービスの提供

データが安全に保管されている

データが取りたい時に常に取れる

データを保存したい時に常に保存できる

データが誰がいつアクセス出来るかを完璧にコントロールできる

データ保存が低価格で実現できる