Embed Size (px)
DESCRIPTION
Cloud Computing @ BPStudy
Citation preview
Cloud Computing @ BP Study
19/Mar/2009
Yukio Ando - EXA Corporation
I think there is a world market for maybe five computers
恐らく世界中のコンピュータ市場の規模は、５台だろう。
Thomas John Watson（IBM創始者）
The world needs only five Computers.
世界に「コンピュータ」は５つあれば足りる。
Greg Papadopoulos(Sun Microsystems CTO)
http://blogs.sun.com/Gregp/entry/the_world_needs_only_five
Cloud Computing とは？
古くは....
SaaS (Software as a Service)
ASP (Application Service Provider)
Utility Computing
Cloud Computing とは？Google の CEO, Eric Schmidt 氏が 2006年8月に提唱 @
Search Engine Strategies Conference
http://www.google.com/press/podium/ses2006.html
What's interesting [now] is that there is an emergent new model, and you all are here because you are part of that new model. I don't think people have really understood how big this opportunity really is. It starts with the premise that the data services and architecture should be on servers. We call it cloud computing – they should be in a "cloud" somewhere. And that if you have the right kind of browser or the right kind of access, it doesn't matter whether you have a PC or a Mac or a mobile phone or a BlackBerry or what have you – or new devices still to be developed – you can get access to the cloud. There are a number of companies that have benefited from that. Obviously, Google, Yahoo!, eBay, Amazon come to mind. The computation and the data and so forth are in the servers.
Cloud Computing とは？雲（ネット）の向こうのコンピュータを使いたい時、使いたいだけ使う。
基本的な要素
どこにあるか解らない巨大なデータセンター
普通の x86 系サーバーをベースとした仮想マシン環境
短期間単位で、使った分だけ少額支払う仕組み
ごくごく標準的なサーバー環境で、柔軟に拡大可能
Your Business !!
XaaXSaaS (Software as a Service)
PaaS (Platform as a Service)
HaaS (Hardware as a Service)
DaaS ( [ Development, Database, Desktop ] as a Service)
IaaS (Infrastructure as a Service)
BaaS (Business as a Service)
FaaS (Framework as a Service)
OaaS (Organization as a Service)
Dev > Test > Setup > Serv.Hardware costs
Software costs
Maintenance
Load balancing
Scaling
Utilization
Idle machines
Bandwidth management
Server hosting
Storage management
High availability
Public Cloudsx
Personal Clouds
Amazon Web ServicesAmazon EC2Amazon Simple DBAmazon S3Amazon CloudFrontAmazon Simple Queue Service (SQS)Amazon Web Service Premium SupportAmazon Flexbile Payments Service (FPS)Amazon DevPayAmazon Mechanical TurkAmazon Fulfillment Web Service (Amazon FWS)Amazon Elastic Block Store (EBS)Amazon Associates Web ServiceAlexa Web SearchAlexa Web Information ServiceAlexa Top SitesAlexa Site Thumbnail (終了)
40万人+毎月1万人AWS traffic > Amazon6万社。意外と大企業
Amazon EC2 / S3http://aws.amazon.com/ec2/
Amazon Elastic Compute Cloud
Xen ベースの仮想環境 (Para Virtualization)
Amazon Machine Images (AMIs) で環境を丸ごと保存、複製root権限あり。1分～単位で調達・破棄が可能。起動は約5分カード決済。Amazon.com のアカウントが必要。基本料無しインスタンスの規模に対して 1時間単位で課金 ($0.1/時間)
転送量に応じた課金体系もあり(in $0.1/GB, out $0.11/GB)
1年分、3年分の事前予約と支払いで、半額以下に
S3他は後ほど
Xen: http://www.xen.org/
Amazon EC2http://aws.amazon.com/ec2/
99.95% の SLA(サービス品質保証契約) →断続的に停止すると困る？
セキュリティ設定が用意されていてレベル選択のみアーキテクチャにもよるが、スケールを気にしなくていいインスタンスを削除すれば、データ消滅。reboot は OK。日本は若干遅い [RTT 200ms]→ noSSLならColudFrontで管理者のレベル分けが無くサポート専用ユーザが作れない平易にサーバリソースを追加できるため年間の予算が不明IPアドレスは起動ごとに変わる。Elastic IP で対応が可能
RTT:Round Trip Time
実績99.5%
Amazon EC2 環境1 Compute Unit という単位で数える (1.2GHz Xeon 相当)
2 core, 32bit, 1.7GB m, 350GB ～ 8 core, 64bit, 7GB m, 1690GB
Small Instance ～ Lerge/Medium ～ Extra
各種 OS
RedHat Enterprise, Oracle Enterprise, OpenSolaris, openSUSE, Ubuntu, Fedora, Gentoo, Debian, Windows Server 2003 (+25%)
Environments
Oracle 11g, MS SQL 2005, MySQL Enterprise, MS SQL Express
Java Application Server, JBoss Enterprise, RoR, Windows Media
Xeon E5345 2.33GHznice -n -20
従量制
同CPUライセンス,RAC無し
AMIs http://www.oracle.com/goto/cloud/
Price
Price
Microsoft Azurehttp://www.microsoft.com/azure/
クラウドサービス OS
空色青色
Azure SDK http://www.microsoft.com/azure/sdk.mspx ASP .Net MVC on Windows Azure with Providers
CodePlex.SpaceBlock. 環境構築が結構面倒
Google AppEngine, Appshttp://code.google.com/intl/ja/appengine/
省略 :)
Salesforcehttp://www.salesforce.com/platform/
営業支援ツールとしての CRM(顧客/商談/給与/会計管理) アプリ郵政公社で利用。開発期間 2ヶ月,4万人が利用 (6.1億,10人)
運用ノウハウに長けている（ローソンや国防総省も）ログイン回数に応じた課金方式もありForce.com 上のアプリケーションのオンライン販売もありApex Code で開発 (SQL が埋め込める Java 風の専用言語)
マルチテナントプラットフォームとしてのビジネスモデル定額給付金管理クラウド（山梨県甲府市）
売上10億ドル/年1%の
ボランティア
Cloud Spectrum
Instruction Set VM Bytecode VM Framework VM
Low High
Amazon EC2 Microsoft Azure Google AppEngine Salesforce
Y!OSIBM Blue Cloud
SaaS and Cloud matrixNetwork Storage Processing Development Application Business Enterprise Consumer
Akamai Acceleration
Amazon S3 EC2 SimpleDB
AT&T ● ● ● Web Meeting
Box.net ● ● ●
Google AppEngine AppEngine AppEngine Google Apps Gmail
IBM ● Blue Cloud
Microsoft ● ● Azure Azure Office Online Hotmail
Salesforce Force.com ● ●
SAP SAP Library ● ●
Sun ● Metro Web-S Metro Web-S Sun SOA Open Office Open Office
Terremark ● ● ●
Yahoo! Pipes Yahoo!Mail
Xcalibre ● ● ●
cf. http://blogs.zdnet.com/BTL/?p=11206
Photo by IgnacioConejo
利点初期投資を極力少なく、スケーラブルなサービスを開始することができる
開発者側、サービス提供者にとってサーバのメンテナンスとは無縁
急に規模を拡大する必要になった場合費用以外は比較的容易に増やすことができる
専用サーバーのレンタルと比べると安価に必要な分だけ借りることができる
サービス開始時、開発時のサーバーセットアップ作業の面倒さが無い
Web 上の様々なサービスを組み合わせて利用できる
必要に応じて資源を増減でき、開発者が行う構築作業が少なくてすむ
サービス提供者に、機器運用・管理・バックアップの手間がかからない
多くの一般的な共通のソフトウェアの組みあわせによって構成されている
Photo by argo72
欠点ダウンタイムの対応が困難。原因が分かりにくい (Status Dashboard を提供)
24時間365日動き続けなければならない重要なアプリケーションの場合はまだまだ運用が難しい
OS環境、ソフトウェア環境など、自由なものを選ぶことが出来ない。サービス側の環境に合わせなければならず、ロックオンされる
細かいチューニングや、独自のカスタマイズなどが許されてない場合が多い
開発者にとって、全てをネットワークごしに行わなければならない即時性の無さ
従来の Web アプリケーション開発者が数千台、数万台といった巨大なサーバーリソースに慣れていないこと
クラウド環境に置けるロギングに関するソリューションが（現在）無い [β]
旧来のデータセンターで運用しているアプリケーションの移行（移植）は難しい
Cloud Killer Applications規模の読めない携帯電話向けサイト新規 Web アプリケーションデスクトップツール・サービスを拡張するもの多量のデータを扱う、大量のバッチ作業時期や時間によって大きく利用率が変化するもの人材も初期投資も抑えたい、ベンチャー系のサービスイベントや告知などで、一気にデータ配布する時プロトタイプ作成時の迅速なテスト環境として
NY TimesNASDAQSlideshareDropbox
ESPNSecondLife
コスト効果
データセンター クラウドコンピューティング
安全のための余分が多い。その一方Capacity が低いとユーザを失う。
US:70006%30%
Cloud は本当に安い？2003 WAN CPU disk
Item in 2003 1Mbps 2GHz, 2GB 200GB, 50Mb/s
Cost in 2003 $100/month $2000 $200
$1 buys in 2003 1GB 8 CPU hours 1GB
2008 WAN CPU disk
Item in 2008 100Mbpsd 2GHz*4, 4GB 1TB, 115Mb/s
Cost in 2008 $3600/month $1000 $100
$1 buys in 2008 2.7GB 128 CPU hours 10GB
Cloud は本当に安い？
WAN CPU disk
ISP = 1$ 2.7x 16x 10x
AWS = $0.27-0.40 $2.56 $1.2-1.5
2008 WAN CPU disk
$1 buys in 2008 2.7GB 128 CPU hours 10GB
EC2 Reserved Instances で実質半額以下に....
Cloud’s BackendHadoop
MogileFS
Hypertable
hBase
Skynet
AppDrop
CouchDB
Perlbal
Dynamo
MapReduce
GoogleFS
BigTable
Chubby
HadoopGoogle の分散技術 MapReduce, Google File System のオープンソース実装
NutchのDoug Cutting 氏 (現在 Yahoo! Research)が Java 実装
HDFS (Hadoop Distributed File System)
Hadoop MapReduce Framework
Java ベース。MacReduce は C++
Hadoop Streaming を組み合わせると他言語でも利用可能
Hadoop 実績が多いYahoo! (2万台)
A9 (Amazon内の検索)
AOLBaiduFacebookGoogle の大学教育 (Scale Computing Challenges)
IBM の Blue Cloud
Joost, Last.fm, Ning, Search Wikia, Veoh, .....
Eclipse MapReduce Toolshttp://www.alphaworks.ibm.com/tech/mapreducetools
MapReduce の分散処理 (大量のデータを大量のマシンで)
http://labs.google.com/papers/mapreduce.html
データを切り刻む Map と、分散したデータを集める Recude の仕組み
Map と Reduce のスケルトンを自動生成
Eclipse Add-on
Cloudera’s Distribution for Hadoop (EC2 で Hadoop を使う)
Cloud 時代のプログラミング言語Apex code (Salesforce)
Python (Google AppEngine)
Java
.NET / C# (Microsoft Azure)
Sawzall (Google Mapreduce)
Elang?
REST / XML / SOAP×
iceberg
Fusion (Oracle)
NetWeaver (SAP)
Amazon Web ServicesAmazon EC2Amazon Simple DBAmazon S3Amazon CloudFrontAmazon Simple Queue Service (SQS)Amazon Web Service Premium SupportAmazon Flexbile Payments Service (FPS)Amazon DevPayAmazon Mechanical Turk Amazon Elastic Block Store (EBS)Amazon Fulfillment Web Service (Amazon FWS) : 配送ネットワークAmazon Associates Web Service: 書籍情報 API
Alexa Web Search : Alexa のクローラー情報の二次利用Alexa Web Information Service : Alexa 関連情報取得 API
Alexa Top Sites : トラフィックランキングAlexa Site Thumbnail (終了)
Tools:Service Health Dashboard
Amazon S3Amazon Simple Storage Service 容量、転送量、リクエスト数 に応じた従量課金データ量課金 $0.15 /GB (～50TBまで) 月額。5GB以下。転送量課金 $0.10/GB in, $0.17/GB out (～10TB)
リクエスト数課金 $0.01/1,000 PUT, $0.01/10,000 GET
REST/SOAP API 99.9% の SLA(Service Level Agreement), Amazon 本体と同じAmazon EC2 のデータ保存、AMIsイメージ保存に活用
Amazon CloudFront日本からの利用が遅いことに対する一つの回答
世界 14箇所 (US 8, Euro 4, HongKong, Japan)
いわゆる CDN (Contents Delivery Network) サービス
転送量課金 $0.221 / GB (10TBまで) ～ $0.095 / GB
リクエスト数課金 $0.013 / 10,000 GET
日本 (Japan Edge Locations)が一番高い
↓Akamai
Amazon Simple DBRDB風、クラウド内データの保存・処理・クエリー機能従量課金（演算、データ保存、データ転送）バックアップ不要（実質）スキーマは無い複雑ではない小さな大量のデータに適しているインデックス化されデータを利用。構造化データもゆるい結合のシンプルなデータベースとして有用チューニングを自分でしなければいけない
AmazonSimple Queue Service (SQS)
メッセージングサービス
キューデータ構造をもつ。数に制限無し。8KBチャンク
Secure
REST
メッセージングの認証メカニズムあり
タイムアウト機能
AWS Plemium SupportSilver
$100/month or $0.1/pay$1
4h 以内に対応（深刻なトラブル）
2day 以内に対応
Gold
$400/month or $0.2/pay$1
24h 電話サービス
Amazon Flexible Payments Service (FPS)
決済サービス。
Amazon.com のアカウントで支払いできる
初期費用無し。取引ごとに課金。
1.5% + $0.01 他
Amazon DevPay EC2 上のサービスに対して課金可能 (Salesforce.com 風)
売上の3%
とりっぱぐれた際は、請求されない
つまり、EC2 上の有用なサービスを開発すれば、Amazon EC2 の支払い自体をも顧客に転嫁できる
Amazon Merhanical Turk人ででしかできない作業を API 化
対価の 10%
Ten Thousand Cents <http://www.tenthousandcents.com/>
AmazonElastic Block Storage
EC2 から利用する大規模ストレージ
EC2 からハードディスクをマウントする感じ
1GB ～ 1TB。ストライピングも組むことも可能
DBイメージの作成・利用も可能
AMIs の保存先として活用
Tool:Amazon Simple Monthly Calculator
http://calculator.s3.amazonaws.com/calc5.html
Tool:ElasticFox
http://developer.amazonwebservices.com/connect/entry.jspa?externalID=
Firefox add-on
etc.
パーソナルクラウド!パブリッククラウド、!ハイブリッドクラウド(特定領域)
(大) 企業内のみで運用するクラウド環境
社内クラウド・業界内クラウド
ハードウェアリソースと管理者リソースの共有
大学教育などで、クラウド環境を意識した発想を育てる
プロトタイプ開発や研究開発における柔軟な運用
霞ヶ関クラウドは？ (SaaS における指針)
Sun Cloudhttp://www.sun.com/cloud大規模のデータセンターそのものをクラウドで提供
Sun Cloud API : Project Kenai で提供 (sf.net 相当)
http://kenai.com/
Sun Cloud : 学生、ベンチャー向けに開始 2008夏
Sun Cloud Storage Service
Sun Cloud Compute Service
Q-layer を買収
IBMが65億$で買収？
Cloud にも国境顧客データを国外に置けないユーザも居る
ヨーロッパ圏専用の Amazon EC2 もあり（割高）
日本の場合もしかり
法制、税制に注意
データセンター、コロケーションは良くてもクラウドは？
Ecosystem : Cloud の上でさらにビジネス
Heroku : ブラウザ上で Ruby on Rails 開発RightScale : EC2 の操作・設定を Web ベースで。試用可能CloudStatus : EC2他の性能監視Cloudkick : EC2, Slicehost の運用管理（無料）Amazon Public Data Set : 研究用の巨大なデータセットの配布Appirio : Salesforce + Facebook SubCloud : S3 上に暗号化されたファイルシステムを構築Slicehost : EC2 風のホスティングサービス
Mosso / Joyent / Media Temple / 3tera (Applogic) / Cloudscale
Cloud 提供者になりたい大規模でサービス可能な資金があること。でも薄利多売
既存のインフラを有効に使えること (Mixi, 楽天など？)
今までの技術を上手く流用できること (Microsoft など)
大量のハードウェアを安価に入手できること (DELL?)
サービスのプラットフォームを持っていること(Facebook?)
現在主流のサービスで信頼性が広まっていること (Yahoo!)
現在多くの顧客を持っていること (Salesforce, Microsoft)
Top 10 O&O (Obstacles & Opportunities)
Availability of a Service
障害によるサービス停止
DDoS アタック
複数クラウド運用による可用性
複数データセンター場所指定、分散による可用性
素早くスケールアップして対応
01
Top 10 O&O (Obstacles & Opportunities)
Data Lock-in
特定の環境に依存してしまう
API の標準化
標準的な API の利用
プライベートクラウドでの運用
容量(費用)を超えた時、安価なクラウドに移れる仕組み
02
Top 10 O&O (Obstacles & Opportunities)
Data Confidentiality and Auditability
プライバシー問題、セキュリティーの懸念
暗号化したデータを置く
感情的な問題
米国では銀行や製薬業界も利用し始めている
ヨーロッパでは自国内の EC2 を利用
03
Top 10 O&O (Obstacles & Opportunities)
Data Transfer Bottlenecks
データ転送コストの問題
近い場所にハードディスクで送付
一度データを格納してしまえば、クラウド間の転送は問題にならない
自前でネットワーク帯域を確保するよりも結局安価
04
Top 10 O&O (Obstacles & Opportunities)
Performance Unpredictability
VM だとdisk I/O, memory I/O が遅い？
VMの準仮想化 (Hypervisor) に期待
アーキテクチャをよく考える
キャッシングの効果を最大限に利用する
クラウド環境も SSD(Solid State Drive) に移行？
05
Top 10 O&O (Obstacles & Opportunities)
Scalable Storage
ストレージ自身の規模拡張、クラウド化は難しい
商用のクラウドストレージを使う
極端な即時性を求めない
エラーや遅延を前提とした考え (例 : Twitter)
技術革新と既存技術の組みあわせが求められている
06
Top 10 O&O (Obstacles & Opportunities)
Bugs in Large Scape Distribution Systems
バグ取りの難しさ
VM 環境でのデバッグ
小規模なパーソナルクラウドでのデバッグ
エラーを無視するというおおらかさ
07
Top 10 O&O (Obstacles & Opportunities)
Scaling Quickly
素早いスケーリング
自前だとプランニングが難しいが、クラウドだと費用次第
サービス形態そのものがスケール可能である考慮
(例:SNS)
CPUインスタンス時間ではなく純粋に負荷に対して課金
08
Top 10 O&O (Obstacles & Opportunities)
Reputation Fate Sharing
クラウド内サービスでの悪い評判への対処
ホワイトリストやフィルタリング
信頼サイト登録のような仕組みが必要
09
Top 10 O&O (Obstacles & Opportunities)
Software Licensing
膨れあがるソフトウェアライセンスの問題
クラウドに適したライセンス形態（従量課金）
プリペイド形式など
無料でオープンなソフトウェアを最大限活用
10
Cloud Client
Cloud のもう一つの本質
Cloud のもう一つの本質
Google Chrome/V8の登場
Browser Wars (Safari/FF/IE)Safari 4 Developer mode
Offline クラウド単体ではなく、オフライン利用も考慮する
ネットは整っているが、遅い場所つながらない場所もある
Safari + local database storage (5MB) : SQLite 3
Gears (Google Gears)
Mozilla Prism
HTML 5
Adobe AIR
Cloud のこれから1.最適化クラウドとしての広がり(HPC分野、スループット)2.クラウドアーキテクチャのパターン化（得意・不得意）3.データ構造の最適化4.運用技術の蓄積5.大規模で並列的なアプリケーションの発想6.クラウド環境で効率の良いデータ構造の研究7.可用性の検討と、複数クラウドでのバックアップ体制8.オフラインクライアントとの連携9.ネットワーク構造自身もクラウド化 (Ciscoが進めている)10.使った分だけ支払うの逆。定額料金性の運用もありえる
Cloud 専用データセンター5000台/人
説得方法
説得方法
銀行にお金預けるでしょ？
説得方法
自家発電しないでしょ？
説得方法
経済状況が厳しい今だからこそ固定資産を持たない運用を。
セキュリティが心配
大切なデータは暗号化して保存強固なデータセンターと同程度。DB間通信も暗号化
情報流出のほとんどはソーシャルな要因
でも止まるでしょ？
自分でやっても止まるでしょ？Status 監視や、不具合時対応の移管、
SLA(Service Level Agreement) による保証と割引など
Next Buzzword○○ 2.0
Health Care, Banking, EducationEnterprise, Books, Music, Auction
Money Card, Point Card
考える前に飛べ！Thomas John Watson
Photo by FaviinCayman
Resources AWS Blog
http://aws.typepad.com/CLOUDnews
http://cloud.manabing.jp/Cloud Computing Journal
http://cloudcomputing.sys-con.com/Oracle Cloud Computing Center
http://www.oracle.com/technology/tech/cloud/IBM Cloud Computing
http://www.ibm.com/ibm/cloud/
