Grid Computing Simulation

Jefferson AmorimMatheus LeviPedro Corrêa

Péricles Miranda

Contexto Histórico

• Proliferação da internet;• Disponibilidade de computadores poderosos;• Redes de alta velocidade;

Mudança na forma como se faz computação distribuída e paralela.

Contexto Histórico

• Avanço -> Redes de computadores como um computador, unificando recursos computacionais. (Cluster)

• 1990 surge uma infra-estrutura de acesso a recursos distribuídos (geograficamente) capaz de solucionar problemas em larga escala. (Grid)

• Cloud Computing

Conceito

Grids Computacionais são infra-estruturas de hardware e software que permitem o compartilhamento, seleção e agregação de recursos “autônomos” distribuídos, em tempo de execução, dependendo de sua disponibilidade, capacidade, performance, custo e exigência de QoS.

Alto Nível

Benefícios

• Compartilhamento coordenado de recursos;• Solução de problemas multi-institucionais;• Usuário acessa recursos, globalmente distribuídos, com

facilidade;• Melhora da produtividade com tempo de processamento

reduzido;• Liberação de recursos extras caso necessário;• Infra-estrutura flexível;• Controle de recursos, evitando-se desperdício;• QoS;• Esforço de administração reduzido, devido a sua modularização.

Dificuldades

Segurança O que pode ser acessado? Quem pode acessar?

Autoridade e prioridade sobre recursos Proprietários e usuários

Latência de comunicação na internet Troca de informações

Criação de políticas de escalonamento

Arquitetura do Grid

• SOA e WS são bastante utilizados na construção do middleware e aplicações.

• Arquitetura dividida em 4 camadas:– Fabric– Core Middleware– User-Level Middleware– Applications

Arquitetura do GridFabric

• Computadores de baixo e alto recursos;• Estrutura de rede;• Instrumentos científicos;• Sistemas de gerenciamento de recursos.

Arquitetura do GridCore Middleware

• Serviços de segurança para acesso remoto de recursos;

• Gerenciamento de acesso e segurança;• Submissão de trabalhos de forma remota;• Armazenamento;• Informação de recursos.

Arquitetura do GridUser-Level Middleware

• Provê ferramentas de mais alto nível:– Resource brokers;– Ambiente de desenvolvimento de aplicações;

Arquitetura do GridApplications

• Construídas com uso de bibliotecas específicas do Grid;• Aplicações legadas que podem ser adaptadas usando-se

User-Level Middleware.

• Diversas aplicações:– Diagnóstico de engine aérea;– Engenharia contra abalos sísmicos;– Bioinformática;– Descoberta de novas drogas;– Análise de imagens digitais;– Jogos multi-player.

Tipos de Grid

• Computational Grid– Poder computacional de diversos computadores

distribuídos;• Data Grid– Gerenciamento de dados, provendo acesso,

integração e processamento distribuído;

Tipos de Grid

• Application Service Provisioning– Provê acesso à aplicações, módulos e bibliotecas

remotas, hospedadas em data centers e CG;• Interaction Grid– Interação e visualização colaborativa entre

participantes.

• Knowledge Grid– Aquisição, processamento, gerenciamento de

conhecimento, provendo serviços de análise orientado à data mining.

• Utility Grid– Poder computacional, dados, serviços para

usuários finais, negociação de QoS, estabelecimento e gerenciamento de contratos; gerenciamento e alocação de recursos.

Tipos de Grid

• Camada de serviços onde a camada acima utiliza os serviços da camada abaixo.

Tipos de Grid

Características

• Recursos Heterogêneos• Vários sistemas operacionais• Aplicações com exigências diversas

Recursos e Usuários finais

• Possuem necessidades, objetivos e demandas diferentes

• Separados geograficamente• Possuem fuso horários diferentes

Tipo de gerenciamento

• Centralizado• Hierárquico• Descentralizado• Combinação dos demais

Limitações e Potenciais

• Real– É caro e trabalhoso montar um sistema em grid– Difícil criar um ambiente controlado e repetível

• Simulado– Não precisa fazer analises desnecessárias– Evita sobrecarga de coordenação dos recursos

reais– Eficaz em grandes problemas hipotéticos.

Comparativo

Comparativo

Ferramentas de Simulação de Grids

Funcionalidades Modelagem de recursos computacionais

heterogêneos Armazenamento de informações sobre os

recursos disponíveis Especificação de uma topologia de rede arbitrária

a ser simulada Poucas ferramentas disponíveis

Ferramentas de Simulação de Grids

OptorSim Imita estrutura de uma Grid de Dados Analisa efeitos da replicação e otimização de dados Incorpora modelos econômicos empresariais Ponto negativo: tipo de Grid restritivo

SimGrid Simula aplicações agendadas Modelagem de recursos com time-share

Ferramentas de Simulação de Grids

MicroGrid Criado a partir do Globus, software de criação de Grids Emula o funcionamento de Grids criadas no Globus Resultados próximos aos reais Ponto negativo: conhecimento prévio do Globus

GangSim Análise de carga de utilização e tarefas agendadas Técnicas de simulação discreta Modela Grids reais para testes de escalonamento

Ferramentas de Simulação de Grids

GridSim Desenvolvido pela Universidade de Melbourne Suporta vários tipos de Grids Simula carga de utilização Replicação de dados Reserva de recursos

GridSim Toolkit

• Plataforma de software de código aberto• Permite aos usuários simular um modelo de Grid– Características dos recursos– Redes com configurações diferentes

• Permite testar novos algoritmos e estratégias de Grid em um ambiente controlado

• Realiza experimentos que não são possíveis de serem executados em um ambiente de Grid dinâmica real.

GridSim Toolkit

• Características:– Simulação de traços de carga real de trabalho– Interfaces bem definidas para implementação de

algoritmos de alocação– Permite a modelagem de diferentes características

dos recursos, além de suas propriedades de falha

GridSim Toolkit

• Arquitetura:– Multicamada• Facilmente extensível

– Utiliza o SimJava• Pacote de simulação de eventos discretos de propósitos

gerais.

GridSim Toolkit

• Arquitetura:

GridSim Toolkit

• Extensões:– Grid Scheduling SIMulator (GSSIM)– Grid Network Buffer (GNB)– Alea Grid Simulator– Grid Agents Platforms (GAP)– Web-based Grid Scheduling Platform (WGridSP)

GridSim Toolkit

• Largamente utilizado e estendido por pesquisadores– Investigação de alocação de recursos em clusters

baseados em SLA– Coordenação de recursos provenientes de Grids

federados– Escalonamento de dados e workflows de Grids

GridSim Toolkit

GridSim Toolkit

Estudos de caso

GridSim Toolkit

• Meta-escalonadores para Business Grids– IBM India Research Lab– Data replication and Execution CO-scheduling

(DECO)• Escalona os dados e os jobs para os recursos

selecionados de acordo com uma SLA do usuário

GridSim Toolkit

GridSim Toolkit

• Aplicações paralelas em CrossGrid– University of Santiago (Espanha)– Comparação de vários algoritmos de

escalonamento e simulação de um CrossGrid– Utilizou-se parâmetros de testbed de Grid real

GridSim Toolkit

GridSim Toolkit

• Escalonamento de storage-aware workflow– University of Southern California– Otimizar a utilização dos discos ao escalonar

grandes workflows que manipulam dados em recursos distribuídos

– Utilizou-se o workflow Laser Interferometer Gravitational Wave Observatory (LIGO)

GridSim Toolkit

Conclusão

• As ferramentas de simulação de Grid concedem diversos benefícios– Possibilidade de repetir experimentos em Grids

dinâmicos– Simular novas estratégias e técnicas utilizadas em

Grids a um baixo custo

Referências• Artigo: “SIMULATION OF GRID COMPUTING INFRASTRUCTURE:

CHALLENGES AND SOLUTIONS ”, submetido por Sugato Bagchi para a Conferência Proceedings of the 2005 Winter Simulation.

• Artigo: “Service and Utility Oriented Distributed Computing Systems: Challenges and Opportunities for Modeling and Simulation Communities”, escrito por Rajkumar Buyya e Anthony Sulistio.

• Artigo: “GridSim: a toolkit for the modeling and simulation of distributed resource management and scheduling for Grid computing”, submetido por Rajkumar Buyya e Manzur Murshed.

• Monografia de Lilian Felix de Oliveira com o tema “Ferramenta para Simulação de Escalonamento em Grids Computacionais ”.

Obrigado!