Algoritmos Paralelos Probabilísticos para Busca em Backtrack e Heurística Branch-and-Bound

Roberto A. G. Motta sob orientação do Prof. Dr. Siang Wun Song

Referências Karp, R. and Zhang, Y. Randomized Parallel

Algorithms for Backtrack Search and Branch-and-Bound Computation – ACM Journal, Vol. 40, No. 3, Julho de 1993.

Kouril, M. and Paul, J. A Parallel Backtracking Framework (BkFr) for Single and Multiple Clusters – First Conference on Computing Frontiers, Abril de 2004.

Agenda

Busca e Otimização Combinatória Uso de Computação Paralela Backtrack Determinístico vs. Probabilístico Uso de Cluster de Clusters Heurística de Branch-and-Bound Backtracking Framework - BkFr Resultados obtidos

Problemas de busca combinatória

Busca por combinações de elementos que atendam certas características específicas

Grande número de arranjos possíveis Problemas NP Árvore de soluções

Problema do caixeiro viajante

Encontrar um passeio de custo mínimo por um conjunto de cidades

Problema NP-difícil Todas as cidades precisam ser

visitadas Custo total deve ser o menor possível

Algoritmo genérico

Instância A do problema é dada Executa uma das operações:

• Resolve A diretamente ou• Deriva de A os subproblemas A1, A2,...,Ad

de forma que o problema A possa ser resolvido a partir da solução dos subproblemas

Árvore de soluções

Associa-se à instância do problema uma árvore

Raiz: instância do problema Nós internos: subproblemas Folhas: subproblemas que podem ser

resolvidos diretamente

Árvore de soluções

A

A1 A2

A11 A12 A21 A22 A23A13

Uso de computação paralela

Busca na árvore de soluções é facilmente paralelizável

Custo de comunicação é baixo Speed-up potencial é altíssimo Problemas propícios para aplicação

de computação paralela

Backtrack

Busca em profundidade na árvore de soluções

Todos os nós serão visitados Todas as possíveis soluções serão

analisadas A melhor solução será encontrada

Complexidade

Limite inferior: max{n/p,h}

A

A1 A2

A11 A12 A21 A22 A23A13

A231

Trivialmente paralelizável?

Processadores realizam a busca na árvore de soluções de forma independente – não exige comunicação

P1 P2 P4 P5 P6P3

Qual o desafio?

Distribuição de carga Processadores ociosos recebem nova

carga de trabalho Não implica em aumento de rodadas de

comunicação Exige modelagem otimizada dos nós da

árvore

Backtrack paralelo – definições

Definições:• Nó de fronteira

• Nó que foi gerado mas não expandido• Fronteira local

• Conjunto dos nós de fronteira possuídos pelo processador

• Nível de um nó v• Número de nós no caminho da raiz até o nó

v, inclusive

Backtrack paralelo – definições

raiz

interno interno

fronteira fronteira fronteira fronteira fronteira

Backtrack paralelo – estados

Estados:• Processador ocioso

Sua fronteira local está vazia• Processador ocupado

Sua fronteira local não está vazia

Backtrack paralelo – passos Passos:

• Expansão de nó Cada processador expande seu nó de

fronteira mais à esquerda• Pareamento

Alguns processadores ocupados são selecionados como doadores

• Doação Cada processador selecionado envia

metade de seus nós superiores a um processador ocioso

Backtrack paralelo – algoritmo

1

i ;

i

i

i i

i

i i i

i

/* Passo de Expansão de Nós */

F ={r};

para i=2,3,...,p, F

enquanto algum F faça

para i=1,2,...,p faça em paralelo

se F então

v nó mais à esquerda em F ;

expande v ;

F F \{v };

se v não é folha en

i i itão F F (v );

Backtrack paralelo – algoritmo

i i

i i i

/* Passo de Pareamento */

/* Passo de Doação */

determina um conjunto de pareamento

para i = 1,2,...,p faça em paralelo

seja T o conjunto de nós superiores em F ;

seja D T um conjunto de T / 2 nós em i

i i i

i

i

/* i doa Di para j */

T ;

se (i,j) R para algum j então

F F \D ;

envia mensagem "i doa D " para j;

para j = 1,2,...,p faça em paralelo

se j receber mensagem "i doa Di" então F Di;

Versão determinística Escolhe maior pareamento possível

i j

/* Passo de Pareamento */

determina um conjunto de pareamento

R = i,j / F 1, F 0, 1 i,j p tal que

se i,j , i',j' R, então i=i', j=j' ou i i', j j';

Versão determinística - complexidade

Número de passos

• h é a altura da árvore• d é o grau da árvore• n é o número de nós• p é o número de processadores

nlog d h

p

Versão probabilística/* Pairing Step */

para j = 1,2,...,p faça em paralelo

se j está ocioso então

dest(j) um elemento aleatório de {1,2,...,p};

envia mensagem "j quer novo trabalho" para dest(j);

para i = 1,2,...,p faça em p

i

i

i

aralelo

se i está carregado então

seja A = {j / i recebeu uma mensagem "j quer novo trabalho"};

se A então

seleciona de forma arbitrária um k A ;

envia mensagem "i tem trabalho para compartilhar" para

k;

Versão probabilística - complexidade Passo bom: mais de p/2

processadores executam uma unidade de trabalho

Número máximo de passos bons

6 log d n p

Versão probabilística - complexidade Número máximo de passos ruins

Com probabilidade

nlog d h

p

2

1 dexp( n log )

4 p

Determinístico vs. Probabilístico

Probabilístico• Dispensa controle global• Tem tempo de execução próximo ao

limite inferior• Tem como premissa tempo de

comunicação unitário entre quaisquer processadores

Cluster de clusters

Oferece número significativamente maior de processadores

Apresenta ambiente “hostil” Fere premissa da comunicação em

tempo unitário Controle global é desejado ao permitir

tolerância à falha Determinístico é mais indicado

Heurística branch-and-bound

Método mais utilizado na prática para solução de problemas de otimização combinatória

Branch – derivação de subproblemas Bound – limite inferior do custo da

solução ótima do problema A Se B é subproblema de A então

bound(A) <= bound(B)

Heurística branch-and-bound

Nem todos os nós da árvore serão visitados

Subproblemas com bound maior que uma solução já encontrada podem ser descartados

Ordem de expansão dos nós pode ser alterada para best-first

A melhor solução será encontrada

Branch-and-bound paralelo

F {r};

B ;

enquanto F faça

seleciona um conjunto de nós S F;

expande os nós em S;

F {F\S} (S);

B min({B} {c(v): v S e v é uma folha});

F {v F:c(v) B};

Best-First global

A cada passo, expande os p nós mais promissores

Exige manutenção de fila de prioridade global

se F p então S=F;

senão S consiste dos p nós em F de menor custo

Best-First local1

i

i

i

i

i i

/* Passo de Expansão de Nós */

F ={r};

para i = 2,3,...,p, F ;

para i = 1,2,...,p, B ;

enquanto algum F faça

para i = 1,2,...,p faça em paralelo

se F então

seja v o nó de menor custo em F ;

expande

i

i i i

i i

v ;

F F \{v };

se v é uma folha então Bi c(v );

Best-First local

i

i

/* Passo de Chegada de M

senão

para cada filho w de v faça

dest(w) um elemento aleatório de {1,2,...,p};

envia w para dest(w);

senão

envia "uma folha de custo B " para um elemento aleatório de {1,2,...,p};

i i

i i

i

ensagens */;

para i = 1,2,...,p faça em paralelo

F F {w:dest(w)=i};

para i = 1,2,...,p faça em paralelo

B min(B {x:i recebeu uma mensagem "uma folha de custo x"});

para i = 1,2,...,p faça em paralelo

F

i i{v F :c(v) B };

Best-First local - complexidade

nT(H,c) d h

p

H: instância do problema c: função bound utilizada d: constante Com grande probabilidade, a razão entre o tempo

de execução do Best-First local e o menor tempo possível para qualquer algoritmo em p processadores é constante

BkFr – Backtracking Framework

Arcabouço para o desenvolvimento de aplicações paralelas de backtracking

Tolerante a falhas Apresenta controle hierárquico Permite a execução em múltiplos

clusters

Resultados obtidos

1 proc 8 procs 16 procs

Soma de subconjuntos

5:28 0:56 0:42

SAT SBSAT 14:19 3:12 1:49

SAT zChaff 4:32 0:49 0:33

Resultados obtidos

1 proc 16 procs 16+32 procs

Soma de subconjuntos

1:13:27 9:04 3:36

SAT SBSAT 1:07:13 7:14 5:06

SAT zChaff 50:59 4:13 2:35

Perguntas?