TCC - Wellington Martins

8/18/2019 TCC - Wellington Martins

1/11

1

FACULDADE ANHANGUERA DE BAURU

WELLINGTON MARTINS ALVES

DESENVOLVIMENTO E ANÁLISE DE WEB CRAWLING - SELENIUME HTMLUNIT EM TAREFAS REPETITIVAS

BAURU


2/11

2

2015


3/11

3

WELLINGTON MARTINS ALVES

PROJETO DE ANÁLISE E DESENVOLVIMENTO

DESENVOLVIMENTO E ANÁLISE DE WEB CRAWLING - SELENIUME HTMLUNIT EM TAREFAS REPETITIVAS

Projeto de Análise e Desenvolvimentoapresentado ao Curso de Ciência daComputação da Instituição Anhanguera Bauru.


4/11

4

BAURU

2015


5/11

5

SUMÁRIO

SUMÁRIO 3

1. INTRODUÇO 3

1.1 PROBLEMA 3

2. OBJETIVOS !

2.1 OBJETIVO GERAL OU PRIMÁRIO !

2.2 OBJETIVOS ESPEC"FICOS OU SECUNDÁRIOS !

3. JUSTIFICATIVA 5

!. METODOLOGIA 5

5. RESULTADOS ESPERADOS #

#. REFER$NCIAS #

1. INTRODUÇO

Vivemos em um mundo onde cada ve o tempo ! mais precioso" o conceito

de web crawling consiste em resgatar in#ormaç$es automaticamente de web sites.

% conceito proposto ! e&empli#icar as vantagens e desvantagens das duas

principais tecnologias em web crawling para 'ava" Selenium e HTMLUNIT " sendo

em teste #uncionais.


6/11

6

Como já dito utiliaremos como (ase a linguagem 'ava" con#orme ran)ing

disponi(iliado pelo site Redmonk 'ava ! a segunda linguagem mais utiliada no

mundo" somente atrás do 'ava*cript" desta #orma iremos automatiar tare#as

repetitivas.

+sta automatiação visa su(stituir um #uncionário por um ro(, desenvolvido com

as tecnologias propostas.

-.-PROBLEMA

Como cada ve mais o mundo e o mercado demandam agilidade e e#iciência" o

web crawling supri uma grande uantidade dessa necessidade" traendo resultados

com precisão e assertividade.

/oje possu0mos um am(iente de tra(alho com várias pessoas e&ecutando

tare#as repetitivas" sejam elas" consultas em web sites" preenchimento de

#ormulários" no modelo atual possu0mos pro(lemas com atraso" #alta de um

#uncionário" ociosidade" podemos elencar at! má vontade por parte de um

#uncionário descontente" sem contar o #ator humano ue podemos ter #alhas em

alguma parte da e&ecução da tare#a.

/oje os custos para manter um #uncionário com impostos" salário entre outros

gastos ! alt0ssimo e tam(!m para demitir este #uncionário descontente e&istirá um

gasto ainda maior com rescisão" multa de 123 4uarenta por cento5 so(re o FGTS

entre outros encargos decorrentes do desligamento de ualuer #uncionário.

2. OBJETIVOS


7/11

7

6.- OBJETIVO GERAL OU PRIMÁRIO

+&por a e#icácia do web crawling em su(stituir #uncionários ue e&ecutam tare#as

repetitivas" visando assertividade" per#ormance e di#iculdade de implementação de

cada tecnologia.

6.6 OBJETIVOS ESPEC"FICOS OU SECUNDÁRIOS

• Desenvolvimento dos web crawlings para ue e&ecutem

consultas por nome no site do 7' de *ão Paulo" usando o

Html Unit e o Selenium.

• 7estes de e&ecução dos crawlings, para ue todas as

e&ceç$es ue possam interromper a e&ecução de nosso ro(,

sejam devidamente tratadas" dei&ando a e&ecução totalmente

automática.

• +&ecução dos ro(,s" com par8metros conhecidos ue

resultem uma massa de resultados signi#icativa.

• Veri#icar o tempo m!dio da e&ecução dos ro(,s em 9

e&ecuç$es em cada tecnologia" sendo tam(!m 9 e&ecuç$es

manuais #eitas por um voluntário humano.

• :erar dados" grá#icos e outras #erramentas para e&empli#icar

os resultados o(tidos.


8/11

8

3. JUSTIFICATIVA

% mercado (usca hoje #aer mais com menos" um conceito simples ue

mostra o uão e#iciente e essencial ! o conceito de automação de atividades

repetitivas" su(stituir euipes com ;2 pessoas por dois ou três ro(,s ue iram

e&ecutar a mesma atividade ue essas pessoas" por!m com e&trema assertividade

e produtividade inigualável" visto ue o ro(, irá tra(alhar 61 horas por dia < dias por

semana ocasionando uma redução de custos e&pressiva su(stituindo ;2

#uncionários.

*em contar com a possi(lidade de investimento em outras áreas da empresa"

visto ue e&istirá uma redução de gastos e&pressiva" visto ue sem os ;2

#uncionários serão menos ;2 estaç$es de tra(alho 4mesa" cadeira" monitor"

computador" mouse" teclado" ...5 isto e&empli#ica o tamanho do corte de gastos ue

pode ser alcançado com a automatiação das atividades repetitivas.

A(rindo um leue gigantesco de oportunidade para ue o dinheiro

economiado nestes setores" sejam investidos em áreas cujo o aproveitamento"necessidade e retorno serão mais rentáveis e essenciais.

Com a utiliação de tecnologias predominantes no mercado" teremos m0nimos

pro(lemas uanto a parada na e&ecução dos web crawling " teremos somente ue

para a e&ecução caso algum #ator e&terno ocorra 4e&. ueda de energia" ueda da

cone&ão com internet" alteração no sistema ou web site no ual ! #eita a automação5

Caso e&ista um pro(lema uanto alteraç$es no sistema ou web site, em ue#ora #eita a automação con#orme e&emplo citado acima" a manutenção ! simples e

rápida" sendo aplicada em um c=digo e replicado para os demais.


9/11

9

!. FUNDAMENTAÇO TE%RICA

A(ai&o segue um e&emplo dos (en#ic0os uanto a automatiação de

processos segundo Sana! Mo"a#atra autor do livro $usiness %rocess &utomation.

7he (ene#its o# (usiness process automation are signi#icant. Consolidatingmultiple (usiness processes through automation provides man> (ene#its anddelivers a strong return on the investment that the organiation encounters.?educed costs associated @ith additional applications and maintenance#ees. ?educed I7 sta## time supporting" maintaining and providing training on

numerous applications. *impli#> client interactions through various @e((ased services. +nhance data sharing" colla(oration and s>nerg> (et@een(usiness groups. :enerate metrics and reports on productivit>" trends" andper#ormance to manage @or)#lo@ and resources e##ectivel> and optimieteam e##ectiveness. 4S&N'&( M)H&%&TR&" 622" 65.

Como e&posto na citação acima temos como principal ponto" a redução de

gastos com treinamento e um aumento na produtividade e visi(ilidade.

%ther (ene#its o# process automation includes repeata(ilit>" automaticremediation" accurac>" #le&i(ilit>" audit a(ilit>" scripting" o## shoring" visi(ilit>"

(readth o# solution" time to mar)et" support availa(ilit> reuirements"scala(ilit>" capacit> planning" continuous upgrades" monitoring o# #ree space"alerting" reporting accurac> and proactive trou(leshooting. 4S&N'&( M)H&%&TR&" 622" 65.

7emos como outros (ene#0cios" assertividade" #le&i(ilidade" visi(ilidade de

soluç$es" tempo de mercado" escala(ilidade" capacidade de planejamento"

atualiaç$es continuas" monitoramento do espaço livre" alertas" reporta pro(lemas

com pro atividade e assertividade.

5. METODOLOGIA

*erá realiado o desenvolvimento dos c=digos" e&ecução dos sistemas"

análise dos resultados e ela(oração de um relat=rio com e&pondo os pontos

positivos e negativos de cada tecnologia.


10/11

10

#. RESULTADOS ESPERADOS

+speramos ue os resultados uanto as tecnologias de web crawling, se

mostrem in#initamente superiores uanto a interação humana.

+&pondo de #orma clara e impactante os (ene#0cios na automação de

atividades repetitivas.

&. CRONOGRAMA DE DESENVOLVIMENTO

'()*+, 1 Calendário de e&ecução das atividades do Projeto e do7ra(alho de Conclusão de Curso

ATIVIDADE2015 201#

A G O

S E T

O U T

N O V

D E -

J A N

F E V

M A R

A B R

M

A I

J U N

+scolha do tema E E

?evisão (i(liográ#ica E E E

+la(oração do projeto E E E E

+ntrega do projeto E

+la(oração da monogra#ia 47CC5 E E E

?ealiação dos cap0tulos E E E E

?ealiação da conclusão e introdução E E

Correção de te&tos E E E E E E E E E

+la(oração de elementos pr! e p=ste&tuais

E E

+ntrega da monogra#ia E


11/11

11

De#esa da monogra#ia E

. REFER$NCIAS

*%:?ADF. ?+DG%H. THE REDMON/ PROGRAMINGLANGUAGE RAN/INGS JUNE 2015. Dispon0vel emJKhttpJLLredmon).comLsograd>L62-9L2

Documents

TCC - Wellington Martins