Universidade de Sao PauloInstituto de Matematica e Estatıstica

BoraLa

Sistema de Compartilhamento deRoteiros de Viagem

Fase 5 - Teste de Usabilidade

Disciplina: MAC5786Princıpios de IHC

Prof. Carlos Hitoshi Morimoto

Andrew Toshiaki Nakayama KurauchiAlexandre Martins Ferreira de Sousa

Alexandre MorimitsuVinıcius Kiwi Daros

Sao Paulo, Brasil4 de junho de 2012

1 Site do projetoAs fases anteriores do projeto podem ser encontradas em:

http://www.ime.usp.br/˜alemart/mac5786/

2 O Teste de UsabilidadeAs sessoes de testes de usabilidade do prototipo com usuarios foram feitas seguindo as ativida-des descritas abaixo. Antes do inıcio de cada sessao, o ambiente de teste foi preparado de modoque as paginas dos questionarios, bem como a propria pagina inicial do BoraLa, ja estivessemabertas em abas no navegador. Alem disso, o aplicador do teste ja estava com o roteiro dastarefas a serem feitas em maos.

1. Primeiramente, foi dada uma rapida introducao a ideia do BoraLa, onde basicamente seapresentou a motivacao para o uso do sistema;

2. Em seguida, foi pedido ao usuario para preencher o questionario pre-teste;

3. Feito isso, a pagina inicial do BoraLa foi aberta e o aplicador do teste passou a pedir parao usuario realizar uma serie de tarefas no sistema. No total, foram 11 tarefas, sendo queo aplicador so pedia a tarefa seguinte depois que o usuario tivesse completado a tarefaanterior;

4. Uma vez que todas as tarefas tenham terminado, foi dada ao usuario a oportunidade deexplorar o prototipo;

5. Cumpridas essas etapas, pediu-se para o usuario preencher o questionario pos-teste e sefinalizou a secao.

Durante a sessao, o aplicador nao deu dicas nem tirou duvidas quanto a forma de se cum-prir as tarefas. Assim, os usuarios tiveram um cenario de uso real, com as proprias telas dosistema sendo a fonte de informacao e sem auxilio externo. Em media, os usuarios gastaramaproximadamente 10 minutos no teste, incluindo o tempo de preenchimento dos questionarios.

2.1 TarefasDurante o teste, foi pedido aos usuarios para que uma serie de tarefas fossem cumpridas. Essastarefas, alem de simularem os principais usos do BoraLa, foram colocadas em uma ordem naqual o prototipo fosse capaz de responder de modo muito proximo ao esperado do sistema emreal funcionamento.

O fluxo de tarefas usado no teste esta mostrado abaixo:

1. Efetue um logout.

2. Efetue um login. Obs: Voce pode inventar um usuario e senha e supor que eles existam.

3. Procure por Quito, capital do Equador.

2

4. Tente encontrar mais detalhes sobre a cidade e comentarios feitos por outros usuariossobre essa cidade.

5. Suponha que voce tenha visitado Quito, achou legal, e queira registrar isso. Adicione umcomentario a cidade informando que voce gastou R$ 500,00, se hospedou no “GrandeHotel” e visitou o “Museu Velho”;

6. Suponha que voce esta planejando uma viagem para Europa e ja tenha cadastrado umroteiro chamado “Roteiro pela Europa”. Procure por pontos turısticos de Paris para adi-cionar a esse roteiro.

7. Adicione a Torre Eiffel ao roteiro “Roteiro pela Europa”

8. Agora, voce vai querer editar o seu roteiro pela Europa. Entre na pagina de roteiros.

9. Inclua a Torre Eiffel na sua programacao do primeiro dia.

10. Exclua a “Praia Artificial P” do segundo dia de viagem do seu roteiro.

11. Suponha que voce ja tenha viajado para Paris, visitou uma praca comercial que nao tinhavisto no BoraLa e teve as seguintes impressoes:

• E um otimo lugar para comer e fazer compras;

• Furtaram seu mp3 player enquanto voce estava la;

• No total, voce gastou R$ 80,00 no passeio;

Agora, voce quer que adicionar esse ponto turıstico ao BoraLa para que outros usuariospossam incluir esse local em seus roteiros. Faca isso.

3 Os ParticipantesO teste foi realizado com cinco participantes. Abaixo, vamos descreve-los...

Participante 1Descricao:

Estudante universitario, 19 a 21 anos, com grande familiaridade em relacao ao uso dainternet.

Dificuldades:

• O usuario criticou a tela de detalhes de ponto turıstico em relacao a visibilidadedos comentarios, pois so descobriu a existencia destes apos algum tempo, quandodecidiu rolar a pagina.

• Completou prontamente tarefas como: login, logout, cadastro de ponto turıstico,etc.

• O participante “patinou” completa e absolutamente quando foi pedido que adicio-nasse um item ao roteiro.

3

– Ele nao entendeu o botao de “+” (durante muito tempo, sequer percebeu que obotao existia), que e usado para adicionar um ponto turıstico ao roteiro.

– Ele confundiu esta tarefa com a de organizacao de roteiros e, logo em seguida,comecou a “andar em cırculos” pelo site, dizendo “nao sei o que fazer”, “naofaco a mınima ideia”, etc. Tivemos que pular momentaneamente a tarefa.

– O participante eventualmente entendeu a metafora do botao de “+”: entre omomento em que pulamos a tarefa e o da compreensao da funcionalidade,passaram-se aproximadamente vinte minutos.

• Apesar das dificuldades, no questionario o participante classificava os recursos dosistema como “medio” a “muito faceis” de usar.

Reacoes:

• Adorou a tela de organizacao de roteiros, principalmente por causa do recurso dearrastar e soltar: ele entendeu rapidamente o mecanismo.

• Nao usou o slider de fotos em momento algum.

• Outro fato curioso que aconteceu foi que, na tarefa de localizar Quito, o participantefoi ate o mapa e localizou corretamente a capital do Equador, porem nao encontrouo registro correspondente no sistema. Em seguida, quando pedido para encontrarmais detalhes/comentarios sobre a regiao, ele utilizou a ferramenta de busca e soentao achou o registro do lugar.

• A cada tarefa concluıda, o usuario comemorava. :-)

Participante 2Descricao:

Estudante universitaria, com idade entre 22 e 25 anos, que faz viagens com grandefrequencia, ja utiliza sites especializados para fazer o planejamento e participou do testecom prototipo de baixa fidelidade.

Dificuldades:

• Mesmo havendo um link “Enviar foto”, a usuaria nao o enxergou e ficou com aimpressao de que nao era possıvel adicionar novas fotos;

• Em virtude de ja ter tido um contato previo com o sistema, na versao de prototipode baixa fidelidade, a usuaria nao encontrou dificuldade para realizar as tarefas pro-postas.

Reacoes:

• A usuaria se queixou por nao haver um modo de adicionar comentarios na propriapagina de cadastro de novo local;

• Na mesma pagina, a usuaria disse que seria util permitir escrever uma justificativapara cada nota;

4

• Ao digitar um texto no campo de busca, a usuaria pressionou a tecla Enter e, ao verque nada aconteceu, a pressionou mais duas vezes. So entao decidiu clicar no botaoBuscar;

• Na tela de roteiros, ao clicar e arrastar as opcoes para cada dia do roteiro, a usuariadisse “Isso ficou bem legal”;

• Depois do teste, a usuaria perguntou: “E voces vao deixar isso aberto na internetpara todo mundo usar?”. Isso porque ela pensou que o prototipo era o sistemaparcialmente funcional e queria usa-lo para as proximas viagens e mostra-lo paraamigos.

Participante 3Descricao:

Funcionaria publica, com idade entre 22 e 25 anos, que faz viagens com grande frequenciae que utiliza com frequencia sites especializados para planejar suas viagens.

Dificuldades:

• Na tarefa de buscar pontos turısticos, a usuaria se utilizou da barra de busca, masnao notou os pontos turısticos relacionados na pagina de detalhes das cidades;

• O ıcone para adicionar um item a um roteiro nao foi compreendido de forma intui-tiva;

• A usuaria nao percebeu inicialmente que os dias nos roteiros podiam ser expandidose ocultados.

Reacoes:

• Assim como o participante anterior, o usuario se queixou de ter que clicar com omouse para buscar, ao inves de apenas apertar Enter;

• A participante gostou da ideia de poder organizar os roteiros por dia e achou intuitivoa montagem dos mesmos;

• Apesar de alguns problemas, a participante julgou o sistema como “intuitivo e facilde usar”.

Participante 4Descricao:

Estudante, com idade entre 22 e 25 anos que faz viagens com grande frequencia, sempreutilizando sites especializados para planejar suas viagens.

Dificuldades:

• Preencheu o campo “Paıs” no cadastro de um novo ponto turıstico com o nome dacidade (Paris), pois ele esta logo abaixo do campo de “criar novo(a)”;

• A participante nao enfrentou grandes dificuldades por ser uma usuaria bastante ativade diversos sites de viagens.

5

Reacoes:

• Assim como os participantes anteriores, a usuaria se queixou de ter que clicar como mouse para buscar, ao inves de apenas apertar Enter;

• Executou as tarefas de maneira bastante natural e rapida;

• Apesar de alguns problemas a participante gostou do sistema e disse que usaria paraplanejar suas viagens.

Participante 5Descricao:

Engenheiro, com mais de 41 anos, com pouca familiaridade com a internet, que faz via-gens internacionais longas com uma certa frequencia, utilizando alguns sites especializa-dos para planejar suas viagens.

Dificuldades:

• Assim como a participante 4, preencheu o campo “Paıs” no cadastro de um novoponto turıstico com o nome da cidade (Paris), pois ele esta logo abaixo do campo de“criar novo(a)”;

• O usuario nao encontrou os outros comentarios no final da pagina (nao procurounada que nao estivesse na parte visıvel inicialmente);

• O participante nao encontrou o local para adicionar novos comentarios;

• O participante entrou na pagina de detalhes de um ponto turıstico e nao encontrouuma forma de adiciona-lo a um roteiro;

• O usuario nao encontrou a seta para mostrar as informacoes de um dia do roteirocom informacoes escondidas;

• O participante ficou em duvida quanto ao significado de “site oficial”.

Reacoes:

• O usuario achou bastante intuitivo arrastar um item para adiciona-lo a um dia doroteiro;

• O usuario achou intuitivo clicar no botao X para remover um item do roteiro.

• O participante se sentiu bastante perdido para realizar as acoes. Sentiu falta de textosexplicativos e disse que nao achou o sistema muito “amigavel”.

4 ResultadosDepois de realizarmos o teste de usabilidade com os participantes, pedimos que eles preen-chessem um questionario sobre a experiencia. As 4 primeiras questoes tinham como objetivodetectar o quao facil ou difıcil foi, para o usuario, utilizar algumas das funcionalidades do sis-tema. Para a obtencao destes dados, foram utilizadas escalas de Likert.

Abaixo estao os resultados:

6

Figura 1: Dificuldade de realizar as tarefasFigura 2: Dificuldade de encontrar destinos epontos turısticos

Figura 3: Dificuldade de adicionar destinos epontos turısticos aos roteiros Figura 4: Dificuldade de planejar um roteiro

As duas questoes a seguir tratavam de detectar quais funcionalidades eram mais difıceis euteis, respectivamente. Para estes dois itens, havia algumas opcoes pre-definidas, das quais ousuario deveria escolher uma.

A lista de opcoes disponıveis era a seguinte:

• Encontrar informacoes sobre um destino ou ponto turıstico;

• Adicionar sua opiniao sobre um destino ou ponto turıstico;

• Incluir destinos ou pontos turısticos em um roteiro;

• Organizar os passeios dentro dos dias de um roteiro;

• Cadastrar um novo destino ou ponto turıstico no sistema;

Ao final do questionario, havia duas questoes abertas: a primeira requisitava ao usuario quelistasse funcionalidades que nao foram implementadas mas que poderiam melhorar o sistema.A segunda era um campo para digitar qualquer tipo de comentario referente ao sistema em si.

5 Comentarios dos UsuariosA seguir, apresentaremos os comentarios mais relevantes feitos pelos usuarios durante as sessoesde teste de usabilidade.

7

Figura 5: Tarefa mais difıcil de realizar Figura 6: Melhor funcionalidade do sistema

“Sou um usuario mais velho que nao acha as coisas muito intuitivas, por issobaloes com o significado dos botoes ajudariam”

“Depois que coloco um comentario seria legal se aparecesse uma mensagem dotipo ‘agradecemos pelo seu comentario’, ou algo assim”

“Nao gosto desses botoes de avaliacao, nao e possıvel arrasta-los”

“Seria legal colocar um tıtulo no comentario para nao precisar ler tudo o quetodos escrevem e ja ter uma ideia geral do que as pessoas pensam, principalmentequando tem muitos comentarios”

“No roteiro, ‘Dia 1’ nao e muito esclarecedor. Acho que a data ou o dia dasemana seriam mais adequados”

6 Problemas EncontradosCom base no retorno fornecido pelos usuarios, foi possıvel levantar alguns problemas de inter-face. Abaixo, listaremos os principais problemas, juntamente com uma graduacao entre 1 e 5pontos (pts), sendo que essa pontuacao e diretamente proporcional a importancia do problema.

Tecla Enter para buscar - 5 ptsNo campo de busca, e preciso habilitar a tecla Enter para ter a mesma funcionalidade de clicarno botao “buscar”.

Comentarios com muito texto - 5 ptsColocar tıtulos nos comentarios, para passar uma ideia geral do seu conteudo de forma rapida.

Nao e facil encontrar roteiros publicos de outros usuarios - 5 ptsNao e possıvel por exemplo encontrar roteiros em Quito de forma facil. Mostrar roteirospublicos na pagina de detalhes de uma cidade e permitir a busca por roteiros.

8

Adicionar itens da pagina de detalhes a um roteiro - 5 ptsNao e possıvel adicionar um item a um roteiro quando se esta em sua pagina de detalhes.

Muito espaco em branco - 5 ptsPor esse motivo muita informacao nao fica visıvel inicialmente (como a lista de comentarios).

Moedas utilizadas - 4 ptsNos campos de texto para se preencher gastos nao fica claro qual e a moeda que deve serutilizada.

Datas do roteiro nao sao editaveis - 4 ptsNao e possıvel mudar as datas.

Botoes nao sao auto explicativos - 4 ptsOs ıcones dos botoes, principalmente o “+”, deveriam ser substituıdos por outros mais in-tuitıvos.

Posicao do campo ‘nome’ no cadastro esta confusa - 4 ptsUsuarios preenchem o campo de texto logo em seguida de “Cadastrar novo(a)” com a informacaodo nome, mas esse na verdade e o campo de “Paıs”.

Nao e possıvel saber se a entrada sendo cadastrada ja existe - 3 ptsSeria interessante ir mostrando sugestoes de entradas existentes no banco enquanto o usuariodigita o nome (tanto na tela de cadastro quanto ao adicionar lugares onde ficou e que visitou emum comentario).

Funcao de rolar pelas fotos - 3 ptsO slider de fotos na pagina de detalhes nao foi muito bem percebido. E preciso mudar o visualdessa parte e adicionar setas para esquerda e direita para servirem de botoes de rolagem.

Navegacao ruim a partir da tela de roteiro - 3 ptsNao e possıvel voltar para a tela de resultados de busca ou detalhes de um item a partir da telade roteiro.

Navegacao ruim a partir da tela de detalhes - 3 ptsNao e possıvel ir para a tela de detalhes da cidade a partir das telas de detalhes de pontosturısticos, alimentacao e hospedagem.

9

Nao e possıvel adicionar gastos extras em um roteiro - 3 ptsColocar campos para adicionar gastos extras, como transporte publico, ou lanches de rua, ououtros gastos que nao aparecem no roteiro como “Destinos em vista”.

“Gasto medio por dia” nao e adequado em alguns casos - 2 ptsEm refeicoes e entrada de museus esse texto nao faz muito sentido.

Botoes de avaliacao nao sao arrastaveis - 2 ptsOs botoes de avaliacao deveriam ser arrastaveis.

O link para a tela de cadastro tem o nome muito grande - 1 ptsTalvez utilizar “Adicionar nova entrada”.

Campos na pagina de cadastro estao faltando - 1 ptsNao e possıvel indicar a cidade de atracoes turısticas, hospedagem e refeicao.

7 Telas do PrototipoNessa secao, apresentaremos todas as telas do prototipo com as quais os usuarios interagiram.

10

Figura 7: Pagina inicial do BoraLa

11

Figura 8: Resultados de busca

12

Figura 9: Pagina de detalhes13

Figura 10: Pagina para edicao de roteiros

Figura 11: Pagina de cadastro de um novo local, estabelecimento ou ponto turıstico

Figura 12: Pagina do perfil de um usuario

14