A Avaliao de Estudantes em Ambientes de Aprendizagem Cooperativa

Apoiados por Computadores Flvia Maria Santoro1

flavia@cos.ufrj.br

Neide Santos2

neide@ime.uerj.br Marcos R. S. Borges3

mborges@nce.ufrj.br

ABSTRACT

In the last few years, the Internet has become the most up-to-date way of structuring educational settings. The Web can enhance teaching and learning by giving students access to a set of information tools, and supporting current needs, such as cooperative learning. As a result, Computer-Supported Cooperative Learning (CSCL) has grown rapidly. Studies of CSCL show how computer science can support learning processes promoted by the cooperative efforts of students working at a given task. CSCL holds many-sided features, and its classroom use faces many problems. The analysis of CSCL reveals the existence of an expressive number of environments, however there are few references for individual and group assessment. Moreover, to assess students' performance is an important component of the learning process. We designed an infrastructure to support the development of cooperative environments in the domain of project-based learning. It is based on the hypothesis that CSCL environment designers do not know how to handle the educational domain, while teachers do not know how to handle computational technologies. This article aims to describe how students assessment is understood and supported in our infrastructure. For that, we offer an overview of cooperative learning and discuss computer-supported cooperative learning environments. We briefly describe our infrastructure and outline its assessment procedures and instruments.

RESUMO

A Internet tornou-se o meio mais promissor para a estruturao de novas propostas educacionais. Diferentes enfoques de aprendizagem baseada na Web esto sendo apresentados visando enriquecer o processo de ensino e de aprendizagem, entre eles, a aprendizagem cooperativa. A aprendizagem cooperativa apoiada por computador (CSCL) tambm tem se popularizado rapidamente e se constitui como uma rea de estudos que trata de formas pelas quais a tecnologia pode apoiar os processos de aprendizagem promovidos atravs de esforos colaborativos entre estudantes trabalhando em uma dada tarefa. Os ambientes CSCL manejam muitas dimenses, entre elas as cognitivas e as sociais, e seu uso nas salas de aula enfrenta srios problemas. A anlise da rea mostra a existncia de um nmero expressivo de ambientes CSCL, mas poucas so as referncias avaliao do progresso dos estudantes. Avaliar os estudantes , contudo, um aspecto importante da aprendizagem. Ns desenvolvemos uma infra-estrutura para dar suporte ao desenvolvimento cooperativo de projetos educacionais. Nossa crena a de que os professores precisam de ambientes flexveis, nos quais eles possam imprimir sua proposta educacional. Neste artigo, mostramos como a avaliao dos estudantes compreendida e apoiada na infra-estrutura. Para tanto, apresentamos uma viso geral de aprendizagem cooperativa e de ambientes CSCL, para a seguir, descrever nossa proposta de avaliao.

1 ,3 Universidade Federal do Rio de Janeiro 1 Programa de Engenharia de Sistemas e Computao COPPE/Sistemas Caixa Postal 68 511 - 21 945 270 - Rio de Janeiro -Brasil 3 Departamento de Cincia da Computao - Ncleo de Computao Eletrnica Caixa Postal 2324 - 20001-970 - Rio de Janeiro Brasil Fone: +55 21 590-2552 2Universidade do Estado do Rio de Janeiro Departamento de Informtica e Cincia da Computao Rua So Francisco Xavier, 524, 6 andar, Bloco B, Prdio Joo Lira Filho 20550-013 - Rio de Janeiro Brasil

2

Introduo

A Internet torna-se cada vez mais um meio de apoio estruturao de novas propostas

educacionais. Diferentes enfoques de aprendizagem baseada na Web esto sendo

apresentados, visando enriquecer o processo de ensino e de aprendizagem, entre eles, a

aprendizagem cooperativa. A aprendizagem cooperativa apoiada por computador (Computer-

Supported Cooperative Learning - CSCL, em ingls) tambm tem se popularizado

rapidamente. Ela constitui-se como uma rea de estudos que trata de formas pelas quais a

tecnologia pode apoiar os processos de aprendizagem promovidos atravs de esforos

colaborativos entre estudantes trabalhando em uma dada tarefa.

A anlise da rea de CSCL revela a existncia de um nmero expressivo de ambientes

para a aprendizagem cooperativa, mas poucas so as referncias avaliao do progresso

acadmico do estudante e do grupo. Neste artigo, apresentamos uma abrangente viso geral da

aprendizagem cooperativa e um estado da arte em aprendizagem cooperativa apoiada por

computador. A seguir, discutimos a avaliao de estudantes em ambientes cooperativos.

Aprendizagem Cooperativa

Cooperar atuar junto, de forma coordenada, no trabalho ou nas relaes sociais para atingir

metas comuns, seja pelo prazer de repartir atividades ou para obter benefcios mtuos

(Argyle, 1991). O sistema educacional pode no estar particularmente preocupado em

promover a cooperao no processo de aprendizagem, mas, de alguma forma, os alunos

trabalham juntos informalmente e compartilham sua aprendizagem, dependendo de um

contexto especfico. Os alunos cooperam porque percebem as vantagens de compartilhar o

que sabem e intuitivamente adotam uma viso social do processo de aprendizagem.

A aprendizagem cooperativa uma tcnica com a qual os estudantes se ajudam no

processo de aprendizagem, atuando como parceiros entre si e com o professor, e visando

adquirir conhecimento sobre um dado objeto. Alguns fatores so fundamentais para que se

estabelea um processo cooperativo: responsabilidade individual por informaes reunidas

pelo esforo do grupo; interdependncia positiva, de forma que estudantes sintam que

ningum ter sucesso, a no ser que todos tenham sucesso; e desenvolvimento da habilidade

de analisar a dinmica do grupo e trabalhar a partir dos problemas.

A aplicao de tcnicas aprendizagem cooperativa na educao formal importante

no s para a obteno de ganhos em relao ao prprio processo ensino-aprendizagem, mas

3

tambm na preparao dos indivduos para situaes futuras no ambiente de trabalho, onde

cada vez mais atividades exigem pessoas aptas ao trabalho em equipe. Kaye (in Barros, 1994)

resume os seis elementos mais importantes na definio do campo de aprendizagem

cooperativa:

1. A aprendizagem um processo inerentemente individual, no coletivo, que influenciado

por uma variedade de fatores externos, incluindo as interaes em grupo e interpessoais.

2. As interaes em grupo e interpessoais envolvem um processo social na reorganizao e

na modificao dos entendimentos e das estruturas de conhecimento individuais e,

portanto, a aprendizagem simultaneamente um fenmeno privado e social.

3. Aprender cooperativamente implica na troca entre pares, na interao entre iguais e no

intercmbio de papis, de forma que diferentes membros de um grupo ou comunidade

podem assumir diferentes papis (aprendiz, professor, pesquisador de informao,

facilitador) em momentos diferentes, dependendo das necessidades.

4. A cooperao envolve sinergia e assume que, de alguma maneira, o todo maior do que

a soma das partes individuais, de modo que aprender, desenvolvendo um trabalho

cooperativamente, pode produzir ganhos superiores aprendizagem solitria.

5. Nem todas as tentativas de aprender cooperativamente sero bem sucedidas, j que, sob

certas circunstncias, pode levar perda do processo, falta de iniciativa, mal-entendidos,

conflitos, e descrdito: os benefcios potenciais no so sempre alcanados.

6. Aprendizagem cooperativa no significa necessariamente aprender em grupo, implicando

na possibilidade de poder contar com outras pessoas para apoiar sua aprendizagem e dar

retorno se e quando necessrio, no contexto de um ambiente no competitivo.

Slavin (1995) considera quatro principais perspectivas tericas responsveis por

explicar os efeitos produzidos pela aprendizagem cooperativa: perspectivas de motivao,

perspectivas de coeso social, perspectivas cognitivas de desenvolvimento, e perspectivas

cognitivas de elaborao. As perspectivas de motivao tm foco na recompensa sob a qual os

estudantes operam, ou seja, criada uma situao, onde os membros do grupo s conseguem

realizar os objetivos pessoais, se o grupo for bem sucedido. Desta forma, os membros do

grupo devem ajudar aos outros e incentiv-los a se esforarem ao mximo. As perspectivas de

coeso social argumentam que os efeitos da aprendizagem cooperativa acontecem por conta

da unio do grupo, isto , os estudantes ajudam os outros porque desejam o seu sucesso.

Segundo as perspectivas cognitivas, as interaes entre os estudantes iro por si s melhorar

4

seu aprendizado por razes relacionadas aos seus processos mentais. Duas perspectivas

cognitivas diferentes podem ser descritas: perspectivas de desenvolvimento e de elaborao.

A perspectiva de desenvolvimento cognitivo assume fundamentalmente que a interao entre

aprendizes em tarefas apropriadas aumenta sua mestria em conceitos crticos. Esta perspectiva

se fundamenta na teoria de zona proximal de desenvolvimento de Vygotsky e nos estudos de

Piaget. A perspectiva de elaborao est fundamentada em pesquisas da rea de psicologia

cognitiva, que sustentam o fato de que informaes retidas na memria esto relacionadas a

outras retidas anteriormente. Ento, entende-se que, para aprender, o sujeito deve estar

engajado em algum tipo de reestruturao cognitiva, ou elaborao. Um dos mais eficazes

meios de elaborar atravs da explicao do material que est sendo elaborado para algum.

Desta forma, o aprendiz que apresenta a explicao aprende muito mais do que em um estudo

solitrio. Para Slavin (1995), todas as perspectivas apresentadas se aplicam em alguma

circunstncia, mas nenhuma delas suficiente para todas as circunstncias de aprendizagem.

Um dos fatores mais importantes que regulam a colaborao a teoria de

aprendizagem na qual a interao cooperativa ser baseada. As teorias de aprendizagem

buscam reconhecer a dinmica envolvida nos atos de ensinar e aprender partindo do

reconhecimento da evoluo cognitiva do homem, e tentam explicar a relao entre o

conhecimento pr-existente e o novo conhecimento. A aprendizagem no seria apenas

inteligncia e construo de conhecimento, mas basicamente a identificao pessoal e a

relao atravs da interao com outras pessoas. Vrias teorias construtivas contribuem para

o entendimento de aprendizagem cooperativa. Elas tm como ponto comum a viso de que

indivduos so agentes ativos, que, a partir de seus objetivos, buscam e constroem

conhecimento dentro de contextos significativos.

Dillenbourg, Mendelsohn e Schneider (1994) afirmam que existem trs abordagens

tericas diferentes, que tratam do entendimento da natureza da aprendizagem cooperativa,

enfocando a viso do indivduo (sistemas cognitivos independentes que interagem), ou do

grupo (sistema cognitivo com caractersticas prprias). So elas:

Abordagem Scio-Construtivista

Baseados nos conceitos de conflito e coordenao de pontos de vista, extrados do

trabalho de Piaget, foram realizados estudos sobre o papel da interao social no

desenvolvimento cognitivo do indivduo. A abordagem aponta o desenvolvimento cognitivo

como resultado de uma espiral de causalidade, onde um nvel de desenvolvimento permite a

5

participao em certas interaes sociais, que por sua vez produzem novos estados

individuais, permitindo interaes sociais mais sofisticadas e assim por diante. Experimentos

realizados seguem um processo de trs estgios: pr-teste, aprendizagem individual ou

colaborativa e ps-teste. Desta forma, o desempenho dos alunos nos pr e ps-testes medido

e os resultados da aprendizagem individual e em grupo so comparados.

Abordagem Scio-Cultural

Esta abordagem tem fundamentao na teoria desenvolvida por Vygotsky e est

focalizada na relao de causalidade entre a interao social e mudanas cognitivas no

indivduo. Vygotsky definiu a Zona Proximal de Desenvolvimento como a distncia entre o

nvel desenvolvimento atual, determinado pela capacidade de resolver problemas

individualmente, e o nvel de desenvolvimento potencial de um indivduo, determinado

atravs da soluo de problemas sob a superviso ou em colaborao com pares mais capazes

do que ele, atribuindo assim significado ao grau de diferenas entre co-aprendizes. De

acordo com esta abordagem, experimentos tm foco nos processos de interao social, e no

nos resultados como na abordagem scio-construtivista.

Abordagem Cognio Compartilhada ou Situada

Nesta abordagem, o ambiente, que inclui um contexto fsico e um contexto social,

parte integral da atividade cognitiva, e no apenas um conjunto de circunstncias no qual

processos cognitivos independentes de contexto acontecem. O foco da abordagem est no

contexto social, e no s no grupo temporrio de colaboradores, mas nas comunidades sociais

das quais eles participam. O grupo forma um sistema cognitivo nico, onde concepes

emergentes so analisadas como produto do grupo e no de cada indivduo isoladamente.

Uma questo como implementar as posies tericas no contexto escolar. A prtica

pedaggica construtiva requer a proposio de projetos autnticos e desafiadores reunindo

alunos, professores e especialistas em uma comunidade de aprendizagem (Squires &

McDougall, 1998). Em uma situao autntica, os alunos assumem a responsabilidade sobre a

aprendizagem, desenvolvendo meta-habilidades cognitivas para monitorar e dirigir a

aprendizagem e o desempenho. As situaes autnticas de aprendizagem so complexas e do

oportunidades diversificadas para os estudantes explorarem suas idias de forma realstica e

convincente. Estas situaes caracterizam-se por: (i) serem construdos em torno de tarefas

concretas; (ii) apoiarem mltiplas perspectivas, ou seja, os alunos devem ter a oportunidade

de ver um problema de diferentes pontos de vista, negociando e dividindo conhecimento e

6

tomadas de deciso; e, (iii) promoverem a construo social do conhecimento com a melhoria

da aprendizagem atravs da colaborao e da discusso.

Aprender de forma cooperativa independe do uso das novas tecnologias, exigindo

basicamente uma postura pedaggica inovadora. Mas, a popularizao da Internet est

forjando um espao para que a aprendizagem cooperativa ocorra fora dos limites das salas de

aula, ao fornecer suporte cada vez mais estvel, seguro e amigvel para a criao de

ambientes de aprendizagem cooperativa, onde alunos e professores cooperam entre si, sem as

limitaes de barreiras geogrficas e de tempo.

Aprendizagem Cooperativa Apoiada por Computador

CSCL cresce com o avano da rea de trabalho cooperativo apoiado por computador

(Computer-Supported Cooperative Work CSCW) e com necessidade do sistema educacional

incorporar a cooperao ao processo de aprendizagem. CSCW uma rea de estudos da

cincia da computao que tem como foco as tcnicas de comunicao empregadas para dar

suporte cooperao, principalmente em negcios. O suporte computacional empregado

denominado de groupware, que fornece uma interface para um ambiente compartilhado e

apia tarefas cooperativas tpicas, como escrita coletiva, compartilhamento de calendrios,

acesso base de dados e reunies eletrnicas.

A pesquisa na rea cobre no apenas as tcnicas de groupware, mas tambm seus

efeitos sociais, psicolgicos e de aprendizagem. O suporte dado por computadores

aprendizagem cooperativa tem como objetivo melhorar a aprendizagem de forma dinmica,

apresentando sistemas que implementam o ambiente de cooperao com papel ativo em sua

anlise e controle. O sistema deve dar os meios para cooperao, e tambm analisar e

direcionar as interaes baseando-se em seu contedo. As interaes entre os estudantes so

monitoradas e controladas pelo sistema de cooperao, que se concentra no refinamento e

integrao do processo de aprendizagem e no assunto de conhecimento dos alunos, apoiando

a cooperao entre pares. Dependendo do tipo de tarefa cooperativa a ser realizada, este

suporte pode ser empregado para tratar de aprendizagem de conceitos, soluo de problemas e

desenvolvimento de projetos. O suporte computacional oferecido sustenta-se na forma de

cooperao utilizada (sncrona ou assncrona), na ferramenta empregada (fruns, listas de

discusso e editores cooperativos), no tipo de tarefa cooperativa (resoluo de problemas,

7

desenvolvimento de projeto, discusso de textos), acomodando uma viso construtiva da

aprendizagem e utilizando as funcionalidades presentes nos groupware.

Apesar de seu potencial, os ambientes CSCL apresentam srios problemas de uso.

Freqentemente, assume-se que a aprendizagem um produto natural de projetos em grupo e

que disponibilizar ferramentas cooperativas em um ambiente CSCL suficiente para

incentivar a cooperao entre os participantes do projeto. Porm, muitas vezes, a cooperao

no acontece ou articulada externamente atravs da figura do professor responsvel. Alguns

autores relatam problemas ou resultados no esperados, a partir de experincias realizadas

com a utilizao de ambientes de aprendizagem cooperativa apoiados por computador:

Guzdial (1997) aponta que, no caso do ambiente CaMILE, a criao de espao para os

estudantes discutirem e a definio de um tema no levam a uma discusso. O suporte

cooperao deve ser projetado para encorajar as discusses dentro do espao criado.

ONeill (1994) afirma que se no h real interdependncia nas tarefas colaborativas

propostas pelo ambiente, ou seja, se no h um processo colaborativo explcito, o desafio

de estimular a colaborao ser apenas um transtorno. Alm disso, os professores realizam

normalmente o planejamento de suas atividades com certa antecedncia, ento,

importante que os propsitos do ambiente estejam bem claros para eles.

Analisando resultados obtidos com experimentos no ambiente NICE, nos quais a

cooperao esperada no ocorreu, Roussos et al. (1997) observa que aspectos relacionados

seleo e o nmero de membros em um grupo devem ser levados em considerao para

uma combinao cooperativa bem sucedida.

Professores que experimentaram o ambiente CSILE relatam a importncia de um

programa realizado anteriormente sua utilizao, no qual foram explicitadas noes de

processos de grupo (Gay, 1996). Neste caso, torna-se clara a funo do professor na

elaborao e estimulao dos processos colaborativos.

Os resultados experimentais com o uso de ambientes para CSCL no mencionam

como o desempenho e as atitudes do estudante e do grupo so avaliados.

Avaliao de Estudantes em Ambientes Cooperativos

O processo de avaliao consiste em determinar em que medida os objetivos educacionais

esto sendo realmente alcanados. Estes objetivos produzem modificaes desejveis nos

padres de comportamento do estudante. Portanto, a avaliao deve apreciar o

8

comportamento dos estudantes na fase inicial do processo, e em outras posteriormente, para

identificar as mudanas que possam estar acontecendo. Sem saber quais eram as condies

iniciais do estudante, no possvel determinar se houve modificaes. Um outro marco de

avaliao necessrio, tambm, para se obter uma estimativa da permanncia da

aprendizagem, que deve ser realizado aps algum tempo que o ensino se completou.

A avaliao da aprendizagem permite verificar como o aluno est assimilando os

conhecimentos, como isto modifica a sua viso em relao ao mundo, estimula o

desenvolvimento do raciocnio e aumenta a sua capacidade de participao na realidade que

est vivendo. Porm, muitas pessoas consideram avaliao como sinnimo de testes com lpis

e papel. Atravs deles, pode-se verificar a capacidade dos estudantes em analisar e tratar

vrios tipos de problemas verbais, vocabulrio, leitura e outros gneros de habilidade e

aptides facilmente expressos sob forma verbal. Porm, avaliao muito mais do que isso. A

avaliao deve ser reflexiva, crtica, emancipatria e deve buscar uma coerncia na teoria e na

ao. O ajustamento pessoal-social avaliado com mais facilidade pela observao de pessoas

em situaes que envolvam relaes sociais. Outro mtodo de avaliao a entrevista que

pode esclarecer mudanas que estejam ocorrendo nas atitudes, interesses, e apreciaes. A

coleta de resultados concretos da atividade dos alunos um meio til de obter dados sobre o

comportamento.

Ao iniciar uma avaliao, devem ser estabelecidos quais critrios devem ser utilizados.

Os critrios no devem ser confundidos com objetivos: eles referem-se ao que necessrio

aprender, enquanto os objetivos, ao que possvel aprender. Para avaliar, obedecendo aos

critrios escolhidos, necessrio considerar indicadores bastante precisos que sirvam para

identificar as aprendizagens realizadas. Para verificar a eficcia de uma avaliao, algumas

caractersticas devem ser consideradas:

validade: o valor da aprendizagem dentro do contexto e genericamente para a vida do

aluno. O professor deve fazer uma avaliao para verificar se o aluno realmente aprendeu

e no somente para ele obter uma aprovao formal em um curso.

discriminao: ocorre quando os alunos diferenciam-se em vrios nveis de rendimento.

Se a maioria dos alunos obtm conceito suficiente ou bom, mostra que a forma

utilizada para avaliar no discrimina e no eficaz.;

9

dificuldade: o nvel de dificuldade de um teste que aplicado ao aluno. Se mais de 80%

no conseguiu um bom resultado na avaliao, chega-se concluso que estava alm das

possibilidades dos alunos, ou que houve falha no processo de ensino;

objetividade: corresponde ao grau de objetividade de uma atividade de avaliao. Uma

avaliao considerada objetiva quando vrios professores, de modo independente,

atribuem a mesma cotao a ela.

Um dos objetivos da avaliao est em diagnosticar uma deficincia na aprendizagem

para conseguir super-la. Se os estudantes no forem avaliados, podero prosseguir sem

conhecer suas falhas e surgiro dificuldades ao tentarem passar para nveis mais altos de

conhecimento. A avaliao permite que sejam conhecidos os pontos fortes e fracos do

processo de ensino e aprendizagem, facilitando a correo dos problemas.

Scriven (1967) e Stufflebeam (1971) que foram os pioneiros em distinguir duas formas

de avaliao, a formativa e a somativa. Avaliao formativa aquela onde o aluno avaliado

continuamente ao longo do processo de ensino aprendizagem ao qual est submetido, atravs

de suas produes e da observao do professor. Avaliao somativa aquela onde so

estabelecidos marcos e aplicados testes, normalmente no meio e no final do perodo. Para

Bloom (1956), a avaliao formativa fornece feedback aos alunos do que foi aprendido e do

que ainda precisa aprender, permitindo que percebam se esto tendo um bom desempenho ou

que detectem suas dificuldades. O professor tambm recebe um feedback, de modo que possa

identificar falhas e quais pontos devem ser modificados no seu processo de ensino. Para este

autor, a avaliao somativa visa somente a atribuio de notas, tornando-se classificatria, j

que alunos que atingiram aos objetivos determinados so premiados com um avano de

grau. Bloom ainda distingue a avaliao diagnstica, que realizada em dois momentos

distintos: no incio da aprendizagem para verificar se os alunos tm os conhecimentos prvios

sobre o que vai ser ensinado e durante o processo; para agrupar os alunos conforme suas

caractersticas e encaminhar os alunos a estratgias e programas alternativos de ensino.

Sistemas de Avaliao de Aprendizagem

Diversas formas de avaliao tm sido utilizadas e dois sistemas podem ser adotados

para apoiar a avaliao de aprendizagem:

Avaliao tradicional ou classificatria: Neste sistema, avaliar significa prestar exames,

importando muito mais a nota obtida do que todos os resultados construdos durante o

10

processo de aprendizagem numa disciplina. Assim, o foco principal, tanto para alunos

quanto para professores, o resultado das provas, que no final se traduz num simples

nmero ou conceito. Um aspecto da prtica educacional tradicional a forma como se d

o processo de avaliao: apresenta-se o contedo, o que normalmente feito com pequena

interao com os estudantes, so feitas provas envolvendo o contedo apresentado e em

seguida, so atribudas notas aos resultados, encerrando-se a o processo de avaliar. Ao

final do curso, uma nota final ou conceito registrado. O resultado que ao classificar os

alunos deixa-se de realizar o sentido construtivo da avaliao.

Avaliao crtica ou comprometida com a realidade: durante o planejamento de um curso,

deve-se estabelecer o contedo mnimo necessrio a ser efetivamente assimilado pelo

estudante. Cada aluno dever, ao ser aprovado numa disciplina, dominar os conceitos

fundamentais; e enquanto no conseguirem atingir o mnimo necessrio, os estudantes

devero ser reorientados. Neste tipo de sistema, os alunos so observados no desempenho

de suas tarefas dirias, e no s atravs de testes aplicados ocasionalmente. Este sistema

o ideal para apoiar a aprendizagem cooperativa, onde atravs das produes coletivas e

interaes que se verifica a aprendizagem.

A avaliao tem destaque em todos os setores de atividades humanas, no pela

avaliao em si, mas por ser a ela um elemento necessrio ao xito daquilo que se pretende

alcanar. Porm, para que a avaliao cumpra essa funo, preciso que cada instrumento

seja dominado na forma e sua essncia. importante, pois, cuidadoso estudo reflexivo de

cada instrumento verificador, alm do domnio da tcnica especfica de cada um. Cada um

dos sistemas apresentados tem o seu momento de aplicao e cabe ao professor definir o

processo de avaliao dentre a situao de ensino-aprendizagem proposta por ele.

Avaliao em Ambientes Cooperativos Apoiados por Computadores

Est claro que avaliar o progresso do aluno no uma tarefa simples, no entanto, avali-lo

nos ambientes para CSCL uma tarefa ainda mais complexa. Primeiramente, preciso que o

professor tenha mente qual seu entendimento do processo cooperativo e qual seu objetivo

educacional ao adotar um dos enfoques da cooperao. Para Brna (1998), a aprendizagem

cooperativa pode adquirir significados distintos e atender a objetivos educacionais bastante

diferentes. Ela pode significar: (i) suporte diviso de tarefas em partes controladas por

diferentes colaboradores ou o apoio ao esforo conjunto para realizao de uma tarefa sem a

11

diviso de trabalho; (ii) um processo para a realizao de tarefas; (iii) um meio para ajudar a

aprendizagem de alguma esfera de domnio; ou (iv) um fim em si mesmo, onde o objetivo

principal o exerccio da cooperao como forma de ampliar a competncia em trabalhar em

grupos e a autoconfiana dos participantes. Cada um destes significados ir refletir formas

diferentes de estruturar e conduzir as atividades cooperativas, bem como direcionar a poltica

de avaliao a ser adotada.

A aprendizagem cooperativa deveria ser avaliada a partir de um conjunto de diretrizes

pedaggicas que assegure que a cooperao ocorra de forma apropriada e com interaes

positivas entre todos os pares (Kumar, 1996). De forma similar, os sistemas CSCL deveriam

ser capazes de fornecer diferentes tcnicas de avaliar cada estudante e os pares. Para

Woodbine (1997), a avaliao de estudantes em ambientes de cooperao tem acompanhado a

tendncia de avaliar-se no somente o produto da aprendizagem, mas de se avaliar os alunos

considerando tambm os atributos associados aprendizagem cooperativa, tais como:

a interdependncia positiva: processo pelo qual os membros do grupo contribuem para o

esforo do grupo e pode ser caracterizado pelo atingimento de objetivos por consenso, por

um sistema de recompensas mtuas, acordado pelo grupo e pelos papis interdependentes

dos alunos;

a responsabilidade individual: a aprendizagem cooperativa deve assegurar que os

procedimentos de avaliao recompensem adequadamente o esforo do grupo, uma vez

que este enfoque promove o compartilhamento voluntrio do conhecimento adquirido; e

os processos do grupo: representa a essncia da aprendizagem cooperativa uma vez que os

estudantes trabalham juntos construindo habilidades grupais, melhorando a comunicao,

desenvolvendo relacionamentos entre os objetivos comuns.

A popularizao da Internet trouxe para dentro do contexto educacional o uso de

algumas de suas ferramentas de comunicao. As listas e fruns de discusso, correio

eletrnico e chat comeam a ser adotadas pelo seu aparente potencial para ampliar as

atividades tradicionais da sala de aula. Estas ferramentas podem apoiar trs das principais

tarefas do professor: a superviso individualizada, a entrega de contedo curricular e o

incentivo discusso (Bennett, 2000). Embora o uso mais comum das tecnologias on-line

relacione-se ao suporte comunicao professor-estudante e ao envio de trabalhos via correio

eletrnico, h uma crescente adoo de testes para auto-avaliao on-line (OReilly, 2000).

Mas estas tecnologias podem subsidiar uma viso construtiva do processo de avaliao.

12

O ambiente CSILE (Gay, 1996), por exemplo, prov uma base de dados multimdia

coletiva onde ficam armazenadas as idias dos estudantes, em forma de texto ou grfico,

disponibilizadas para todos os participantes. Neste ambiente, o professor e os estudantes

podem monitorar a aprendizagem dos outros, responder s idias e requisitar informaes. As

observaes so feitas por cada usurio sem ajuda ou interferncia do sistema. O processo de

avaliao no apoiado diretamente pelo sistema, mas a base de dados fornece elementos

para que os estudantes e o professor verifiquem o nvel de aquisio de conhecimentos.

Outro caso o Belvedere (Suthers, 1996), desenvolvido para dar suporte prtica de

discusso crtica de teorias cientficas baseado no paradigma colaborativo. No ambiente, as

aes do usurio so monitoradas por um agente inteligente que d sugestes de caminhos a

serem seguidos, provendo feedback para o trabalho dos estudantes. Este feedback est mais

em um nvel de coordenao do que de avaliao. O acompanhamento do contedo discutido

pelos alunos deve ser feito pelo professor sem elementos de suporte do ambiente, a no ser os

prprios diagramas desenhados pelos alunos (produtos).

As experincias com implementao de mecanismos de avaliao podem ser

encontradas em ambientes para a educao a distncia, onde as novas formas de educao que

utilizam a comunicao e a colaborao durante o processo de aprendizagem devem prover

meios de armazenar e disponibilizar as informaes sobre as atividades realizadas para que

um avaliador possa monitorar e avaliar seus estudantes. Maher (1999) prope um framework

para anlise e avaliao de seminrios virtuais observando a participao, contedo

qualitativo e visualizao das atividades colaborativas. A metodologia baseada em pesquisa

feita com o ambiente Virtual Campus. O Virtual Campus usa uma metfora de sala para

organizao da aprendizagem cooperativa, isolando grupos de estudantes segundo as

disciplinas que eles estudam, fornecendo meios para comunicao, compartilhamento de

conhecimentos e armazenagem de informaes.

A avaliao baseada nas informaes observadas durante o processo de interao dos

alunos. H vrias caractersticas, que so observadas durante um seminrio. Por exemplo, o

nvel de participao de cada membro do grupo dado pelo nmero de frases construdas pelo

aluno para explicar ou falar algo. A avaliao de participao individual identifica no

somente a quantidade de contribuio, mas tambm o contedo do que foi apresentado. As

informaes armazenadas podem fornecer indicadores do tipo de colaborao e da extenso

das interaes entre os participantes.

13

Neale e Carroll (1999) desenvolveram um framework de avaliao que captura dados

sobre atividades complexas e distribudas, no contexto do projeto de tecnologia educacional

interdisciplinar chamado Learning in Networked Communities (LiNC). Uma nica interface

integra um conjunto de ferramentas de groupware com vrios mecanismos de comunicao

sncronos e assncronos (Koenemann, Carroll, Shaffer, Rosson e Abrams, 1998). O ambiente

de aprendizagem Virtual School um notebook colaborativo que permite personalizar ou

compartilhar espaos de trabalho para planejamento, organizao, desenvolvimento e fazer

anotaes de projetos cientficos. As ferramentas de comunicao construdas no Virtual

School incluem fruns de discusso estruturados, e-mail, chat em tempo real, e vdeo

conferncia. Um servidor foi implementado para coordenar os usurios. Sistemas de

avaliao quantitativa e qualitativa so aplicadas, como entrevistas, questionrios,

observaes diretas, vdeos, e sistemas logs. Vrias informaes so capturadas como

anotaes, conversas de chat,, e-mail, que sero muito teis para uma posterior avaliao.

O MarkIt ( Eletronic Assessment Software for Distance Education ) um sistema que

foi desenvolvido como o objetivo de prover feedback para estudantes sobre os trabalhos

realizados em cursos a distncia. Suas principais funes so capturar resultados de tarefas,

coordenar e unificar as atividades e permitir que estes resultados recebam comentrios de

especialistas. No caso da avaliao de trabalhos em grupo, MarkIt permite que todos os

estudantes recebam cpias de todos os comentrios relacionados ao grupo avaliado. No caso

da avaliao individual, todos os comentrios sobre os trabalhos de um certo estudante esto

em um formato realado em um relatrio, que no pode ser acessado pelos outros estudantes.

Um exemplo fora do contexto de educao a distncia o trabalho de Mhlenbrock e

Hoppe (1999), que propem um framework para aprendizagem cooperativa apoiada por

computador que tem como objetivo monitorar e gerenciar as interaes entre os grupos em

cenrios locais e distantes. Fornece mecanismos adaptveis para processos de anlise

automatizados assim como para visualizao e feedback e vem sendo testado com vrias

aplicaes como exerccios aritmticos, quebra-cabeas, discusses de grupo e micromundos

controlados por robs. Neste framework, a preocupao com a avaliao sobre a

aprendizagem do trabalho cooperativo. Desta forma, so feitas propostas de exerccios (como

o quebra-cabeas do exemplo) que s podem ser resolvidos em equipe e uma anlise da forma

como o grupo resolve, ou seja, do processo cooperativo feita. Estas informaes podem ser

teis para uma avaliao sobre a interao das pessoas em espaos de trabalho diferentes.

14

Analisando as propostas para avaliao de aprendizagem em ambientes cooperativos,

percebe-se uma tendncia para a realizao do monitoramento do trabalho dos estudantes com

objetivo de fornecer informaes relevantes ao professor sobre o processo de aprendizagem.

Avaliao em uma Infra-estrutura para Aprendizagem Cooperativa

Para apoiar a construo de ambientes particulares para o domnio da aprendizagem

cooperativa baseada em desenvolvimento de projetos, Santoro, Borges e Santos (2000a,

2000b) implementaram uma infra-estrutura pedaggica e computacional bsica que atende

aos seguintes requisitos:

Possibilidade de definio de um processo para o desenvolvimento de projetos

cooperativos particulares - o professor, ou o responsvel pela atividade educacional, deve

ter suporte na definio das tarefas cooperativas, suas interdependncias e fluxo de

trabalho, e como selecionar as ferramentas computacionais mais adequadas para apoi-las.

Desta forma, o ambiente deve ser totalmente configurvel, desde as tarefas at as

ferramentas a serem utilizadas.

Possibilidade de implementao de ferramentas - cada projeto cooperativo pode ser

composto de atividades diferentes e necessitar de ferramentas diferentes para apoi-las. A

infra-estrutura deve prover meios para que novas ferramentas sejam desenvolvidas com

um nvel de complexidade relativamente baixo, de acordo com a demanda.

Possibilidade de armazenamento e consulta a projetos desenvolvidos e sua memria - os

professores e grupos de estudantes devem estar aptos a consultar projetos realizados

anteriormente para expandirem suas idias e no repetirem os mesmos trabalhos.

Acesso ao ambiente atravs da Internet para dar flexibilidade, facilitar a distribuio, uso

em diversas situaes (inclusive distncia), e permitir projetos entre classes diferentes.

O ambiente est baseado em uma arquitetura cliente-servidor, que acessa duas bases de

dados centralizadas. O lado servidor composto pelo Servidor de Projetos, que sendo o

servidor principal, tem como funo ativar os servidores secundrios. O Servidor de Projetos

tambm responsvel pela manuteno da Base de Dados centralizada, formada pelos

documentos relativos aos projetos, e pela Base de Dados centralizada onde so armazenados

documentos de consulta para utilizao nos projetos (Biblioteca de projetos). Um dos

servidores disponveis na infra-estrutura o Servidor de Avaliao, que disponibiliza servios

de coleta de informaes sobre o processo de trabalho e mecanismos para construo de

15

instrumentos de avaliao da aprendizagem dos estudantes. Para isto, feito um

monitoramento de parmetros relativos s interaes entre os membros dos grupos, que so

manipulados por instrumentos apropriados, conforme o interesse do professor.

A infra-estrutura fornece meios para que sejam implementados instrumentos de

avaliao qualitativa e quantitativa do desempenho individual e do grupo ao longo do

desenvolvimento do projeto. Para isto, so disponibilizados templates para mecanismos de

avaliao, que em alguns casos, podem utilizar os servios oferecidos pelo Servidor de

Avaliao, que se traduzem na organizao de informaes sobre o processo de cooperao.

A poltica de avaliao na infra-estrutura sustenta-se em trs posies tericas: o

processo de avaliao educacional, a avaliao dos resultados individuais e a avaliao dos

resultados do grupo. O processo de avaliao educacional comea pela definio dos

objetivos do programa educacional, ou seja, o seu cerne est em determinar em que medida os

objetivos pretendidos esto sendo realmente alcanados. O processo de avaliao est

diretamente relacionado ao tipo de atividade educacional proposta, e portanto teoria de

aprendizagem na qual est baseada. Na tica de uma teoria scio-cultural e construtivista, no

possvel avaliar os conhecimentos construdos desvinculando-os do processo em que foram

constitudos. Por isto, a avaliao deve ser contnua e deve permitir ao professor identificar e

criar zonas de desenvolvimento proximal (Vygotsky). No espao educativo construtivista, os

processos so mais relevantes que os produtos, e a realidade no deve ser reduzida somente

observao das concepes finais. A avaliao qualitativa deve ultrapassar a avaliao

quantitativa, sem contudo dispens-la. a partir destes pressupostos tericos que definimos o

suporte para a avaliao. O processo de avaliao de aprendizagem em um ambiente

cooperativo de aprendizagem pode ser definido em algumas etapas:

A anlise dos objetivos educacionais pode ser usada como um conjunto de especificaes

para avaliao. Entre estes objetivos, sempre poder ser includa a aprendizagem sobre o

prprio processo de cooperao. Para o traado da correlao entre os objetivos e o que

ser avaliado pode ser utilizado algum mtodo de representao de conhecimentos como

os mapas conceituais e os mapas de hierarquia de aprendizagem.

O passo seguinte no procedimento de avaliao identificar situaes que do ao aluno a

oportunidade de expressar o comportamento implicado pelos objetivos educacionais. Estas

situaes devero se manifestar ao longo de todo o trabalho desenvolvido no contexto do

ambiente. O ambiente dever prover meios para o avaliador definir os momentos nos quais

16

algum tipo de interveno com fins de avaliao dever ser realizado. Estas intervenes

devero, portanto, estar inseridas no desenvolvimento das atividades propostas, e deve

existir a possibilidade de serem diferentes para cada membro do grupo.

A partir da, deve-se examinar instrumentos de avaliao disponveis ou desenvolv-los

especificamente para propsitos determinados. Estes instrumentos ou ferramentas devero

ser capazes de coletar, armazenar e auxiliar na anlise de dados sobre o desenvolvimento

de cada indivduo e do grupo como um todo no processo de aprendizagem.

A ltima etapa a definio dos termos ou unidades (medidas qualitativas e/ou

quantitativas) que sero utilizados para apresentar o resultado que se obteve com a

avaliao. Para avaliaes qualitativas pode-se utilizar conceitos. Conceitos so usados

para avaliar de forma global e contnua todo o desenvolvimento do aluno em vrios

aspectos: cognitivos, afetivos, que envolvam relaes sociais, de cooperao, de

participao, de poder de argumentao, crtica e criao.

A avaliao dos resultados individuais e dos resultados de grupo necessita de

mecanismos e instrumentos de avaliao. A infraestrutura oferece mecanismos tanto para a

avaliao qualitativa quanto para a avaliao quantitativa, durante todo o desenvolvimento da

atividade cooperativa. Se o objetivo da aprendizagem incentivar as trocas sociais e as

relaes interpessoais, algum mecanismo capaz de capturar esta dimenso social da

aprendizagem cooperativa deve estar disponvel para o professor. Dificilmente, esta dimenso

pode ser avaliada com o uso de testes padronizados. Em uma perspectiva scio-interacionista,

tanto a aquisio do conhecimento, quanto a melhoria nas atitudes sociais so resultados

educacionais relevantes. Em alguns casos, algum tipo de instrumento para a avaliao

qualitativa deve ser empregado para avaliar o progresso do grupo. Para tanto, deve-se dispor

de meios para realizar observaes estruturadas e entrevistas. importante documentar a

participao de cada estudante na realizao das atividades cooperativas e sua contribuio

para a soluo encontrada. Neste sentido, a anlise do trabalho do grupo usando uma das

ferramentas da Internet, como os fruns e listas de discusso, pode dar informaes relevantes

para o professor. Uma outra alternativa projetar ambientes com espaos on-line onde o

professor possa registrar seus comentrios e notas sobre o comportamento individual e do

grupo. Os enfoques de auto-avaliao e a avaliao dos pares devem ser adotados somente

com estudantes mais maduros. O professor tambm deve avaliar o grupo como uma entidade

nica, observando tanto os resultados acadmicos alcanados quanto os comportamentos

17

sociais apresentados. Um conjunto de instrumentos pode dar apoio ao processo de avaliao,

como relatrios de grupo, testes de grupo, observaes formais e informais.

Na infra-estrutura, as solues propostas so expressas como diretrizes conceituais,

ferramentas e templates. As diretrizes conceituais do os princpios tericos, guias prticos e

solues para serem implementadas. As ferramentas esto disponveis no Servidor de

Avaliao, permitindo a coleta de dados sobre o processo de cooperao. O Servidor tambm

associa os comentrios do professor sobre os trabalhos realizados pelo grupo, formatando e

apresentando os resultados da avaliao em relatrios especficos. O professor pode usar

ainda o Servidor de Processo que opera como uma mquina de processo para definir e propor

um processo cooperativo. Durante este processo, os estudantes usam algumas ferramentas,

tambm definidas pelo professor, que permitem exportar mensagens e adicionar comentrios

a trabalhos de colegas. Estes dados ajudam o professor a verificar a participao e

contribuio de cada estudante. As ferramentas de comunicao enviam os dados da interao

para o Servidor de Avaliao, que cria um log da interao e armazena os dados. Novas

ferramentas podem ser adicionadas ao Servidor de Avaliao para dar ao professor suporte

individualizado. Alm do Servidor, a infra-estrutura tambm oferece templates para os

principais mecanismos de avaliao. Templates so estruturas vazias previamente definidas,

onde os detalhes podem ser mudados e adaptados para situaes especficas.

A avaliao dos resultados individuais e a avaliao dos resultados de grupo apontam

a necessidade dos seguintes tipos de mecanismos de avaliao.

Avaliao Qualitativa

Exames individuais, que verifiquem o progresso do estudante, de acordo com suas

caractersticas pessoais.

Questionrios e entrevistas.

Questionrios de auto-avaliaes, onde o avaliador ou o prprio aluno podem ser

responsveis pela criao da estrutura de tpicos a serem avaliados.

Exames em grupo.

Avaliao Quantitativa

Observao das interaes nos trabalhos em grupo e xito na obteno de solues

partilhada de problemas

Anotaes ou comentrios estruturados (que podem ter algum tipo de pontuao, ou

conceituao associada) sobre o desenvolvimento dos alunos.

18

Possibilidade dos membros do grupo avaliarem o trabalho realizado e de cada um

avaliar os outros membros, em relao participao e cooperao.

Concluses

A aprendizagem cooperativa habilita os indivduos a se engajarem na atividade de produo

compartilhada de conhecimento e em novas prticas comunitrias. As tecnologias de rede, por

seu turno, estendem algumas capacidades da sala de aula e acrescentam outras, oferecendo

novas perspectivas para o processo educacional. Para a realizao de sua proposta

pedaggica, a aprendizagem cooperativa apoiada por computador apia-se em poderosos

ambientes integrados com as ferramentas sncronas e assncronas da Internet. Nestes

ambientes, contudo, muitas questes educacionais permanecem em aberto, entre elas, a

avaliao do processo de aprendizagem.

Poucos so os relatos de como os alunos devem ser avaliados em ambientes de

aprendizagem cooperativa. Em sistemas para a educao distncia, de um modo geral, a

utilizao mais freqente das ferramentas da Internet na avaliao de estudantes ainda

aquela que reproduz a viso conservadora de se avaliar o produto da aprendizagem, em lugar

de avaliar o processo de aprendizagem.

Entretanto, o processo de avaliao seguramente requer um nvel alto de anlise que

vai alm da medio de desempenho na execuo da tarefa. O professor deve coletar

informaes sobre o desempenho dos estudantes, porque estas informaes permitem

determinar em que nvel os objetivos educacionais foram atingidos, se prtica pedaggica foi

efetiva e se tpicos de estudo requerem suporte adicional (Miller, 1999). Como a avaliao

um processo de mltiplas facetas, incluindo os aspectos afetivos e sociais envolvidos na

aprendizagem, ele no pode ser conduzido somente de forma eletrnica. Independente do

ambiente de aprendizagem adotada, ou seja, sala de aula ou ambiente computacional, a

avaliao do estudante uma tarefa do professor. Contudo, os ambientes de aprendizagem

cooperativa podem oferecer apoio para que o professor tenha dados constantes para subsidiar

sua avaliao sobre o desempenho de cada estudante e do grupo. As ferramentas de

comunicao e cooperao da Web podem se constituir em espao virtual til para a

representao, armazenamento e apresentao de dados sobe as interaes dos estudantes em

uma tarefa cooperativa, exibindo a histrico destas interaes

19

Buscando atingir nveis melhores de cooperao, desenvolvemos uma infra-estrutura

computacional que permite a construo de ambientes cooperativos particulares, ajustados aos

propsitos pedaggicos do professor. Um espao de trabalho cooperativo, um modelo de

dados, uma base de dados de projetos, uma biblioteca de projetos e um framework de

ferramentas so os componentes da infra-estrutura. Oferecemos, ainda, um Servidor de

Avaliao que disponibiliza servios de coleta de informaes sobre o processo de trabalho e

mecanismos para construo de instrumentos de avaliao da aprendizagem dos estudantes.

Para isto, o monitoramento de parmetros relativos s interaes dos estudantes realizado,

atravs de instrumentos apropriados, conforme o interesse do professor.

A partir da infra-estrutura, construmos e testamos um ambiente para a escrita

cooperativa de artigos tcnicos. Os resultados obtidos em dois estudos de caso mostraram-se

satisfatrios e sero divulgados em breve. Esperamos que a utilizao da infra-estrutura para a

construo de outros ambientes cooperativos, por parte de pesquisadores e professores, nos

fornea indicadores para validar e refinar nosso trabalho.

Referncias Bibliogrficas

Argyle, M (1991). Cooperation: The basis of sociability. Routledge, London

Barros, L. (1994). Suporte a Ambientes Distribudos de Aprendizagem Cooperativa. Tese de Doutorado. COOPE/Sistemas/UFRJ. Outubro. (unpublished)

Bennett, J. (2000). Assessing the Potential of Electronic Discussion Groups to Enhance Learning in a Classroom-based Course. Proceedings of ED-MEDIA 2000. Montreal

Bloom, B. (Ed.) (1956) Taxonomy of educational objectives: The classification of educational goals: Handbook I, cognitive domain. New York ; Toronto: Longmans, Green.

Brna, P. (1998). Modelos de Colaborao. Rev. Bras. de Informtica e Educao, No.3, 9-15

Dillenbourg, P.; Mendelsohn, P. & Schneider, D. (1994). The distribution of pedagogical roles in a multi-agent learning environment. In R.Lewis, and P.Mendelsohn., eds., Lessons from Learning. North-Holland. 199216, 1994

Gay, G. (1996). CSILE (Computer-Supported Intentional Learning Environments). In http://www.oise.utoronto.ca/~ggay/csile.htm

Guzdial, M. (1997). Information Ecology of Collaborations in Educational Settings: Influence of Tool. Anais da Conferncia Computer Supported Collaborative Learning

Koenemann, J., Carroll, J., Shaffer, C., Rosson, M. & Abrams, M. (1998). Designing collaborative applications for classroom use: The LiNC project. In A. Druin, (Ed.), The designing of childrens technology. San Francisco: Morgan-Kaufmann

20

Kumar, V.S. (1996) Computer-Supported Collaborative Learning: Issues for research. 8th Annual Graduate Symposium on Computer Science, University of Saskatchewan. http://www.cs.usask.ca/grads/vsk719/academic/ 890/project2/projetc2.html

Maher, M. (1999). Designing Virtual Campus as a Virtual World. Anais da Conferncia Computer Supported Collaborative Learning. Stanford, USA

Mhlenbrock, M. & Hoppe, U. (1999). Computer Supported Interaction Analysis of Group Problem Solving. Anais da Conferncia Computer Supported Collaborative Learning. Stanford, USA

Neale, D.; Carroll, J. & VanMetre, C. (1999). Multi-faceted Evaluation for Complex, Distributed Activities. Anais da Conferncia Computer Supported Collaborative Learning. Stanford, USA

ONeill, K. & Gomez, L. (1994). The Collaboratory Notebook: a Networked Knowledge-Building Environment for Project Learning. Anais do ED-Media94

OReilly, M. (2000). Assessment of Online Interactions: Helping or Hindering the Goals of Educators and Learners? Anais do ED-MEDIA 2000. Montreal

Roussos, M., Johnson, A., Leigh, J., Barnes, C., Vasilakis, C. & Moher, T. (1997). The NICE Project: Narrative, Immersive, Constructionist/Collaborative Environments for Learning in Virtual Reality. Anais do ED-MEDIA97

Santoro, F., Borges. M. & Santos, N. (2000a). Cooperation Model for Learning: A System of Patterns. Anais do ED-MEDIA2000. Montreal

Santoro, F., Borges. M. & Santos, N. (2000b). An Infrastructure to Support the Development of Collaborative Project-based Learning Environments. IEEE Press Proceedings of International Workshop on Groupware CRIWG2000, Portugal

Scriven, M. (1967). The Methodology of Evaluation in Perspectives of Curriculum Evaluation. AERA Monograph Series on Curriculum Evaluation, No. 1. Chicago, Rand McNally & Co.

Slavin, R. (1995). Research on Cooperative Learning and Achievement: What We Know, What We Need to Know. Center for Research on the Education of Students Placed at Risk Johns Hpkins University

Squires, D. & McDougall, A (1998). Designing Educational Interfaces from a Constructivist Perspective In http://www.shef.ac.uk/~pc1jm/hci98cc/ HCI98CC60.html

Stufflebeam, D. et al. (1971). Educational Evaluation and Decision-Making, Itasca, Illinois, F. E. Peacock Publishers

Suthers, D. (1996). Combining Pedagogical and Technological Paradigms for Educational Software. Position Paper CHI96 Research Symposion

Woodbine, G. (1997). Can the various forms of cooperative learning techniques be applied effectively in the classroom in content driven accounting courses? In Pospisil, R. and Willcoxson, L. (Eds), Learning Through Teaching, p 357-360. Anais do 6th Annual Teaching Learning Forum, February