Dr. Elke Brenstein Dept. Of Computer Uses in Education Humboldt University Berlin

The Quality of Education-Related Portals in Germany: Results of a Multi-Method Evaluation of the German Education Server

Dr. Elke BrensteinDept. Of Computer Uses in Education

Humboldt University Berlin

19.09.03 SINN03, Oldenburg 2

How can we provide more people with more information, fast and in different forms?

Researchers have worked on the problem for a hundred years. The good news is that they have solved it – bravo!

Now the problem is: People don‘t know what to do with all that information ....

Neil Postman, 1996

An Old Problem...An Old Problem...


Der Deutsche BildungsserverDer Deutsche Bildungsserver


Entwicklung 1997-2002Entwicklung 1997-2002Monthly Pageviews 1997 - 2003

0

500000

1000000

1500000

2000000

Jan97

Jul97

Jan98

Jul98

Jan99

Jul99

Jan00

Jul00

Jan01

Jul01

Jan02

Jul02

Jan03

Jul03

automatic filtering (http-analyze 2.4)

sliding average of the last 12 months (autom. Filtering)

manual Filtering (Analog 5.32)


Research QuestionsResearch Questions

• Who are the users?Who are the users?Demographic characteristics, user groups

• Which type of information are they looking for?

• How do they rate what is offered?

Content, Layout & Design, Usability, Functionality

• How is the portal used?– Frequency of use– Domains & Organisations– Browsers & Operating Systems – Referrer– Most popular pages


Evaluation conceptEvaluation concept

Logfile Analyses

Users

Market analysis

Non-Users

Archival data

Email-Requests

Gen. Online Survey

Surveys

Usability Testing

Studies

Fokusgroup-Interviews

Expert Interviews

Primary / Sec. Education

Higher Education & Research Institutions

Adult EducationNavigational studies

Other Feedback

On

lin

e

Pan

elVocational Education


Deutscher Bildungsserver

Nutzer

Nicht-Nutzer

ArchivdatenAnonymisierte Befragungen Einzeluntersuchunen

Fokusgruppen-Interviews

Experteninterviews

Bereich Schule:

Repräsentative Postalische Befragung in 5 Ländern

Allg. Online Befragung

Bereich Hochschule:

Repräsentative Online Befragung in 5 Ländern


Bereich Weiterbildung:


Usability Test Schulweb

Bereich Schule

Bereich Hochschule

Bereich Weiterbildung

Usability Test DBS

Usability Test DBS + 2. Portal

Marktanalyse

Bereich Schule

Bereich Hochschule

Bereich EB/WB

Marktanalyse

Marktanalyse

Marktanalyse

Allg. Bildungsinfo

Logfile Analysen

Modul 2


Usage: Universities & Usage: Universities & Research InstitutionsResearch Institutions

Anteil der Nutzer aus Universitäten und

Forschungsinstituten

94%6%

Anfragen unterschiedlicher

Seiten

83%17%

Anzahl verschiedener Hosts

96%4%


2

13

15

34

35

39

41

62

67

93

119

0 20 40 60 80 100 120 140

Auszubildende(r)

Ausbilder(in)

Lernende(r) in der Weiter- und Erwachsenenbildung

Eltern

Hochschullehrer(in)

Schüler(in)

Student(in)

Lehrende(r) in der Weiter- und Erwachsenenbildung

Bildungsadministrator(in) oder -manager(in)

Wissenschaftler(in)

Lehrer(in)

OB

How are the users of the How are the users of the DBS?DBS?Distribution of user groups


Rating Rating Overall impression

0%

5%

10%

15%

gefällt mir sehr gut gefällt mir überhaupt nichtErstnutzer

Mehrfachnutzer

• Mostly positive

• no sig. differences between first-time and repeat users

OB


How important are the following aspects of a Website?

0% 20% 40% 60% 80% 100%

Layout & Design

Inhalt

Benutzerführung

Aktualität

Ladezeiten

sehr wichtig

wichtig

unentschieden

unwichtig

völlig unwichtig

OB


How do you rate the DBS?

0% 20% 40% 60% 80% 100%

Layout & Design

Inhalt

Benutzerführung

Aktualität

Ladezeiten

sehr gut

gut

OK

schlecht

sehr schlecht

weiß nicht

OB


What do you like/don‘t like?

• Positive Comments:Rich content

Content is up-to-date and of high quality

Site structure

• Criticism:Usability e.g., aspects of the search

Design/LayoutUB


Logfile AnalysesLogfile Analyses

• Tools– Analog http://www.analog.cx – Report Magic

• Data basis: – Webserver Logs from Okt. 01 bis June 03

• Sample:– All users– Users from universities and research institutions


Weekly UsageWeekly Usage

All users

Univ. & R. Institutes

19.09.03 SINN03, Oldenburg 16LF

DBS Gesamt

82%

15%2% 1%

Hochschule & Forschungsinstitute

51%48%

1%

MSIE

Netscape

Netscape (compatible)

Opera

- IE Explorer: MSIE 5: 75 % MSIE 6: 25 %

- Netscape: Netscape 4.x: 90%

BrowsersBrowsers

19.09.03 SINN03, Oldenburg 17LF

Hochschule & Forschungsinstitute

2% 4%5%

89%

Windows

Unix

Macintosh

unbekanntesBetriebsystem

DBS Gesamt

9%

1%

2%

88%

Operating SystemsOperating Systems


OrganizationsOrganizationsAll UsersAll Users

t-dialin.net

aol.com

pppool.de

belwue.de

t-online.de

t-ipconnect.de

mediaways.net

arcor-ip.netmcbone.net

uunet.de


Schule

Weiterbildung

Sonstiges

Hochschule

Jobs / Bewerben

Übergreifende Informationen

Deutscher Bildungsserver

PISA

0%

5%

10%

15%

20%

25%

30%

35%

40%

Hochschule & Forschung Gesamt

Searchwords leading to the Searchwords leading to the Eduserver (Top 30)Eduserver (Top 30)


ReferrerReferrerEduserver TotalEduserver Total

SUCHMASCHINEN59%

Landesbildungs-server

2%

schule.de6%

Schulweb5%

Jobbörsen12%

Unis, Institute14%

Studieren im Netz2%


Jobbörsen4%

Unis, Institute2%

Schulweb3%

LBS2%

schule.de6%

SUCHMASCHINEN83%

ReferrerReferrerUniversities & Research I.Universities & Research I.


General Media Usage by General Media Usage by StudentsStudents

Schüler

46,1

31,4

22,524

29,9

46,1

27,625,7

46,8

6 7,6

86,4

4,3 4,8

90,9

0

10

20

30

40

50

60

70

80

90

100

(fast) nie weniger als einmal pro Woche mehr als einmal pro Woche

Pro

zen

t

Forschung, Technik, Naturwissenschaften (N=3789) Politik, Soziales und Gesellschaftsthemen (N=3871) Kunst, Musik, Kultur (N=3789)

Aktuelles Tagesgeschehen (N=3939) Unterhaltung (N=3807)


General Media Usage by General Media Usage by TeachersTeachers

Lehrer

12,5

28,8

58,6

1,85,4

92,8

17,7

29,9

52,4

0,9 0,8

98,3

16

6,3

77,7

0

20

40

60

80

100

120


Pro

zen

t




General Media Usage by General Media Usage by ParentsParents Eltern

32,630,6

36,7

8,510,8

80,6

27,625,7

46,8

3,8 2,3

93,9

9,46,6

84,1

0

10

20

30

40

50

60

70

80

90

100


Pro

zen

t




Attitudes Towards Internet Attitudes Towards Internet and Computersand Computers

Skalen

2,9

3,27

2,57

2,252,12

2,46

2,97

2,07

2,272,38

2,88

3,35

2,06

2,36

3,04

1

1,5

2

2,5

3

3,5

4

Selbstüberzeugung Nützlichkeit desInternets

Spaß/Freizeit Verwirrung durchsInternet

AllgemeineAblehnung

Schüler Eltern Lehrer


Computer Usage Where?: Computer Usage Where?: StudentsStudents

Ich benutze Computer ...

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

... in der Bibliothek (N=2520)

... im Internetcafé (N=2577)

... bei Freunden (N=2833)

... sonstiges (N=705)

... in der Schule (N=3195)

... zuhause - gemeinsam genutzter Computer(N=2220)

... zuhause - eigener Computer (N=2862)

mehrmals pro Woche etw a einmal pro Woche etw a 1- bis 2-mal pro Monat (fast) nie


Computer Usage Where?: Computer Usage Where?: TeachersTeachers

Ich benutze Computer ...

0% 20% 40% 60% 80% 100%

... sonstiges (N=120)

... zuhause - gemeinsam genutzer Computer(N=490)

... in der Schule (N=1940)

... zuhause - eigener Computer (N=1852)



Communication With? Communication With? StudentsStudents

Ich benutze Computer für die Kommunikation mit ...

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

... Lehrern, Schulleitung (N=2760)

... Schülern anderer Schulen (N=2784)

... Online-Shops, Ebay, o.ä. (N=3329)

... AGs, Clubs, Interessengemeinschaften (z.B. Chatgruppe,Forum) (N=3136)

... Mitschüler (N=3131)

... Freunden, Bekannten, Verwandten (N=3600)

mehrmals pro Woche etwa einmal pro Woche etwa 1- bis 2-mal pro Monat (fast) nie


Using? Using? StudentsStudents

Dabei benutze ich ...

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

... Videokonferenz (N=2828)

... Mailingliste (N=2786)

... Diskussionsforum, Newsgroup (N=2923)

... Instant Messaging (N=2791)

... Chat (N=3364)

... SMS, MMS (N=3352)

... E-Mail (N=3659)



Communication With? Communication With? TeachersTeachers

Ich benutze Computer für die Kommunikation mit ...

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

... Eltern von Schülern (N=1510)

... Kollegen an anderen Schulen (N=1678)

... M itgliedern von Interessengemeinschaften (N=1585)

... Online-Shops, Ebay (N=1792)

... Schulleitung (N=1512)

... Schülern (N=1653)

... Kollegen (N=1823)

... Firmen, Institutionen, Behörden, Banken und Versicherungen(N=1925)

... Freunden, Bekannten, Verwandten (N=1987)



Using? Using? TeachersTeachers

Dabei benutze ich ...

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

... Videokonferenz (N=1461)

... Instant Messaging (N=1421)

... Chat (N=1490)

... Diskussionsforum, New sgroup (N=1524)

... Mailingliste (N=1494)

... SMS, MMS (N=1567)

... E-Mail (N=2087)



Offline Usage: Offline Usage: StudentsStudents

Ich benutze Computer offline für ...

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

... Bearbeiten von Lernprogrammen (N=3073)

... Erstellen und Gestalten von Webseiten (N=3003)

... Vorbereiten von Tests (N=3156)

... Schreiben von Computerprogrammen (N=3057)

... Ausprobieren von Simulationen, Animationen, Experimenten(N=3053)

... Recherchieren mit CDs/DVDs für die Schule (z.B. Enzyklopädien)(N=3187)

... Ausarbeiten von Hausarbeiten, Vortägen oder Referaten (N=3793)

... sonstige Offline-Nutzung (N=936)

... Bearbeiten von Bildern, Videos oder Musik (N=3424)

... Spielen von Computerspielen (N=3624)



Offline Usage: Offline Usage: Teachers:Teachers:

Ich benutze Computer offline zum ...

0% 20% 40% 60% 80% 100%

... Begutachten von Lernprogrammen (N=1785)

... Erstellen und Gestalten von Webseiten (N=1701)

... Nutzung von Simulationen, Animationen, Experimenten (N=1739)

... Schreiben von Computerprogrammen (N=1685)

... Bearbeiten von Bildern, Videos oder Musik (N=1803)

... Auswerten von Tests (N=1733)

... Notenverwaltung (N=1832)

... sonstige Offline-Nutzung (N=658)

... Recherchieren mit CDs/DVDs für die Schule (z.B. Enzyklopädien)(N=1911)

... Vorbereiten von Vorträgen und Präsentationen (N=1937)

... Ausarbeiten von Arbeitsblättern, Tests, Klassenarbeiten (N=2111)



Online Usage: StudentsOnline Usage: Students

Ich benutze Computer online für ...

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

... die Recherche im Internet nach Lernsoftware (N=3000)

... Bestellen oder Downloaden von Lernmaterialien, Lernsoftware oderLehrbüchern (N=2518)

... die Recherche im Internet nach Infos für die Berufsorientierung(N=3272)

... Online-Spielen (N=2526)

... die Recherche im Internet nach Hausarbeiten, Vorträgen, Referaten(N=3585)

... die Recherche im Internet nach Computer-Tipps und Computer-Tools (N=3119)

... die Recherche im Internet nach Lernmaterialien (N=3470)

... sonstige Internetnutzung (N=1093)

... die Recherche im Internet nach Infos für private Interessen (N=3632)



Online Usage: StudentsOnline Usage: StudentsDabei benutze ich folgende Internetangebote ...

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

... das Portal Schulpsychologie.de (N=2807)

... den jeweiligen Landesbildungsserver (N=2839)

... European Schoolnet (N=2830)

... die Schülerseite des jeweiligen Kultusministeriums (N=2839)

... den Deutschen Bildungsserver (N=2899)

... Schulen ans Netz (N=2828)

... Schule im Netz (N=2826)

... andere Landesbildungsserver (N=2040)

... Schule Online (N=2844)

... das Schulweb (N=2947)

... Lernsoftwareanbieter (N=2135)

... sonstige bildungsrelevante Seiten (N=1527)

... hausarbeiten.de, spickzettel.de, o.ä. (N=3136)

... Freizeitportale (N=2326)

... Suchmaschinen (N=3338)



Online Usage TeachersOnline Usage Teachers

Ich benutze Computer online für ...

0% 20% 40% 60% 80% 100%

... für Bestellung oder Download von Lehr-/Lernmaterialien,Lehr-/Lernsoftware, Lehrbüchern (N=1711)

... die Recherche im Internet nach Computer-Tipps undComputer-Tools (N=1738)

... die Recherche im Internet nach Lehr-/Lernsoftware (N=1854)

... die Recherche im Internet nach Infos für die private undberufliche Weiterbildung (N=1940)

... sonstige Internetnutzung (N=555)

... die Recherche im Internet nach Lehr-/Lernmaterialien(N=2066)

... die Recherche im Internet nach Infos für private Interessen(N=1978)



Online Usage TeachersOnline Usage Teachers

Dabei benutze ich folgende Internetangebote ...

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

... Leanet für Frauen in Schule und Bildung (N=1565)

... 4teachers (N=1572)

... Schule im Netz (N=1580)

... Schule Online (N=1588)

... Schulen ans Netz (N=1633)

... Lernsoftwareanbieter (N=971)

... die Zentrale für Unterrichtsmedien (N=1649)

... das Schulweb (N=1679)

... sonstige bildungsrelevante Angebote (N=965)

... den jeweiligen Landesbildungsserver (N=1833)



Navigational AnalysesNavigational Analyses

Which Navigational patterns kann be identified?

Paths, latencies

Suchen <-> Browsen,

typical paths in content areas


Beispiel 2


zurück


Thank you!Contact:

Homepage: www.educat.hu-berlin.de

E-mail: [email protected]

Documents

Dr. Elke Brenstein Dept. Of Computer Uses in Education Humboldt University Berlin